Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Funktionen des Inferenzcontainers

Der Amazon SageMaker Nova-Inferenzcontainer enthält eine Reihe von Funktionen, die Sie aktivieren können, um das Modellverhalten während der Inferenz anzupassen. Jede Funktion wird in einer bestimmten Container-Version eingeführt und erfordert möglicherweise Umgebungsvariablen, Anforderungsparameter oder beides, um aktiviert zu werden.

Diese Seite listet die im Inferenzcontainer verfügbaren Funktionen auf, beschreibt, wie die einzelnen Funktionen aktiviert werden, und identifiziert die Container-Version, in der die Funktion eingeführt wurde. Verwenden Sie diese Referenz, um zu ermitteln, welche Funktionen für Ihre Bereitstellung verfügbar sind und wie Sie sie konfigurieren.

Funktionen, die über Umgebungsvariablen aktiviert werden, werden festgelegt, wenn Sie die SageMaker Modell- oder Endpunktkonfiguration erstellen. Nehmen Sie sie in den Environment Parameter des CreateModel API-Aufrufs auf. Funktionen, die über Anforderungsparameter aktiviert werden, werden pro Aufruf im Anforderungstext festgelegt.

Übersicht der Funktionen

Die folgende Tabelle bietet eine Kurzübersicht aller Funktionen, die im Amazon SageMaker Nova-Inferenzcontainer unterstützt werden.

Standardtemperatur

Legt die Standard-Abtasttemperatur für alle an den Endpunkt gesendeten Inferenzanforderungen fest. Die Temperatur steuert, wie zufällig oder vorhersehbar die Ausgabe des Modells ist. Bei einem Wert von 0 wählt das Modell immer das wahrscheinlichste nächste Wort aus, wodurch eine konsistente und wiederholbare Ausgabe erzielt wird. Bei höheren Werten (bis zu2) ist das Modell eher bereit, weniger wahrscheinliche Wörter auszuwählen, was zu kreativeren und abwechslungsreicheren Antworten führt.

Verwendungszweck: Senken Sie die Temperatur (z. B. 0.1 auf0.3) für Aufgaben, für die sachliche, konsistente Antworten wie Klassifikation oder Datenextraktion erforderlich sind. Erhöhen Sie den Wert (z. B. 0.7 auf1.0) für kreative Aufgaben wie das Schreiben von Geschichten oder Brainstorming. Temperature arbeitet zusammen mit Top-P und Top-K — alle drei steuern, wie das Modell Tokens auswählt, und Sie können sie kombinieren, um das Ausgabeverhalten zu optimieren.

Umgebungsvariable

"Environment": {
    "DEFAULT_TEMPERATURE": "0.7"
}

Standardmäßige Aufladung

Legt den Standard-Top-P-Wert für alle Inferenzanforderungen fest. Top-p steuert die Ausgabediversität, indem die Auswahlmöglichkeiten des Modells auf eine Teilmenge der wahrscheinlichsten Wörter beschränkt werden. Insbesondere sortiert das Modell alle möglichen nächsten Wörter nach Wahrscheinlichkeit und berücksichtigt nur die kleinste Gruppe, deren kombinierte Wahrscheinlichkeit den obersten p-Wert erreicht. Ein Top-p von 0.9 bedeutet beispielsweise, dass das Modell nur Wörter berücksichtigt, die zusammen 90% der Wahrscheinlichkeit ausmachen, wobei die verbleibenden unwahrscheinlichen Optionen ignoriert werden.

Verwendungszweck: Verwenden Sie einen niedrigeren Top-p-Wert (z. B.0.5), damit sich das Modell an Wörter mit hoher Konfidenz hält und die Ausgabe zielgerichteter ist. Verwenden Sie einen höheren Wert (z. B.0.95), um mehr Abwechslung zu ermöglichen. Top-p wird häufig als Alternative zur Temperatur verwendet — beide regeln die Ausgangsdiversität, aber Top-P passt sich dynamisch an, basierend auf der Zuverlässigkeit des Modells bei jedem Schritt. Sie können beide zusammen verwenden. In diesem Fall wendet das Modell bei jedem Schritt die restriktivere Beschränkung an.

Umgebungsvariable

"Environment": {
    "DEFAULT_TOP_P": "0.9"
}

Standard top-k

Legt den Standard-Top-K-Wert für alle Inferenzanforderungen fest. Top-k begrenzt die Auswahlmöglichkeiten des Modells auf eine feste Anzahl der wahrscheinlichsten nächsten Wörter. Ein Wert von Top-K 50 bedeutet beispielsweise, dass das Modell in jedem Schritt nur die 50 wahrscheinlichsten Wörter berücksichtigt, unabhängig von ihren individuellen Wahrscheinlichkeiten. Der Wert von -1 deaktiviert diese Grenze, sodass das Modell alle möglichen Wörter berücksichtigen kann.

Verwendungszweck: Verwenden Sie top-k, wenn Sie eine feste Obergrenze für die Anzahl der vom Modell berücksichtigten Wortwahlen festlegen möchten. Niedrigere Werte (z. B.10) führen zu einer besser vorhersehbaren Ausgabe, während höhere Werte eine größere Vielfalt ermöglichen. Top-k können mit Temperatur und Top-p kombiniert werden — wenn mehrere Probenahmesteuerungen aktiv sind, wendet das Modell alle an, wobei für jeden Schritt die restriktivste Option verwendet wird.

Umgebungsvariable

"Environment": {
    "DEFAULT_TOP_K": "50"
}

Standardeinstellung für maximale Anzahl neuer Token

Legt die standardmäßige maximale Anzahl von Tokens (Wörter oder Wortstücke) fest, die das Modell in einer Antwort generiert. Dieser Wert gilt für alle Anfragen, sofern er nicht überschrieben wird. Verwenden Sie diesen Wert, um die Antwortdauer zu kontrollieren und die Kosten an Ihrem Endpunkt zu verwalten.

Verwendungszweck: Legen Sie diese Option fest, wenn Sie eine konsistente maximale Antwortlänge für alle Anfragen durchsetzen möchten. Stellen Sie sie beispielsweise auf 256 für Aufgaben mit kurzen Antworten oder 2048 für die Generierung längerer Inhalte ein. Der zulässige Höchstwert hängt von dem für Ihren Endpunkt CONTEXT_LENGTH konfigurierten Wert ab, da Eingabe-Tokens plus Ausgabetokens die Kontextlänge nicht überschreiten dürfen.

Umgebungsvariable

"Environment": {
    "DEFAULT_MAX_NEW_TOKENS": "512"
}

Standard-Logprobs

Legt die Standardanzahl von Log-Wahrscheinlichkeiten fest, die für jedes generierte Token zurückgegeben werden. Eine logarithmische Wahrscheinlichkeit ist ein numerischer Wert, der angibt, wie sicher das Modell bei der Auswahl der einzelnen Wörter war. Wenn diese Option aktiviert ist, enthält die Antwortvariable diese Werte für jedes Ausgabe-Token. Dies ist nützlich, um die Modellsicherheit zu bewerten, alternative Wortwahlen zu vergleichen und das Generierungsverhalten zu debuggen.

Verwendungszweck: Aktivieren Sie Logprobs, wenn Sie beurteilen möchten, wie zuverlässig das Modell in seiner Ausgabe ist — zum Beispiel, um Antworten mit niedriger Konfidenz für eine menschliche Überprüfung zu kennzeichnen oder um die Wahrscheinlichkeit verschiedener Abschlüsse zu vergleichen. Die Aktivierung von Logprobs kann die Antwortlatenz und die Größe der Antwortnutzlast leicht erhöhen.

Umgebungsvariable

"Environment": {
    "DEFAULT_LOGPROBS": "5"
}

Spekulative Eagle-3-Decodierung

Die spekulative Eagle3-Decodierung ist eine Optimierungstechnik, die die Textgenerierung beschleunigt. Dabei wird ein kleineres, schnelleres Entwurfsmodell verwendet, um mehrere Token im Voraus vorherzusagen, und diese Vorhersagen dann in einem einzigen Schritt mit dem Primärmodell verglichen. Wenn die Vorhersagen korrekt sind, generiert das Modell effektiv mehrere Token in der Zeit, die normalerweise benötigt würde, um eines zu generieren. Das primäre Modell verifiziert immer die Draft-Token, sodass die endgültige Ausgabe identisch mit der ist, die das primäre Modell alleine produzieren würde — nur die Geschwindigkeit ändert sich, nicht die Qualität.

Verwendungszweck: Die spekulative Decodierung von Eagle3 ist standardmäßig aktiviert und kommt den meisten Workloads zugute. Erwägen Sie, sie nur zu deaktivieren, wenn Sie unerwartetes Verhalten beobachten oder Leistungsmerkmale beim Debuggen isolieren müssen.

Umgebungsvariable

Das folgende Beispiel deaktiviert die spekulative Eagle3-Decodierung:

"Environment": {
    "DISABLE_SPECULATIVE_DECODING": "true"
}

KV-Cache-Datentyp

Legt den Datentyp für den Schlüsselwert-Cache (KV) fest, der bei der Inferenz verwendet wird. Der KV-Cache speichert den Speicher des Modells an frühere Token in einer Konversation, sodass jedes neue Token generiert werden kann, ohne die gesamte Eingabe erneut verarbeiten zu müssen. Bei langen Sequenzen kann dieser Cache viel GPU-Speicher verbrauchen. Wenn Sie den KV-Cache auf einen Datentyp mit niedrigerer Genauigkeit wie FP8 einstellen, wird der Speicherverbrauch reduziert und der Durchsatz kann auf Kosten geringfügiger numerischer Unterschiede in der Ausgabe verbessert werden.

Verwendungszweck: Aktivieren Sie den FP8-KV-Cache, wenn Sie längere Kontextlängen oder eine höhere Parallelität auf Ihrer Instance unterstützen müssen. Dies ist besonders bei GPU-Instances mit begrenztem Arbeitsspeicher nützlich. Testen Sie Ihren Anwendungsfall, um sicherzustellen, dass die Ausgabequalität Ihren Anforderungen entspricht, da eine geringere Genauigkeit zu leicht unterschiedlichen Ergebnissen führen kann.

Umgebungsvariable

"Environment": {
    "KV_CACHE_DTYPE": "fp8"
}

Quantisierung

Legt den Quantisierungsdatentyp für Modellgewichte fest. Durch die Quantisierung werden die Gewichte des Modells in ein Format mit niedrigerer Genauigkeit (FP8 statt der standardmäßigen höheren Genauigkeit) komprimiert, wodurch der für das Modell benötigte GPU-Speicher reduziert wird. Dies kann den Inferenzdurchsatz verbessern und es größeren Modellen ermöglichen, auf kleinere Instanztypen zu passen, ohne dass sich dies auf die Ausgabequalität auswirkt.

Verwendungszweck: Verwenden Sie die FP8-Quantisierung, wenn Sie den Speicherverbrauch reduzieren möchten, um eine höhere Parallelität zu unterstützen, oder wenn Sie ein Modell an einen kleineren Instanztyp anpassen möchten. Beachten Sie, dass für einige Kombinationen aus Modell und Instanztyp eine automatische FP8-Quantisierung erforderlich ist — siehe die Warnung unten.

Umgebungsvariable

"Environment": {
    "QUANTIZATION_DTYPE": "fp8"
}

Anzahl der spekulativen Token

Steuert, wie viele Token das Entwurfsmodell bei jedem spekulativen Decodierungsschritt von Eagle3 im Voraus vorhersagt. Ein höherer Wert bedeutet, dass das Entwurfsmodell versucht, mehr Token gleichzeitig vorherzusagen, was den Durchsatz verbessern kann, wenn die Vorhersagen korrekt sind. Wenn die Prognosen des Modellentwurfs häufig vom Primärmodell abweichen, kann ein niedrigerer Wert effizienter sein.

Verwendungszweck: Erhöhen Sie diesen Wert, wenn Ihre Arbeitslast vorhersehbare Ausgabemuster (z. B. strukturierte Daten oder Vorlagentext) erzeugt, bei denen der Modellentwurf wahrscheinlich richtig tippt. Verringern Sie den Wert für kreative oder stark variable Ergebnisse, bei denen die Vorhersagen weniger zuverlässig sind.

Umgebungsvariable

"Environment": {
    "NUM_SPECULATIVE_TOKENS": "5"
}

Decodierung von Suffixen

Die Suffixdecodierung ist eine alternative Methode zur Beschleunigung der Textgenerierung. Anstatt ein separates Entwurfsmodell zu verwenden (wie es Eagle3 tut), sucht die Suffixdekodierung nach wiederholten Mustern im bereits generierten Text oder in der Eingabeaufforderung und verwendet diese Muster erneut, um zukünftige Tokens vorherzusagen. Dieser Ansatz eignet sich gut, wenn die Ausgabe wahrscheinlich wiederholte Phrasen, strukturierte Formate oder Inhalte enthält, die der Eingabe sehr ähnlich sind.

Einsatzgebiet: Verwenden Sie die Suffixdekodierung für Aufgaben, bei denen die Ausgabe sich wiederholende Muster enthält, z. B. das Generieren strukturierter Daten, das Ausfüllen von Vorlagen oder das Zusammenfassen von Inhalten, bei denen Phrasen aus der Quelle wiederverwendet werden. Für allgemeine Generierungen, bei denen die Ausgabe sehr unterschiedlich ist, bietet die Eagle3-Standardmethode in der Regel einen besseren Durchsatz.

Umgebungsvariable

"Environment": {
    "SPECULATIVE_DECODING_METHOD": "suffix"
}