Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Funktionen des Inferenzcontainers

Der Amazon SageMaker Nova-Inferenzcontainer enthält eine Reihe von Funktionen, die Sie aktivieren können, um das Modellverhalten während der Inferenz anzupassen. Jede Funktion wird in einer bestimmten Container-Version eingeführt und erfordert möglicherweise Umgebungsvariablen, Anforderungsparameter oder beides, um aktiviert zu werden.

Diese Seite listet die im Inferenzcontainer verfügbaren Funktionen auf, beschreibt, wie die einzelnen Funktionen aktiviert werden, und identifiziert die Containerversion, in der die Funktion eingeführt wurde. Anhand dieser Referenz können Sie ermitteln, welche Funktionen für Ihre Bereitstellung verfügbar sind und wie Sie sie konfigurieren.

Funktionen, die über Umgebungsvariablen aktiviert werden, werden bei der Erstellung der SageMaker Modell- oder Endpunktkonfiguration festgelegt. Nehmen Sie sie in den Environment Parameter des CreateModelAPI-Aufrufs auf. Funktionen, die durch Anforderungsparameter aktiviert werden, werden pro Aufruf im Anforderungstext festgelegt.

Übersicht der Funktionen

Die folgende Tabelle bietet eine Kurzübersicht aller Funktionen, die im Amazon SageMaker Nova-Inferenzcontainer unterstützt werden.

Standardtemperatur

Legt die Standard-Abtasttemperatur für alle Inferenzanfragen fest, die an den Endpunkt gesendet werden. Die Temperatur bestimmt, wie zufällig oder vorhersehbar die Ausgabe des Modells ist. Bei einem Wert von 0 wählt das Modell immer das wahrscheinlichste nächste Wort aus, wodurch eine konsistente und wiederholbare Ausgabe erzielt wird. Höhere Werte (bis zu2) erhöhen die Bereitschaft des Modells, weniger wahrscheinliche Wörter auszuwählen, was zu kreativeren und vielfältigeren Antworten führt.

Verwendungszweck: Senken Sie die Temperatur (z. B. 0.1 auf0.3) für Aufgaben, die sachliche, konsistente Antworten erfordern, wie Klassifizierung oder Datenextraktion. Erhöhen Sie den Wert (z. B. 0.7 auf1.0) für kreative Aufgaben wie das Schreiben von Geschichten oder Brainstorming. Die Temperatur funktioniert zusammen mit Top-P und Top-K — alle drei steuern, wie das Modell Tokens auswählt, und Sie können sie kombinieren, um das Ausgabeverhalten zu optimieren.

Umgebungsvariable

"Environment": {
    "DEFAULT_TEMPERATURE": "0.7"
}

Standard-Top-p

Legt den Standard-Top-p-Wert für alle Inferenzanfragen fest. Top-p steuert die Ausgabevielfalt, indem die Auswahlmöglichkeiten des Modells auf eine Teilmenge der wahrscheinlichsten Wörter beschränkt werden. Insbesondere sortiert das Modell alle möglichen nächsten Wörter nach Wahrscheinlichkeit und berücksichtigt nur die kleinste Gruppe, deren kombinierte Wahrscheinlichkeit den höchsten P-Wert erreicht. Ein Top-p 0.9 bedeutet beispielsweise, dass das Modell nur Wörter berücksichtigt, auf die zusammen 90% der Wahrscheinlichkeit entfallen, und die verbleibenden unwahrscheinlichen Optionen ignoriert.

Verwendungszweck: Verwenden Sie einen niedrigeren Top-p-Wert (z. B.0.5), damit das Modell sich an Wörter mit hoher Zuverlässigkeit hält, was zu einer gezielteren Ausgabe führt. Verwenden Sie einen höheren Wert (z. B.0.95), um mehr Abwechslung zu ermöglichen. Top-p wird häufig als Alternative zur Temperatur verwendet — beide regeln die Ausgangsdiversität, aber Top-P passt sich dynamisch an, je nachdem, wie zuverlässig das Modell bei jedem Schritt ist. Sie können beide zusammen verwenden. In diesem Fall wendet das Modell bei jedem Schritt die Einschränkung an, die restriktiver ist.

Umgebungsvariable

"Environment": {
    "DEFAULT_TOP_P": "0.9"
}

Die Standardeinstellung ist top-k

Legt den standardmäßigen Top-K-Wert für alle Inferenzanfragen fest. Top-k beschränkt die Auswahlmöglichkeiten des Modells auf eine feste Anzahl der wahrscheinlichsten nächsten Wörter. Ein Top-K 50 bedeutet beispielsweise, dass das Modell bei jedem Schritt nur die 50 wahrscheinlichsten Wörter berücksichtigt, unabhängig von ihren individuellen Wahrscheinlichkeiten. Ein Wert von -1 deaktiviert diesen Grenzwert, sodass das Modell alle möglichen Wörter berücksichtigen kann.

Verwendungszweck: Verwenden Sie Top-K, wenn Sie die Anzahl der vom Modell berücksichtigten Wortoptionen fest begrenzen möchten. Niedrigere Werte (zum Beispiel10) führen zu einer besser vorhersehbaren Ausgabe, während höhere Werte mehr Abwechslung ermöglichen. Top-k kann mit Temperatur und Top-p kombiniert werden — wenn mehrere Probenahmekontrollen aktiv sind, wendet das Modell alle an, wobei bei jedem Schritt die restriktivste Methode verwendet wird.

Umgebungsvariable

"Environment": {
    "DEFAULT_TOP_K": "50"
}

Standardmäßige maximale Anzahl neuer Tokens

Legt die standardmäßige maximale Anzahl von Tokens (Wörtern oder Wortteilen) fest, die das Modell in einer Antwort generiert. Dieser Wert gilt für alle Anfragen, sofern er nicht überschrieben wird. Verwenden Sie diesen Wert, um die Antwortdauer zu kontrollieren und die Kosten auf Ihrem gesamten Endpunkt zu verwalten.

Verwendungszweck: Legen Sie diese Option fest, wenn Sie eine konsistente maximale Antwortdauer für alle Anfragen durchsetzen möchten. Stellen Sie es beispielsweise auf 256 für Aufgaben mit kurzen Antworten oder 2048 für die Generierung längerer Inhalte ein. Der zulässige Höchstwert hängt von dem für Ihren Endpunkt CONTEXT_LENGTH konfigurierten Wert ab, da Eingabe-Token und Ausgabetokens die Kontextlänge nicht überschreiten dürfen.

Umgebungsvariable

"Environment": {
    "DEFAULT_MAX_NEW_TOKENS": "512"
}

Standard-Logprobs

Legt die Standardanzahl von Log-Wahrscheinlichkeiten fest, die für jedes generierte Token zurückgegeben werden sollen. Eine Log-Wahrscheinlichkeit ist ein numerischer Wert, der angibt, wie sicher das Modell bei der Auswahl der einzelnen Wörter war. Wenn diese Option aktiviert ist, umfasst die Antwort diese Werte für jedes Ausgabetoken. Dies ist nützlich, um die Zuverlässigkeit des Modells zu bewerten, alternative Wortwahlen zu vergleichen und das Generierungsverhalten zu debuggen.

Verwendungszweck: Aktivieren Sie Logprobs, wenn Sie beurteilen müssen, wie zuverlässig das Modell in seiner Ausgabe ist, z. B. um Antworten mit geringer Zuverlässigkeit zur Überprüfung durch einen Menschen zu kennzeichnen oder um die Wahrscheinlichkeit verschiedener Abschlüsse zu vergleichen. Die Aktivierung von Logprobs kann die Reaktionslatenz und die Größe der Antwortnutzlast geringfügig erhöhen.

Umgebungsvariable

"Environment": {
    "DEFAULT_LOGPROBS": "5"
}

Spekulative Dekodierung mit Eagle3

Die spekulative Eagle3-Dekodierung ist eine Optimierungstechnik, die die Textgenerierung beschleunigt. Es funktioniert, indem ein kleineres, schnelleres Entwurfsmodell verwendet wird, um mehrere Tokens im Voraus vorherzusagen, und diese Vorhersagen dann in einem einzigen Schritt mit dem Primärmodell verglichen. Wenn die Vorhersagen korrekt sind, generiert das Modell effektiv mehrere Token in der Zeit, die normalerweise für die Generierung eines Tokens erforderlich wäre. Das Primärmodell verifiziert immer die Entwurfs-Token, sodass das Endergebnis mit dem identisch ist, was das Primärmodell selbst produzieren würde — nur die Geschwindigkeit ändert sich, nicht die Qualität.

Verwendungszweck: Die spekulative Dekodierung von Eagle3 ist standardmäßig aktiviert und kommt den meisten Workloads zugute. Erwägen Sie, es nur zu deaktivieren, wenn Sie beim Debuggen ein unerwartetes Verhalten beobachten oder Leistungsmerkmale isolieren müssen.

Umgebungsvariable

Das folgende Beispiel deaktiviert die spekulative Eagle3-Dekodierung:

"Environment": {
    "DISABLE_SPECULATIVE_DECODING": "true"
}

KV-Cache-Datentyp

Legt den Datentyp für den Schlüsselwert-Cache (KV) fest, der während der Inferenz verwendet wird. Der KV-Cache speichert den Speicher früherer Token des Modells in einer Konversation, sodass jedes neue Token generiert werden kann, ohne die gesamte Eingabe erneut verarbeiten zu müssen. Bei langen Sequenzen kann dieser Cache viel GPU-Speicher verbrauchen. Wenn Sie den KV-Cache auf einen Datentyp mit niedrigerer Genauigkeit wie FP8 einstellen, wird der Speicherverbrauch reduziert und der Durchsatz kann verbessert werden, allerdings auf Kosten geringfügiger numerischer Unterschiede bei der Ausgabe.

Verwendungszweck: Aktivieren Sie den FP8-KV-Cache, wenn Sie längere Kontextlängen oder eine höhere Parallelität auf Ihrer Instance unterstützen müssen. Dies ist besonders bei GPU-Instanzen mit begrenztem Arbeitsspeicher nützlich. Testen Sie Ihren Anwendungsfall, um sicherzustellen, dass die Ausgabequalität Ihren Anforderungen entspricht, da eine geringere Genauigkeit zu leicht unterschiedlichen Ergebnissen führen kann.

Umgebungsvariable

"Environment": {
    "KV_CACHE_DTYPE": "fp8"
}

Quantisierung

Legt den Quantisierungsdatentyp für Modellgewichte fest. Bei der Quantisierung werden die Gewichtungen des Modells in ein Format mit niedrigerer Genauigkeit komprimiert (FP8 statt der standardmäßigen höheren Genauigkeit), wodurch der für das Modell benötigte GPU-Speicher reduziert wird. Dies kann den Inferenzdurchsatz verbessern und es größeren Modellen ermöglichen, auf kleinere Instance-Typen zu passen, ohne dass die Ausgabequalität beeinträchtigt wird.

Verwendungszweck: Verwenden Sie die FP8-Quantisierung, wenn Sie die Speicherauslastung reduzieren möchten, um eine höhere Parallelität zu unterstützen, oder wenn Sie ein Modell an einen kleineren Instance-Typ anpassen möchten. Beachten Sie, dass bei einigen Kombinationen aus Modell und Instanztyp die automatische FP8-Quantisierung erforderlich ist — siehe die Warnung unten.

Umgebungsvariable

"Environment": {
    "QUANTIZATION_DTYPE": "fp8"
}

Anzahl der spekulativen Token

Steuert, wie viele Token der Modellentwurf bei jedem spekulativen Dekodierungsschritt von Eagle3 voraussagt. Ein höherer Wert bedeutet, dass der Modellentwurf versucht, mehr Tokens gleichzeitig vorherzusagen, wodurch der Durchsatz verbessert werden kann, wenn die Prognosen korrekt sind. Wenn die Vorhersagen des Modellentwurfs häufig vom Primärmodell abweichen, kann ein niedrigerer Wert effizienter sein.

Verwendungszweck: Erhöhen Sie diesen Wert, wenn Ihr Workload vorhersehbare Ausgabemuster erzeugt (z. B. strukturierte Daten oder Vorlagentext), bei denen das Entwurfsmodell wahrscheinlich richtig raten wird. Verringern Sie ihn für kreative oder stark variable Ergebnisse, bei denen Vorhersagen weniger zuverlässig sind.

Umgebungsvariable

"Environment": {
    "NUM_SPECULATIVE_TOKENS": "5"
}

Dekodierung von Suffixen

Die Suffixdekodierung ist eine alternative Methode zur Beschleunigung der Textgenerierung. Anstatt ein separates Entwurfsmodell zu verwenden (wie es Eagle3 tut), sucht die Suffixdekodierung nach wiederholten Mustern im bereits generierten Text oder in der Eingabeaufforderung und verwendet diese Muster wieder, um future Token vorherzusagen. Dieser Ansatz funktioniert gut, wenn die Ausgabe wahrscheinlich wiederholte Phrasen, strukturierte Formate oder Inhalte enthält, die der Eingabe sehr ähnlich sind.

Verwendungszweck: Verwenden Sie die Suffixdekodierung für Aufgaben, bei denen die Ausgabe sich wiederholende Muster enthält, z. B. das Generieren strukturierter Daten, das Ausfüllen von Vorlagen oder das Zusammenfassen von Inhalten, bei denen Phrasen aus der Quelle wiederverwendet werden. Bei der Generierung für allgemeine Zwecke, bei denen die Ausgabe sehr unterschiedlich ist, bietet die Standardmethode Eagle3 in der Regel einen besseren Durchsatz.

Umgebungsvariable

"Environment": {
    "SPECULATIVE_DECODING_METHOD": "suffix"
}