Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
SageMaker Folgerung
Benutzerdefinierte Amazon Nova-Modelle sind jetzt auf SageMaker Inference verfügbar. Wenn Amazon Nova aktiviert ist SageMaker, können Sie damit beginnen, Prognosen oder Schlussfolgerungen aus Ihren trainierten benutzerdefinierten Amazon Nova-Modellen zu ziehen. SageMaker bietet eine breite Auswahl an Optionen zur ML-Infrastruktur und Modellbereitstellung, um all Ihren Anforderungen an ML-Inferenz gerecht zu werden. Mit SageMaker Inferenz können Sie Ihre Modellbereitstellung skalieren, Modelle in der Produktion effektiver verwalten und den betrieblichen Aufwand reduzieren.
SageMaker bietet Ihnen verschiedene Inferenzoptionen, z. B. Echtzeit-Endpunkte für Inferenzen mit geringer Latenz und asynchrone Endpunkte für Batches von Anfragen. Indem Sie die für Ihren Anwendungsfall geeignete Inferenzoption nutzen, können Sie eine effiziente Modellbereitstellung und Inferenz sicherstellen. Weitere Informationen zur Inferenz finden Sie unter Bereitstellen von Modellen für SageMaker Inferenz.
Wichtig
Bei Inferenz werden nur benutzerdefinierte Modelle und LoRA-merged Modelle mit vollem Rang unterstützt. SageMaker Verwenden Sie Amazon Bedrock für LoRa-Modelle und Basismodelle, die nicht zusammengeführt wurden.
Features
Die folgenden Funktionen sind für Amazon Nova-Modelle auf SageMaker Inferenz verfügbar:
Funktionen des Modells
-
Textgenerierung
Bereitstellung und Skalierung
-
Real-time Endpunkte mit benutzerdefinierter Instanzauswahl
-
Auto Scaling — Passen Sie die Kapazität automatisch an die Verkehrsmuster an, um Kosten und GPU-Auslastung zu optimieren. Weitere Informationen finden Sie unter Automatisches Skalieren von SageMaker Amazon-Modellen.
-
Streaming-API-Unterstützung für die Token-Generierung in Echtzeit
Überwachung und Optimierung
-
CloudWatch Amazon-Integration für Überwachung und Benachrichtigungen
-
Optimierung der Verfügbarkeit und Zone-aware Latenz durch VPC-Konfiguration
Entwicklungstools
-
AWS CLI support — Weitere Informationen finden Sie unter AWS CLI-Befehlsreferenz für SageMaker.
-
Notebook-Integration über SDK-Unterstützung
Unterstützte Modelle und Instanzen
Bei der Erstellung Ihrer SageMaker Inferenzendpunkte können Sie zwei Umgebungsvariablen festlegen, um Ihre Bereitstellung zu konfigurieren: CONTEXT_LENGTH und. MAX_CONCURRENCY
-
CONTEXT_LENGTH— Maximale Gesamtlänge des Tokens (Eingabe + Ausgabe) pro Anfrage -
MAX_CONCURRENCY— Maximale Anzahl gleichzeitiger Anfragen, die der Endpunkt bearbeiten wird
In der folgenden Tabelle sind die unterstützten Amazon Nova-Modelle, Instance-Typen und unterstützten Konfigurationen aufgeführt. Die MAX_CONCURRENCY-Werte stellen die maximale unterstützte Parallelität für jede CONTEXT_LENGTH-Einstellung dar:
| Modell | Instance-Typ | Unterstützte Konfigurationen | FP8-Quantisierung erforderlich |
|---|---|---|---|
| Amazon Nova Micro | ml.g5.12xlarge |
CONTEXT_LENGTH: 4000, MAX_PARALLELITÄT: 12 KONTEXTLÄNGE: 8000, MAXIMALE PARALLELITÄT: 6 |
Nein |
| ml.g5.24xlarge | KONTEXTLÄNGE: 8000, MAXIMALE PARALLELITÄT: 8 | Nein | |
| ml.g6e.xlarge |
KONTEXTLÄNGE: 8000, MAXIMALE PARALLELITÄT: 2 |
Nein | |
| ml.g6e.2xlarge |
KONTEXTLÄNGE: 8000, MAXIMALE PARALLELITÄT: 2 |
Nein | |
| ml.g6e.4xlarge |
KONTEXTLÄNGE: 8000, MAXIMALE PARALLELITÄT: 4 |
Nein | |
| ml.g6.12xlarge |
KONTEXTLÄNGE: 4000, MAXIMALE PARALLELITÄT: 12 KONTEXTLÄNGE: 8000, MAXIMALE PARALLELITÄT: 6 |
Nein | |
| ml.g6.24xlarge | KONTEXTLÄNGE: 8000, MAXIMALE PARALLELITÄT: 8 | Nein | |
| ml.g6.48xlarge | KONTEXTLÄNGE: 8000, MAXIMALE PARALLELITÄT: 12 | Nein | |
| ml.p5.48xlarge |
KONTEXTLÄNGE: 16000, MAXIMALE PARALLELITÄT: 128 KONTEXTLÄNGE: 64000, MAXIMALE PARALLELITÄT: 32 KONTEXTLÄNGE: 128000, MAXIMALE PARALLELITÄT: 8 |
Nein | |
| Amazon Nova Lite | ml.g6.12xlarge |
KONTEXTLÄNGE: 8000, MAXIMALE PARALLELITÄT: 2 |
Ja — Standardmäßig aktiviert |
| ml.g6.24xlarge |
CONTEXT_LENGTH: 8000, MAX_CONCURRENCY: 4 |
Ja — Standardmäßig aktiviert | |
| ml.g6.48xlarge |
CONTEXT_LENGTH: 4000, MAX_CONCURRENCY: 16 KONTEXTLÄNGE: 8000, MAXIMALE PARALLELITÄT: 8 |
Nein | |
| ml.p5.48xlarge |
KONTEXTLÄNGE: 16000, MAXIMALE PARALLELITÄT: 128 KONTEXTLÄNGE: 60000, MAXIMALE PARALLELITÄT: 8 |
Nein | |
| Nova 2 Lite | ml.g6.48xlarge |
KONTEXTLÄNGE: 8000, MAXIMALE PARALLELITÄT: 8 |
Ja — Standardmäßig aktiviert |
| ml.p5.48xlarge |
CONTEXT_LENGTH: 16000, MAX_CONCURRENCY: 128 KONTEXTLÄNGE: 64000, MAXIMALE PARALLELITÄT: 32 KONTEXTLÄNGE: 128000, MAXIMALE PARALLELITÄT: 8 KONTEXTLÄNGE: 256000, MAXIMALE PARALLELITÄT: 2 |
Nein |
Anmerkung
In Fällen, in denen die FP8-Quantisierung erforderlich ist, ist sie standardmäßig aktiviert.
Die angezeigten MAX_CONCURRENCY-Werte sind Obergrenzen für jede CONTEXT_LENGTH-Einstellung. Sie können niedrigere Kontextlängen bei derselben Parallelität verwenden, aber eine Überschreitung dieser Werte führt dazu, dass die Endpunkterstellung fehlschlägt. SageMaker
Zum Beispiel auf Amazon Nova Micro mit einem ml.g5.12xlarge:
-
CONTEXT_LENGTH=2000MAX_CONCURRENCY=12, → Gültig -
CONTEXT_LENGTH=8000,MAX_CONCURRENCY=12→ Abgelehnt (Parallelitätslimit ist 6 bei einer Kontextlänge von 8000) -
CONTEXT_LENGTH=8000,MAX_CONCURRENCY=4→ Gültig -
CONTEXT_LENGTH=8000,MAX_CONCURRENCY=6→ Gültig -
CONTEXT_LENGTH=10000→ Abgelehnt (die maximale Kontextlänge beträgt 8000 auf dieser Instanz)
Inferenzkomponenten
Sie können Amazon Nova-Modelle mithilfe von SageMaker Inferenzkomponenten bereitstellen, die es Ihnen ermöglichen, mehrere Modelle auf einem einzigen Endpunkt zu hosten und die Ressourcennutzung zu optimieren. Mit Inferenzkomponenten können Sie die Rechenressourcen (CPU, Arbeitsspeicher, GPU) angeben, die für jedes Modell erforderlich sind, wodurch effizientes Hosting mehrerer Modelle auf einer gemeinsam genutzten Infrastruktur ermöglicht wird.
In der folgenden Tabelle sind die Mindestanforderungen an Rechenressourcen für jedes Amazon Nova-Modell aufgeführt, wenn Inferenzkomponenten verwendet werden:
| Modell | Minimale Anzahl an CPU-Kernen | Minimaler Arbeitsspeicher (MB) | Minimale GPU-Anzahl |
|---|---|---|---|
| Amazon Nova Micro | 15 | 25000 | 4 |
| Amazon Nova Lite | 20 | 35000 | 4 |
| Nova 2 Lite | 20 | 100000 | 4 |
Anmerkung
Die ComputeResourceRequirements Werte müssen die in der obigen Tabelle aufgeführten Mindestanforderungen für das Modell, das Sie bereitstellen, erfüllen oder übertreffen. Wenn Sie Werte verwenden, die unter den Mindestanforderungen liegen, schlägt die Erstellung der Inferenzkomponenten fehl.
Sie können mehrere Inferenzkomponenten auf demselben Endpunkt bereitstellen, sofern die Gesamtressourcenanforderungen die Kapazität der Instanz nicht überschreiten.
Die Anzahl der Inferenzkomponenten, die Sie auf einem einzelnen Endpunkt hosten können, hängt von den verfügbaren Ressourcen des Instanztyps und den Mindestanforderungen der einzelnen Modelle ab. Zum Beispiel auf einem ml.p5.48xlarge (8 GPUs, 192 vCPUs, ~1 TB Speicher):
-
1 Amazon Nova Micro-Inferenzkomponente (4 GPUs, 15 CPU-Kerne, 25000 MB) → Gültig
-
2 Amazon Nova Micro-Inferenzkomponenten (insgesamt 8 GPUs, 30 CPU-Kerne, 50000 MB) → Gültig (passt in die Instance-Kapazität)
-
1 Nova 2 Lite-Inferenzkomponente (4 GPUs, 20 CPU-Kerne, 100000 MB) → Gültig
-
2 Nova 2 Lite-Inferenzkomponenten (insgesamt 8 GPUs, 40 CPU-Kerne, 200000 MB) → Gültig
-
3 Amazon Nova Micro-Inferenzkomponenten (insgesamt 12 GPUs) → Abgelehnt (mehr als 8 verfügbare GPUs)
AWS Unterstützte Regionen
In der folgenden Tabelle sind die AWS Regionen aufgeführt, in denen Amazon Nova-Modelle auf SageMaker Inferenz verfügbar sind:
| Name der Region | Regionscode | Verfügbarkeit |
|---|---|---|
| USA Ost (Nord-Virginia) | us-east-1 | Available (Verfügbar) |
| USA West (Oregon) | us-west-2 | Available (Verfügbar) |
Unterstützte Container-Images
In der folgenden Tabelle sind die Container-Image-URIs für Amazon Nova-Modelle nach SageMaker Inferenz nach Regionen aufgeführt. Das SM-Inference-latest Tag zeigt derzeit auf. v1.4
| Region | Container-Image-URIs |
|---|---|
| us-east-1 | 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-inference-repo:SM-Inference-latest |
| us-west-2 | 176779409107.dkr.ecr.us-west-2.amazonaws.com/nova-inference-repo:SM-Inference-latest |
Bewährte Methoden
Bewährte Methoden für die Bereitstellung und Verwaltung von Modellen auf SageMaker finden Sie unter Bewährte Methoden für SageMaker.
Support
Bei Problemen und Support mit Amazon Nova-Modellen auf SageMaker Inferenz wenden Sie sich über die Konsole oder Ihren AWS Kundenbetreuer an den AWS Support.
Themen
