Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
SageMaker Inferenz
Benutzerdefinierte Amazon Nova-Modelle sind jetzt auf SageMaker Inference verfügbar. Wenn Amazon Nova aktiviert ist SageMaker, können Sie damit beginnen, Vorhersagen oder Schlussfolgerungen aus Ihren trainierten benutzerdefinierten Amazon Nova-Modellen zu ziehen. SageMaker bietet eine breite Auswahl an ML-Infrastruktur- und Modellbereitstellungsoptionen, um all Ihre ML-Inferenzanforderungen zu erfüllen. Mithilfe von SageMaker Inferenz können Sie Ihre Modellbereitstellung skalieren, Modelle in der Produktion effektiver verwalten und den betrieblichen Aufwand reduzieren.
SageMaker bietet Ihnen verschiedene Inferenzoptionen, z. B. Echtzeit-Endpunkte für Inferenzen mit niedriger Latenz und asynchrone Endpunkte für Batches von Anfragen. Indem Sie die für Ihren Anwendungsfall geeignete Inferenzoption nutzen, können Sie eine effiziente Modellbereitstellung und Inferenz sicherstellen. Weitere Informationen zur Inferenz finden Sie unter Bereitstellen von Modellen für SageMaker Inferenz. https://docs.aws.amazon.com/sagemaker/latest/dg/deploy-model.html
Wichtig
Bei der Inferenz werden nur benutzerdefinierte Modelle und LoRA-merged Modelle mit vollem Rang unterstützt. SageMaker Verwenden Sie Amazon Bedrock für LoRa-Modelle und Basismodelle, die nicht zusammengeführt wurden.
Features
Die folgenden Funktionen sind für Amazon Nova-Modelle auf Inference verfügbar: SageMaker
Funktionen des Modells
-
Textgenerierung
Bereitstellung und Skalierung
-
Real-time Endpunkte mit benutzerdefinierter Instanzauswahl
-
Auto Scaling — Passen Sie die Kapazität automatisch an die Verkehrsmuster an, um die Kosten und die GPU-Auslastung zu optimieren. Weitere Informationen finden Sie unter Automatisches Skalieren von SageMaker Amazon-Modellen.
-
Streaming-API-Unterstützung für die Token-Generierung in Echtzeit
Überwachung und Optimierung
-
CloudWatch Amazon-Integration für Überwachung und Benachrichtigungen
-
Optimierung der Verfügbarkeit und Zone-aware Latenz durch VPC-Konfiguration
Tools für die Entwicklung
-
AWS CLI Unterstützung — Weitere Informationen finden Sie in der AWS CLI-Befehlsreferenz für SageMaker.
-
Jupyter Notebook-Integration über SDK-Unterstützung
Unterstützte Modelle und Instanzen
Beim Erstellen Ihrer SageMaker Inferenzendpunkte können Sie zwei Umgebungsvariablen festlegen, um Ihre Bereitstellung zu konfigurieren: CONTEXT_LENGTH und. MAX_CONCURRENCY
-
CONTEXT_LENGTH— Maximale Gesamtlänge des Tokens (Eingabe + Ausgabe) pro Anfrage -
MAX_CONCURRENCY— Maximale Anzahl gleichzeitiger Anfragen, die der Endpunkt bearbeiten wird
In der folgenden Tabelle sind die unterstützten Amazon Nova-Modelle, Instance-Typen und unterstützten Konfigurationen aufgeführt. Die MAX_CONCURRENCY-Werte stellen die maximal unterstützte Parallelität für jede CONTEXT_LENGTH-Einstellung dar:
| Modell | Instance-Typ | Unterstützte Konfigurationen | FP8-Quantisierung erforderlich |
|---|---|---|---|
| Amazon Nova Micro | ml.g5.12xlarge |
CONTEXT_LENGTH: 4000, MAX_CONCURRENCY: 12 KONTEXTLÄNGE: 8000, MAXIMALE PARALLELITÄT: 6 |
Nein |
| ml.g5.24xlarge | KONTEXTLÄNGE: 8000, MAXIMALE PARALLELITÄT: 8 | Nein | |
| ml.g6e.xlarge |
KONTEXTLÄNGE: 8000, MAXIMALE PARALLELITÄT: 2 |
Nein | |
| ml.g6e.2xlarge |
KONTEXTLÄNGE: 8000, MAXIMALE PARALLELITÄT: 2 |
Nein | |
| ml.g6e.4xlarge |
KONTEXTLÄNGE: 8000, MAXIMALE PARALLELITÄT: 4 |
Nein | |
| ml.g6.12xlarge |
KONTEXTLÄNGE: 4000, MAXIMALE PARALLELITÄT: 12 KONTEXTLÄNGE: 8000, MAXIMALE PARALLELITÄT: 6 |
Nein | |
| ml.g6.24xlarge | KONTEXTLÄNGE: 8000, MAXIMALE PARALLELITÄT: 8 | Nein | |
| ml.g6.48xlarge | KONTEXTLÄNGE: 8000, MAXIMALE PARALLELITÄT: 12 | Nein | |
| ml.p5.48xlarge |
KONTEXTLÄNGE: 16000, MAXIMALE PARALLELITÄT: 128 CONTEXT_LENGTH: 64000, MAX_CONCURRENCY: 32 CONTEXT_LENGTH: 128000, MAX_CONCURRENCY: 8 |
Nein | |
| Amazon Nova Lite | ml.g6.12xlarge |
KONTEXTLÄNGE: 8000, MAXIMALE PARALLELITÄT: 2 |
Ja — Standardmäßig aktiviert |
| ml.g6.24xlarge |
CONTEXT_LENGTH: 8000, MAX_CONCURRENCY: 4 |
Ja — Standardmäßig aktiviert | |
| ml.g6.48xlarge |
CONTEXT_LENGTH: 4000, MAX_CONCURRENCY: 16 KONTEXTLÄNGE: 8000, MAXIMALE PARALLELITÄT: 8 |
Nein | |
| ml.p5.48xlarge |
KONTEXTLÄNGE: 16000, MAXIMALE PARALLELITÄT: 128 CONTEXT_LENGTH: 60000, MAX_CONCURRENCY: 8 |
Nein | |
| Nova 2 Lite | ml.g6.48xlarge |
KONTEXTLÄNGE: 8000, MAXIMALE PARALLELITÄT: 8 |
Ja — Standardmäßig aktiviert |
| ml.p5.48xlarge |
CONTEXT_LENGTH: 16000, MAX_CONCURRENCY: 128 CONTEXT_LENGTH: 64000, MAX_CONCURRENCY: 32 CONTEXT_LENGTH: 128000, MAX_CONCURRENCY: 8 CONTEXT_LENGTH: 256000, MAX_CONCURRENCY: 2 |
Nein |
Anmerkung
In Fällen, in denen eine FP8-Quantisierung erforderlich ist, wird sie standardmäßig aktiviert.
Die angegebenen MAX_CONCURRENCY-Werte sind Obergrenzen für jede CONTEXT_LENGTH-Einstellung. Sie können niedrigere Kontextlängen mit derselben Parallelität verwenden, aber wenn Sie diese Werte überschreiten, schlägt die Endpunkterstellung fehl. SageMaker
Zum Beispiel auf Amazon Nova Micro mit einer ml.g5.12xlarge:
-
CONTEXT_LENGTH=2000MAX_CONCURRENCY=12, → Gültig -
CONTEXT_LENGTH=8000,MAX_CONCURRENCY=12→ Abgelehnt (Parallelitätslimit ist 6 bei einer Kontextlänge von 8000) -
CONTEXT_LENGTH=8000,MAX_CONCURRENCY=4→ Gültig -
CONTEXT_LENGTH=8000,MAX_CONCURRENCY=6→ Gültig -
CONTEXT_LENGTH=10000→ Abgelehnt (die maximale Kontextlänge beträgt 8000 auf dieser Instanz)
Inferenzkomponenten
Sie können Amazon Nova-Modelle mithilfe von SageMaker Inferenzkomponenten bereitstellen, die es Ihnen ermöglichen, mehrere Modelle auf einem einzigen Endpunkt zu hosten und die Ressourcenauslastung zu optimieren. Mit Inferenzkomponenten können Sie die Rechenressourcen (CPU, Speicher, GPU) angeben, die für jedes Modell erforderlich sind, wodurch effizientes Hosting mehrerer Modelle auf einer gemeinsam genutzten Infrastruktur ermöglicht wird.
In der folgenden Tabelle sind die Mindestanforderungen an die Rechenressourcen für jedes Amazon Nova-Modell aufgeführt, wenn Inferenzkomponenten verwendet werden:
| Modell | Minimale CPU-Kerne | Minimaler Arbeitsspeicher (MB) | Minimale GPU-Anzahl |
|---|---|---|---|
| Amazon Nova Micro | 15 | 25000 | 4 |
| Amazon Nova Lite | 20 | 35000 | 4 |
| Nova 2 Lite | 20 | 100000 | 4 |
Anmerkung
Die ComputeResourceRequirements Werte müssen die in der obigen Tabelle aufgeführten Mindestanforderungen für das Modell, das Sie bereitstellen, erfüllen oder übertreffen. Wenn Sie Werte verwenden, die unter den Mindestwerten liegen, schlägt die Erstellung der Inferenzkomponente fehl.
Sie können mehrere Inferenzkomponenten auf demselben Endpunkt bereitstellen, sofern die Gesamtressourcenanforderungen die Kapazität der Instanz nicht überschreiten.
Die Anzahl der Inferenzkomponenten, die Sie auf einem einzelnen Endpunkt hosten können, hängt von den verfügbaren Ressourcen des Instanztyps und den Mindestanforderungen der einzelnen Modelle ab. Zum Beispiel auf a ml.p5.48xlarge (8 GPUs, 192 vCPUs, ~1 TB Speicher):
-
1 Amazon Nova Micro-Inferenzkomponente (4 GPUs, 15 CPU-Kerne, 25000 MB) → Gültig
-
2 Amazon Nova Micro-Inferenzkomponenten (insgesamt 8 GPUs, 30 CPU-Kerne, 50000 MB) → Gültig (passt zur Instance-Kapazität)
-
1 Nova 2 Lite-Inferenzkomponente (4 GPUs, 20 CPU-Kerne, 100000 MB) → Gültig
-
2 Nova 2 Lite-Inferenzkomponenten (insgesamt 8 GPUs, 40 CPU-Kerne, 200000 MB) → Gültig
-
3 Amazon Nova Micro-Inferenzkomponenten (insgesamt 12 GPUs) → Abgelehnt (mehr als 8 verfügbare GPUs)
Unterstützt AWS Regionen
In der folgenden Tabelle sind die AWS Regionen aufgeführt, in denen Amazon Nova-Modelle auf Inferenzbasis verfügbar sind: SageMaker
| Name der Region | Regionscode | Verfügbarkeit |
|---|---|---|
| USA Ost (Nord-Virginia) | us-east-1 | Available (Verfügbar) |
| USA West (Oregon) | us-west-2 | Available (Verfügbar) |
Unterstützte Container-Images
In der folgenden Tabelle sind die Container-Image-URIs für Amazon Nova-Modelle in Bezug auf SageMaker Inferenz nach Regionen aufgeführt. Das SM-Inference-latest Tag verweist derzeit auf. v1.4
| Region | Container-Image-URIs |
|---|---|
| us-east-1 | 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-inference-repo:SM-Inference-latest |
| us-west-2 | 176779409107.dkr.ecr.us-west-2.amazonaws.com/nova-inference-repo:SM-Inference-latest |
Bewährte Methoden
Bewährte Methoden für die Bereitstellung und Verwaltung von Modellen finden Sie unter Bewährte Methoden für SageMaker. SageMaker
Support
Bei Problemen und Support mit Amazon Nova-Modellen zum Thema SageMaker Inferenz wenden Sie sich über die Konsole an den AWS Support oder an Ihren AWS Account Manager.
Themen
