Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Amazon SageMaker AI bietet die folgenden vier Optionen für die Bereitstellung von Inferenzmodellen.
-
Inferenz in Echtzeit für Inferenz-Workloads mit interaktiven Echtzeitanforderungen mit geringer Latenz.
-
Batch-Transformation für Offline-Inferenz mit großen Datensätzen.
-
Asynchrone Inferenz für near-real-time Inferenz mit großen Eingaben, die längere Vorverarbeitungszeiten erfordern.
-
Serverlose Inferenz für Inferenz-Workloads mit Leerlaufzeiten zwischen Datenverkehrsspitzen.
In der folgenden Tabelle sind die wichtigsten Plattformfunktionen zusammengefasst, die von den einzelnen Inferenzoptionen unterstützt werden. Sie zeigt keine Funktionen, die durch Frameworks, benutzerdefinierte Docker-Container oder durch Verkettung verschiedener AWS Dienste bereitgestellt werden können.
| Funktion | Echtzeit-Inferenz | Batch-Transformation | Asynchrone Inferenz | Serverlose Inferenz | Docker-Container |
|---|---|---|---|---|---|
| Unterstützung für Autoscaling | ✓ | N/A | ✓ | ✓ | N/A |
| Unterstützung für GPU | ✓ 1 | ✓ 1 | ✓ 1 | 1P, vorgefertigt, BYOC | |
| Einzelnes Modell | ✓ | ✓ | ✓ | ✓ | N/A |
| Multimodell-Endpunkt | ✓ | k-NN, Linear Learner XGBoost, RCF, Apache, Scikit-Learn 2 TensorFlow MXNet PyTorch | |||
| Endpunkt mit mehreren Containern | ✓ | 1P, vorkonfiguriert, Extend vorkonfiguriert, BYOC | |||
| Pipeline für serielle Inferenzen | ✓ | ✓ | 1P, vorkonfiguriert, Extend vorkonfiguriert, BYOC | ||
| Empfehlung für Inferenzen | ✓ | 1P, vorkonfiguriert, Extend vorkonfiguriert, BYOC | |||
| Support für privaten Link | ✓ | ✓ | ✓ | N/A | |
| Unterstützung für Datenerfassung/Modellmonitor | ✓ | ✓ | N/A | ||
| DLCs unterstützt |
1P, vorkonfiguriert, Extend vorkonfiguriert, BYOC | 1P, vorkonfiguriert, Extend vorkonfiguriert, BYOC | 1P, vorkonfiguriert, Extend vorkonfiguriert, BYOC | 1P, vorkonfiguriert, Extend vorkonfiguriert, BYOC | N/A |
| Unterstützte Protokolle | HTTP/S | HTTP/S | HTTP/S | HTTP/S | N/A |
| Nutzlastgröße | < 6 MB | ≤ 100 MB | ≤ 1 GB | ≤ 4 MB | |
| HTTP-Blockcodierung | Framework-abhängig, 1P wird nicht unterstützt | N/A | Framework-abhängig, 1P wird nicht unterstützt | Framework-abhängig, 1P wird nicht unterstützt | N/A |
| Anforderungs-Timeout | < 60 Sekunden | Tage | < 1 Stunde | < 60 Sekunden | N/A |
| Bereitstellungs-Guardrails: Blau/Grün-Bereitstellungen | ✓ | N/A | ✓ | N/A | |
| Bereitstellungs-Guardrails: fortlaufende Bereitstellungen | ✓ | N/A | ✓ | N/A | |
| Schattentests | ✓ | N/A | |||
| Skalierung auf Null | N/A | ✓ | ✓ | N/A | |
| Unterstützung von Marketplace-Modellpaketen | ✓ | ✓ | N/A | ||
| Unterstützung für virtuellen privaten Cloud | ✓ | ✓ | ✓ | N/A | |
| Unterstützung mehrerer Produktionsvarianten | ✓ | N/A | |||
| Netzwerkisolierung | ✓ | ✓ | N/A | ||
| Unterstützung für die parallele Bedienung von Modellen | ✓ 3 | ✓ | ✓ 3 | ✓ 3 | |
| Volume-Verschlüsselung | ✓ | ✓ | ✓ | ✓ | N/A |
| Kunde AWS KMS | ✓ | ✓ | ✓ | ✓ | N/A |
| d Instance Unterstützung | ✓ | ✓ | ✓ | N/A | |
| inf1-Unterstützung | ✓ | ✓ |
Mit SageMaker KI können Sie ein einzelnes Modell oder mehrere Modelle hinter einem einzigen Inferenzendpunkt einsetzen, um Inferenz in Echtzeit zu erzielen. In der folgenden Tabelle sind die Kern-Features zusammengefasst, die von den verschiedenen Hosting-Optionen unterstützt werden, die mit Echtzeit-Inferenz ausgestattet sind.
| Funktion | Endgeräte mit einem einzigen Modell | Endpunkte mit mehreren Modellen | Pipeline für serielle Inferenzen | Endpunkte mit mehreren Containern |
|---|---|---|---|---|
| Unterstützung für Autoscaling | ✓ | ✓ | ✓ | ✓ |
| Unterstützung für GPU | ✓ 1 | ✓ | ✓ | |
| Einzelnes Modell | ✓ | ✓ | ✓ | ✓ |
| Endpunkte mit mehreren Modellen | ✓ | ✓ | N/A | |
| Endpunkte mit mehreren Containern | ✓ | N/A | ||
| Pipeline für serielle Inferenzen | ✓ | ✓ | N/A | |
| Empfehlung für Inferenzen | ✓ | |||
| Support für privaten Link | ✓ | ✓ | ✓ | ✓ |
| Unterstützung für Datenerfassung/Modellmonitor | ✓ | N/A | – | N/A |
| DLCs unterstützt | 1P, vorkonfiguriert, Extend vorkonfiguriert, BYOC | k-NN XGBoost, Linear Learner, RCF, Apache TensorFlow MXNet, PyTorch Scikit-Learn 2 | 1P, vorkonfiguriert, Extend vorkonfiguriert, BYOC | 1P, vorkonfiguriert, Extend vorkonfiguriert, BYOC |
| Unterstützte Protokolle | HTTP/S | HTTP/S | HTTP/S | HTTP/S |
| Nutzlastgröße | < 6 MB | < 6 MB | < 6 MB | < 6 MB |
| Anforderungs-Timeout | < 60 Sekunden | < 60 Sekunden | < 60 Sekunden | < 60 Sekunden |
| Bereitstellungs-Guardrails: Blau/Grün-Bereitstellungen | ✓ | ✓ | ✓ | ✓ |
| Bereitstellungs-Guardrails: fortlaufende Bereitstellungen | ✓ | ✓ | ✓ | ✓ |
| Schattentests | ✓ | |||
| Unterstützung von Marketplace-Modellpaketen | ✓ | |||
| Unterstützung für virtuellen privaten Cloud | ✓ | ✓ | ✓ | ✓ |
| Unterstützung mehrerer Produktionsvarianten | ✓ | ✓ | ✓ | |
| Netzwerkisolierung | ✓ | ✓ | ✓ | ✓ |
| Unterstützung für die parallele Bedienung von Modellen | ✓ 3 | ✓ 3 | ||
| Volume-Verschlüsselung | ✓ | ✓ | ✓ | ✓ |
| Kunde AWS KMS | ✓ | ✓ | ✓ | ✓ |
| d Instance Unterstützung | ✓ | ✓ | ✓ | ✓ |
| inf1-Unterstützung | ✓ |
1 Die Verfügbarkeit der EC2 Amazon-Instance-Typen hängt von der AWS Region ab. Informationen zur Verfügbarkeit von spezifischen Instances finden Sie unter Amazon SageMaker AI-Preise
2 Um ein anderes Framework oder einen anderen Algorithmus zu verwenden, verwenden Sie das SageMaker AI Inference Toolkit, um einen Container zu erstellen, der Endpunkte mit mehreren Modellen unterstützt.
3 Mit SageMaker KI können Sie große Modelle (bis zu 500 GB) für Inferenz einsetzen. Sie können die Container-Integritätsprüfung und die Download-Timeout-Kontingente von bis zu 60 Minuten konfigurieren. Dadurch haben Sie mehr Zeit zum Herunterladen und Laden Ihres Modells und der zugehörigen Ressourcen. Weitere Informationen finden Sie unter SageMaker KI-Endpunktparameter für große Modellinferenz. Sie können SageMaker KI-kompatible Inferenzcontainer für große Modelle
