Implementieren Sie Modelle für Inferenz in Echtzeit

1. Öffnen Sie die SageMaker Studio-Anwendung.

2. Wählen Sie im linken Navigationsbereich Models (Modelle) aus.

3. Wählen Sie die Registerkarte Bereitstellbare Modelle.

4. Wählen Sie auf der Seite Bereitstellbare Modelle die Option Erstellen aus.

5. Geben Sie auf der Seite Bereitstellbares Modell erstellen in das Feld Modellname einen Namen für das Modell ein.

Gehen Sie für den Abschnitt Container-Definition wie folgt vor:

1. Wählen Sie als Containertyp die Option Vorgefertigter Container aus, wenn Sie einen SageMaker verwalteten Container verwenden möchten, oder wählen Sie Bring your own container aus, wenn Sie Ihren eigenen Container haben.

2. Wenn Sie Vorgefertigte Container ausgewählt haben, wählen Sie das Container-Framework, die Framework-Version und den Hardwaretyp aus, den Sie verwenden möchten.

3. Wenn Sie Bring your own container ausgewählt haben, geben Sie einen ECR Amazon-Pfad als ECRPfad zum Container-Image ein.

Gehen Sie für den Abschnitt Artefakte wie folgt vor:

1. Wenn Sie eines der Frameworks verwenden, das Modellartefakte (PyTorch oderXGBoost) für das Verpacken SageMaker unterstützt, können Sie für Artefakte die Option Artefakte hochladen wählen. Mit dieser Option können Sie einfach Ihre Rohmodellartefakte, beliebigen benutzerdefinierten Inferenzcode und Ihre Datei requirements.txt angeben und das Paketieren SageMaker des Archivs für Sie übernehmen. Gehen Sie wie folgt vor:

   1. Wählen Sie unter Artefakte die Option Artefakte hochladen aus, um Ihre Dateien weiterhin bereitzustellen. Andernfalls, wenn Sie bereits über ein tar.gz Archiv verfügen, das Ihre Modelldateien, Ihren Inferenzcode und Ihre requirements.txt Datei enthält, wählen Sie Input S3 für vorverpackte URI Artefakte.

   2. Wenn Sie Ihre Artefakte hochladen möchten, geben Sie für S3-Bucket den Amazon S3 S3-Pfad zu einem Bucket ein, in dem Sie Ihre Artefakte speichern SageMaker möchten, nachdem Sie sie für Sie verpackt haben. Führen Sie dann die folgenden Schritte aus.

   3. Laden Sie unter Modellartefakte hochladen Ihre Modelldateien hoch.

   4. Wählen Sie unter Inferenzcode die Option Standard-Inferenzcode verwenden aus, wenn Sie Standardcode verwenden möchten, der die Bereitstellung von Inferenzen SageMaker ermöglicht. Wählen Sie andernfalls Benutzerdefinierten Inferenzcode hochladen aus, um Ihren eigenen Inferenzcode zu verwenden.

   5. Laden Sie für Upload requirements.txt eine Textdatei hoch, in der alle Abhängigkeiten aufgeführt sind, die Sie zur Laufzeit installieren möchten.

2. Wenn Sie kein Framework verwenden, das das Verpacken von Modellartefakten SageMaker unterstützt, zeigt Ihnen Studio die Option Vorgepackte Artefakte an, und Sie müssen alle Ihre Artefakte, die bereits verpackt sind, als tar.gz Archiv bereitstellen. Gehen Sie wie folgt vor:

   1. Wählen Sie für vorverpackte Artefakte Input S3 URI für vorverpackte Modellartefakte aus, wenn Sie Ihr tar.gz Archiv bereits auf Amazon S3 hochgeladen haben. Wählen Sie Vorverpackte Modellartefakte hochladen aus, wenn Sie Ihr Archiv direkt hochladen möchten. SageMaker

   2. Wenn Sie Input S3 URI für vorverpackte Modellartefakte ausgewählt haben, geben Sie den Amazon S3 S3-Pfad zu Ihrem Archiv für S3 URI ein. Andernfalls wählen Sie das Archiv aus und laden Sie es von Ihrem lokalen Computer hoch.

Gehen Sie für den Abschnitt Sicherheit wie folgt vor:

1. Geben Sie für IAMRolle den ARN für eine IAM Rolle ein.

2. (Optional) Für Virtual Private Cloud (VPC) können Sie ein Amazon VPC zum Speichern Ihrer Modellkonfiguration und Ihrer Artefakte auswählen.

3. (Optional) Aktivieren Sie den Schalter Netzwerkisolierung, wenn Sie den Internetzugang Ihres Containers einschränken möchten.

(Optional) Gehen Sie im Abschnitt Erweiterte Optionen wie folgt vor:

1. Aktivieren Sie die Option Benutzerdefinierte Instanzempfehlungen, wenn Sie nach der Erstellung einen Amazon SageMaker Inference Recommender-Job für Ihr Modell ausführen möchten. Inference Recommender ist eine Funktion, die Ihnen empfohlene Instance-Typen zur Optimierung der Leistung und der Kosten von Inferenzen bietet. Sie können sich diese Instanzempfehlungen ansehen, wenn Sie sich auf die Bereitstellung Ihres Modells vorbereiten.

2. Geben Sie unter Umgebungsvariablen hinzufügen eine Umgebungsvariable für Ihren Container als Schlüssel-Wert-Paare ein.

3. Geben Sie für Tags beliebige Tags als Schlüssel-Wert-Paare ein.

4. Nachdem Sie Ihre Modell- und Container-Konfiguration abgeschlossen haben, wählen Sie Create Deployable Model aus.

1. Öffnen Sie die SageMaker Studio-Anwendung.

2. Wählen Sie im linken Navigationsbereich Models (Modelle) aus.

3. Wählen Sie auf der Seite Modelle ein oder mehrere Modelle aus der SageMaker Modellliste aus.

4. Wählen Sie Bereitstellen.

5. Öffnen Sie für den Endpunktnamen das Dropdownmenü. Sie können entweder einen vorhandenen Endpunkt auswählen oder einen neuen Endpunkt erstellen, auf dem Sie das Modell bereitstellen.

6. Wählen Sie unter Instanztyp den Instanztyp aus, den Sie für den Endpunkt verwenden möchten. Wenn Sie zuvor einen Inference Recommender-Job für das Modell ausgeführt haben, werden Ihre empfohlenen Instance-Typen in der Liste unter dem Titel Recommended angezeigt. Andernfalls werden Ihnen einige potenzielle Instanzen angezeigt, die möglicherweise für Ihr Modell geeignet sind.

   Kompatibilität mit dem Instanztyp für JumpStart

   Wenn Sie ein JumpStart Modell bereitstellen, zeigt Studio nur Instanztypen an, die das Modell unterstützt.

7. Geben Sie unter Anzahl der ersten Instanzen die anfängliche Anzahl der Instanzen ein, die Sie für Ihren Endpunkt bereitstellen möchten.

8. Geben Sie unter Maximale Anzahl von Instanzen die maximale Anzahl von Instanzen an, die der Endpunkt bereitstellen kann, wenn er entsprechend einem Anstieg des Datenverkehrs skaliert wird.

9. Wenn das Modell, das Sie bereitstellen, eines der am häufigsten JumpStart LLMs vom Model Hub verwendeten ist, wird die Option Alternative Konfigurationen hinter den Feldern Instanztyp und Instanzanzahl angezeigt.

   Für die beliebtesten Instance-Typen AWS wurden vorab Benchmarks durchgeführt JumpStart LLMs, um entweder Kosten oder Leistung zu optimieren. Diese Daten können Ihnen bei der Entscheidung helfen, welchen Instance-Typ Sie für die Bereitstellung Ihres verwenden möchten. LLM Wählen Sie Alternative Konfigurationen, um ein Dialogfeld zu öffnen, das die vorab Benchmarking-Daten enthält. Das Panel sieht wie der folgende Screenshot aus:

   

   Gehen Sie im Feld Alternative Konfigurationen wie folgt vor:

   1. Auswahl von Instance-Typen Sie können „Kosten pro Stunde“ oder „Beste Leistung“ wählen, um Instance-Typen anzuzeigen, die entweder die Kosten oder die Leistung für das angegebene Modell optimieren. Sie können auch Andere unterstützte Instances wählen, um eine Liste anderer Instance-Typen anzuzeigen, die mit dem JumpStart Modell kompatibel sind. Beachten Sie, dass die Auswahl eines Instanztyps hier alle vorherigen Instanzauswahlen, die in Schritt 6 angegeben wurden, überschreibt.

   2. (Optional) Aktivieren Sie den Schalter Ausgewählte Konfiguration anpassen, um Max. Token-Gesamtzahl (die maximale Anzahl von Tokens, die Sie zulassen möchten, d. h. die Summe Ihrer Eingabe-Token und der generierten Ausgabe des Modells), Max. Länge des Eingabe-Tokens (die maximale Anzahl von Tokens, die Sie für die Eingabe jeder Anforderung zulassen möchten) und Max Concurrent Requests (die maximale Anzahl von Anfragen, die das Modell gleichzeitig verarbeiten kann) anzugeben.

   3. Wählen Sie Select, um Ihren Instance-Typ und Ihre Konfigurationseinstellungen zu bestätigen.

10. Das Feld Modell sollte bereits mit dem Namen des Modells oder der Modelle gefüllt sein, die Sie bereitstellen. Sie können Modell hinzufügen wählen, um der Bereitstellung weitere Modelle hinzuzufügen. Füllen Sie für jedes Modell, das Sie hinzufügen, die folgenden Felder aus:

    1. Geben Sie unter Anzahl der CPU CPU Kerne die Kerne ein, die Sie für die Nutzung des Modells reservieren möchten.

    2. Geben Sie unter Mindestanzahl an Kopien die Mindestanzahl von Modellkopien ein, die Sie zu einem bestimmten Zeitpunkt auf dem Endpunkt hosten möchten.

    3. Geben Sie für Min. CPU Arbeitsspeicher (MB) die Mindestspeichermenge (in MB) ein, die das Modell benötigt.

    4. Geben Sie unter Maximaler CPU Arbeitsspeicher (MB) die maximale Speichermenge (in MB) ein, die das Modell verwenden darf.

11. (Optional) Gehen Sie für die erweiterten Optionen wie folgt vor:

    1. Verwenden Sie für IAMRolle entweder die SageMaker IAM Standard-Ausführungsrolle, oder geben Sie Ihre eigene Rolle an, die über die erforderlichen Berechtigungen verfügt. Beachten Sie, dass diese IAM Rolle mit der Rolle identisch sein muss, die Sie bei der Erstellung des bereitstellbaren Modells angegeben haben.

    2. Für Virtual Private Cloud (VPC) können Sie eine angeben, VPC in der Sie Ihren Endpunkt hosten möchten.

    3. Wählen Sie unter KMSVerschlüsselungsschlüssel einen AWS KMS Schlüssel zum Verschlüsseln von Daten auf dem Speichervolume aus, das an die ML-Compute-Instanz angehängt ist, die den Endpunkt hostet.

    4. Aktivieren Sie den Schalter Netzwerkisolierung aktivieren, um den Internetzugang Ihres Containers einzuschränken.

    5. Geben Sie für die Timeout-Konfiguration Werte für die Felder Timeout für den Download von Modelldaten (Sekunden) und Timeout für die Integritätsprüfung beim Container-Start (Sekunden) ein. Diese Werte bestimmen die maximale Zeitspanne, die für das SageMaker Herunterladen des Modells in den Container bzw. das Starten des Containers zur Verfügung steht.

    6. Geben Sie für Tags beliebige Tags als Schlüssel-Wert-Paare ein.

    Anmerkung

    SageMaker konfiguriert die Einstellungen für IAM Rolle und Netzwerkisolierung mit AnfangswertenVPC, die mit dem Modell kompatibel sind, das Sie bereitstellen. Wenn Sie die Kompatibilität durch Ändern dieser Einstellungen beeinträchtigen, zeigt Studio eine Warnung an und verhindert Ihre Bereitstellung.