Bereitstellen eines Modells - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Bereitstellen eines Modells

Nachdem Sie ein Modell abonniert haben, stellen Sie es auf einem SageMaker KI-Endpunkt bereit. Sie führen Inferenzrufe an den Endpunkt durch. Das Modell wird von SageMaker KI gehostet. Während des Bereitstellungsprozesses geben Sie die folgenden Informationen an:

  • Der Name des SageMaker KI-Endpunkts

  • Die Anzahl der Instanzen, die Inferenzrufe an den Endpunkt weiterleiten

  • Der Instanztyp des Endpunkts

Sie können auch optionale erweiterte Optionen wie Tags konfigurieren.

Es wird automatisch eine SageMaker KI-Servicerolle erstellt, damit SageMaker KI Aktionen in Ihrem Namen übernimmt und ausführt. Weitere Informationen zu Amazon SageMaker AI-Berechtigungen finden Sie unter So verwenden Sie SageMaker KI-Ausführungsrollen.

Alternativ können Sie eine bestehende Rolle auswählen oder eine neue erstellen. Um zu erfahren, wie Sie ein Amazon Bedrock Marketplace-Modell bereitstellen, wählen Sie die Registerkarte aus, die Ihrer bevorzugten Methode entspricht, und folgen Sie den Schritten.

Um ein Modell bereitzustellen

  1. Melden Sie sich bei der Rolle AWS Management Console Using an IAM mit Amazon Bedrock-Berechtigungen an.

  2. Geben Sie in der Suchleiste „Amazon Bedrock“ ein und wählen Sie Amazon Bedrock aus der Drop-down-Liste aus.

  3. Wählen Sie im Navigationsbereich die Option Modellkatalog aus.

  4. Wählen Sie die Modellkarte für das Modell aus, das Sie bereitstellen.

  5. Wählen Sie Bereitstellen.

  6. Geben Sie unter Endpunktname den Namen des Endpunkts an.

  7. Wählen Sie die Anzahl der Instanzen und wählen Sie den Instanztyp aus.

  8. Unter Erweiterte Einstellungen können Sie optional:

    1. Richten Sie Ihre VPC ein

    2. Konfigurieren Sie die Dienstzugriffsrolle

    3. Passen Sie Ihre Verschlüsselungseinstellungen an

    4. Tags hinzufügen

  9. Wählen Sie Deploy, um Ihr Amazon Bedrock Marketplace-Modell auf einem SageMaker KI-Endpunkt bereitzustellen. Dieser Vorgang dauert in der Regel 10-15 Minuten.

Verwenden Sie den CreateMarketplaceModelEndpoint Vorgang, um einen Endpunkt zu erstellen. Für einige Modelle gibt es eine Endbenutzer-Lizenzvereinbarung (EULA). Um die EULA zu akzeptieren, setzen Sie den Wert auf. AcceptEula True

Im folgenden Beispiel wird ein AWS Command Line Interface Beispielbefehl verwendet, um einen Endpunkt zu erstellen:

aws bedrock create-marketplace-model-endpoint --model-source-identifier HubContentArn --endpoint-config "{\"sageMaker\":{\"initialInstanceCount\":1,\"instanceType\":\"ml.g5.xlarge\",\"executionRole\":\"arn:aws:iam::111122223333:role/example-IAM-role\"}}" --endpoint-name "example-endpoint-name"
Anmerkung

Die Antworten für die RegisterMarketplaceModelEndpoint OperationenCreateMarketplaceModelEndpoint, UpdateMarketplaceModelEndpoint und sind identisch.

{"marketplaceModelEndpoint":{"createdAt":"2024-11-12T02:31:58.201474085Z","endpoint":{"sageMaker":{"executionRole":"arn:aws:iam::111122223333:role/service-role/amazon-sagemaker-execution-role","initialInstanceCount":1,"instanceType":"ml.g5.2xlarge","kmsEncryptionKey":null,"vpc":null}},"endpointArn":"arn:aws:sagemaker:region:555555555555:endpoint/example-endpoint-name","endpointStatus":"Creating","endpointStatusMessage":"","modelSourceIdentifier":"arn:aws:sagemaker:region:aws:hub-content/SageMakerPublicHub/Model/example-model-name/1.2.2","status":"ACTIVE","statusMessage":"","updatedAt":"2024-11-12T02:31:58.201474085Z"}}

Sie können den Endpunkt sowohl in Amazon Bedrock Marketplace als auch in Amazon SageMaker AI ändern. Wir empfehlen, den Endpunkt nur in Amazon Bedrock zu ändern. Wenn Sie den Endpunkt in SageMaker AI ändern, können Sie den Endpunkt möglicherweise nicht in Amazon Bedrock verwenden. Die folgenden Änderungen können dazu führen, dass der Endpunkt in Amazon Bedrock ausfällt:

Damit der Endpunkt betriebsbereit ist, muss er registriert und in Betrieb sein. Sie können den folgenden AWS Command Line Interface Befehl verwenden, um den Status des Endpunkts zu überprüfen.


aws bedrock get-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name

Der Endpunkt muss den folgenden Status haben, damit Sie ihn mit Amazon Bedrock verwenden können:


endpointStatus: InService
status: REGISTERED

Wenn Sie eine Änderung vorgenommen haben, die zum Ausfall des Endpunkts geführt hat, können Sie den Endpunkt abmelden und erneut registrieren. Verwenden Sie den DeregisterEndpoint Vorgang, um die Registrierung des Endpunkts aufzuheben. Verwenden Sie den RegisterEndpoint Vorgang, um ihn erneut zu registrieren.


aws bedrock deregister-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name
    

aws bedrock register-marketplace-model-endpoint --endpoint-identifier arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name --model-source-identifier
         HubContentArn