Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Déployer un modèle
Une fois que vous vous êtes abonné à un modèle, vous le déployez sur un point de terminaison d' SageMaker IA. Vous effectuez des appels d'inférence vers le point de terminaison. Le modèle est hébergé par SageMaker AI. Au cours du processus de déploiement, vous fournissez les informations suivantes :
-
Le nom du point de terminaison SageMaker AI
-
Le nombre d'instances prenant des appels d'inférence vers le point de terminaison
-
Le type d'instance du point de terminaison
Vous pouvez également configurer des options avancées facultatives telles que les balises.
Un rôle de service SageMaker AI est automatiquement créé pour que l' SageMaker IA puisse assumer et exécuter des actions en votre nom. Pour plus d'informations sur les autorisations Amazon SageMaker AI, consultez Comment utiliser les rôles d'exécution SageMaker AI.
Vous pouvez également choisir un rôle existant ou en créer un nouveau. Pour savoir comment déployer un modèle Amazon Bedrock Marketplace, sélectionnez l'onglet correspondant à la méthode de votre choix et suivez les étapes.
Pour déployer un modèle
-
Connectez-vous à l' AWS Management Console aide d'un rôle IAM avec les autorisations Amazon Bedrock.
-
Dans la barre de recherche, spécifiez « Amazon Bedrock » et choisissez Amazon Bedrock dans la liste déroulante.
-
Dans le volet de navigation, sélectionnez Model Catalog.
-
Choisissez la carte modèle pour le modèle que vous déployez.
-
Choisissez Déployer.
-
Dans Nom du point de terminaison, spécifiez le nom du point de terminaison.
-
Choisissez le nombre d'instances et sélectionnez le type d'instance.
-
Dans les paramètres avancés, vous pouvez éventuellement :
-
Configurez votre VPC
-
Configuration du rôle d'accès au service
-
Personnalisez vos paramètres de chiffrement
-
Ajout de balises
-
-
Choisissez Deploy pour déployer votre modèle Amazon Bedrock Marketplace sur un point de terminaison basé sur SageMaker l'IA. Ce processus prend généralement 10 à 15 minutes.
Utilisez l'CreateMarketplaceModelEndpointopération pour créer un point de terminaison. Certains modèles disposent d'un contrat de licence utilisateur final (EULA). Pour accepter le CLUF, vous devez définir le paramètre surAcceptEula. True
L'exemple suivant utilise un exemple de AWS Command Line Interface commande pour créer un point de terminaison :
aws bedrock create-marketplace-model-endpoint --model-source-identifierHubContentArn--endpoint-config "{\"sageMaker\":{\"initialInstanceCount\":1,\"instanceType\":\"ml.g5.xlarge\",\"executionRole\":\"arn:aws:iam::111122223333:role/example-IAM-role\"}}" --endpoint-name "example-endpoint-name"
Note
Les réponses pour CreateMarketplaceModelEndpoint les RegisterMarketplaceModelEndpoint opérations UpdateMarketplaceModelEndpoint et sont les mêmes.
{"marketplaceModelEndpoint":{"createdAt":"2024-11-12T02:31:58.201474085Z","endpoint":{"sageMaker":{"executionRole":"arn:aws:iam::111122223333:role/service-role/amazon-sagemaker-execution-role","initialInstanceCount":1,"instanceType":"ml.g5.2xlarge","kmsEncryptionKey":null,"vpc":null}},"endpointArn":"arn:aws:sagemaker:region:555555555555:endpoint/example-endpoint-name","endpointStatus":"Creating","endpointStatusMessage":"","modelSourceIdentifier":"arn:aws:sagemaker:region:aws:hub-content/SageMakerPublicHub/Model/example-model-name/1.2.2","status":"ACTIVE","statusMessage":"","updatedAt":"2024-11-12T02:31:58.201474085Z"}}
Vous pouvez modifier le point de terminaison dans Amazon Bedrock Marketplace et Amazon SageMaker AI. Nous vous recommandons de modifier uniquement le point de terminaison dans Amazon Bedrock. Si vous modifiez le point de terminaison dans SageMaker AI, il se peut que vous ne puissiez pas l'utiliser dans Amazon Bedrock. Les modifications suivantes peuvent entraîner la défaillance du point de terminaison dans Amazon Bedrock :
-
Réglage EnableNetworkIsolationsur
False -
Modification de la définition du modèle dans l'PrimaryContainerobjet
Pour que le terminal soit opérationnel, il doit être enregistré et en service. Vous pouvez utiliser la AWS Command Line Interface commande suivante pour vérifier l'état du point de terminaison.
aws bedrock get-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name
Le point de terminaison doit avoir le statut suivant pour que vous puissiez l'utiliser avec Amazon Bedrock :
endpointStatus: InService status: REGISTERED
Si vous avez apporté une modification qui a entraîné l'échec du terminal, vous pouvez le désenregistrer et le réenregistrer. Utilisez l'DeregisterEndpointopération pour désenregistrer le point de terminaison. Utilisez cette RegisterEndpoint opération pour le réenregistrer.
aws bedrock deregister-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name
aws bedrock register-marketplace-model-endpoint --endpoint-identifier arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name--model-source-identifierHubContentArn
