Implementación de un modelo - Amazon Bedrock

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Implementación de un modelo

Una vez suscrito a un modelo, lo despliega en un punto final de SageMaker IA. Realiza llamadas de inferencia al punto final. La SageMaker IA aloja el modelo. Durante el proceso de despliegue, debe proporcionar la siguiente información:

  • El nombre del punto final de la SageMaker IA

  • El número de instancias que reciben llamadas de inferencia al punto final

  • El tipo de instancia del punto final

También puede configurar opciones avanzadas opcionales, como las etiquetas.

Se crea automáticamente un SageMaker rol de servicio de SageMaker IA para que la IA asuma y lleve a cabo acciones en tu nombre. Para obtener más información sobre los permisos de Amazon SageMaker AI, consulte Cómo utilizar las funciones de ejecución de SageMaker IA.

Como alternativa, puede elegir un rol existente o crear uno nuevo. Para obtener información sobre cómo implementar un modelo de Amazon Bedrock Marketplace, seleccione la pestaña correspondiente al método que prefiera y siga los pasos.

Implementación de un modelo

  1. Inicie sesión en el rol de AWS Management Console uso de IAM con los permisos de Amazon Bedrock.

  2. En la barra de búsqueda, especifique «Amazon Bedrock» y elija Amazon Bedrock en la lista desplegable.

  3. En el panel de navegación, seleccione Catálogo de modelos.

  4. Elija la tarjeta de modelo para el modelo que va a implementar.

  5. Elija Implementar.

  6. En Nombre del punto final, especifique el nombre del punto final.

  7. Elija el número de instancias y seleccione el tipo de instancia.

  8. En Configuración avanzada, si lo desea, puede:

    1. Configura tu VPC

    2. Configure el rol de acceso al servicio

    3. Personalice la configuración de cifrado

    4. Agregar etiquetas.

  9. Elija Deploy para implementar su modelo de Amazon Bedrock Marketplace en un punto final de SageMaker IA. Este proceso suele tardar entre 10 y 15 minutos.

Utilice la CreateMarketplaceModelEndpoint operación para crear un punto final. Algunos modelos tienen un acuerdo de licencia de usuario final (EULA). Para aceptar el EULA, debe configurar el. AcceptEula True

En el siguiente ejemplo, se utiliza un AWS Command Line Interface comando de ejemplo para crear un punto final:

aws bedrock create-marketplace-model-endpoint --model-source-identifier HubContentArn --endpoint-config "{\"sageMaker\":{\"initialInstanceCount\":1,\"instanceType\":\"ml.g5.xlarge\",\"executionRole\":\"arn:aws:iam::111122223333:role/example-IAM-role\"}}" --endpoint-name "example-endpoint-name"
nota

Las respuestas para las CreateMarketplaceModelEndpoint RegisterMarketplaceModelEndpoint operaciones UpdateMarketplaceModelEndpoint y las operaciones son las mismas.

{"marketplaceModelEndpoint":{"createdAt":"2024-11-12T02:31:58.201474085Z","endpoint":{"sageMaker":{"executionRole":"arn:aws:iam::111122223333:role/service-role/amazon-sagemaker-execution-role","initialInstanceCount":1,"instanceType":"ml.g5.2xlarge","kmsEncryptionKey":null,"vpc":null}},"endpointArn":"arn:aws:sagemaker:region:555555555555:endpoint/example-endpoint-name","endpointStatus":"Creating","endpointStatusMessage":"","modelSourceIdentifier":"arn:aws:sagemaker:region:aws:hub-content/SageMakerPublicHub/Model/example-model-name/1.2.2","status":"ACTIVE","statusMessage":"","updatedAt":"2024-11-12T02:31:58.201474085Z"}}

Puede modificar el punto de conexión tanto en Amazon Bedrock Marketplace como en Amazon SageMaker AI. Recomendamos modificar el punto de conexión únicamente en Amazon Bedrock. Si modifica el punto de conexión dentro de la SageMaker IA, es posible que no pueda utilizar el punto de conexión en Amazon Bedrock. Las siguientes son las modificaciones que pueden provocar que el punto de conexión falle en Amazon Bedrock:

Para que el punto final esté operativo, debe estar registrado y en servicio. Puede utilizar el siguiente AWS Command Line Interface comando para comprobar el estado del punto final.


aws bedrock get-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name

El punto de conexión debe tener el siguiente estado para poder usarlo con Amazon Bedrock:


endpointStatus: InService
status: REGISTERED

Si ha realizado una modificación que ha provocado un error en el punto de conexión, puede anular el registro y volver a registrarlo. Utilice la DeregisterEndpoint operación para anular el registro del punto final. Utilice la RegisterEndpoint operación para volver a registrarlo.


aws bedrock deregister-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name
    

aws bedrock register-marketplace-model-endpoint --endpoint-identifier arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name --model-source-identifier
         HubContentArn