Implantar um modelo - Amazon Bedrock

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Implantar um modelo

Depois de assinar um modelo, você o implanta em um endpoint de SageMaker IA. Você faz chamadas de inferência para o endpoint. O modelo é hospedado pela SageMaker IA. Durante o processo de implantação, você fornece as seguintes informações:

  • O nome do endpoint de SageMaker IA

  • O número de instâncias que recebem chamadas de inferência para o endpoint

  • O tipo de instância do endpoint

Você também pode configurar opções avançadas opcionais, como tags.

Uma função de serviço de SageMaker IA é criada automaticamente para que a SageMaker IA assuma e execute ações em seu nome. Para obter mais informações sobre as permissões de SageMaker IA da Amazon, consulte Como usar funções de execução de SageMaker IA.

Como alternativa, você pode escolher uma função existente ou criar uma nova. Para saber como implantar um modelo do Amazon Bedrock Marketplace, selecione a guia correspondente ao seu método de escolha e siga as etapas.

Para implantar o modelo

  1. Faça login na função AWS Management Console usando uma função do IAM com as permissões do Amazon Bedrock.

  2. Na barra de pesquisa, especifique “Amazon Bedrock” e escolha o Amazon Bedrock na lista suspensa.

  3. No painel de navegação, escolha Catálogo de modelos.

  4. Escolha a placa modelo para o modelo que você está implantando.

  5. Escolha Implantar.

  6. Em Nome do endpoint, especifique o nome do endpoint.

  7. Escolha o número de instâncias e selecione o tipo de instância.

  8. Em Configurações avançadas, você pode opcionalmente:

    1. Configure sua VPC

    2. Configurar a função de acesso ao serviço

    3. Personalize suas configurações de criptografia

    4. Adicionar tags

  9. Escolha Deploy para implantar seu modelo do Amazon Bedrock Marketplace em um endpoint de SageMaker IA. Esse processo geralmente leva de 10 a 15 minutos.

Use a CreateMarketplaceModelEndpoint operação para criar um endpoint. Alguns modelos têm um contrato de licença de usuário final (EULA). Para aceitar o EULA, você define AcceptEula o. True

O exemplo a seguir usa um exemplo de AWS Command Line Interface comando para criar um endpoint:

aws bedrock create-marketplace-model-endpoint --model-source-identifier HubContentArn --endpoint-config "{\"sageMaker\":{\"initialInstanceCount\":1,\"instanceType\":\"ml.g5.xlarge\",\"executionRole\":\"arn:aws:iam::111122223333:role/example-IAM-role\"}}" --endpoint-name "example-endpoint-name"
nota

As respostas para as RegisterMarketplaceModelEndpoint operaçõesCreateMarketplaceModelEndpoint, UpdateMarketplaceModelEndpoint e são as mesmas.

{"marketplaceModelEndpoint":{"createdAt":"2024-11-12T02:31:58.201474085Z","endpoint":{"sageMaker":{"executionRole":"arn:aws:iam::111122223333:role/service-role/amazon-sagemaker-execution-role","initialInstanceCount":1,"instanceType":"ml.g5.2xlarge","kmsEncryptionKey":null,"vpc":null}},"endpointArn":"arn:aws:sagemaker:region:555555555555:endpoint/example-endpoint-name","endpointStatus":"Creating","endpointStatusMessage":"","modelSourceIdentifier":"arn:aws:sagemaker:region:aws:hub-content/SageMakerPublicHub/Model/example-model-name/1.2.2","status":"ACTIVE","statusMessage":"","updatedAt":"2024-11-12T02:31:58.201474085Z"}}

Você pode modificar o endpoint no Amazon Bedrock Marketplace e no Amazon SageMaker AI. Recomendamos modificar somente o endpoint no Amazon Bedrock. Se você modificar o endpoint dentro da SageMaker IA, talvez não consiga usar o endpoint no Amazon Bedrock. A seguir estão as modificações que podem fazer com que o endpoint falhe no Amazon Bedrock:

Para que o endpoint esteja operacional, ele deve estar registrado e em serviço. Você pode usar o AWS Command Line Interface comando a seguir para verificar o status do endpoint.


aws bedrock get-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name

O endpoint deve ter o seguinte status para que você possa usá-lo com o Amazon Bedrock:


endpointStatus: InService
status: REGISTERED

Se você fez uma modificação que causou a falha do endpoint, você pode cancelar o registro e registrá-lo novamente. Use a DeregisterEndpoint operação para cancelar o registro do endpoint. Use a RegisterEndpoint operação para registrá-la novamente.


aws bedrock deregister-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name
    

aws bedrock register-marketplace-model-endpoint --endpoint-identifier arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name --model-source-identifier
         HubContentArn