Pré-requisitos para inferência em lote
Para executar a inferência em lote, atenda aos seguintes pré-requisitos:
-
Verifique se uma identidade do IAM tem as permissões necessárias para enviar e gerenciar trabalhos de inferência em lote.
-
Preparar o conjunto de dados e carregar em um bucket do Amazon S3.
-
Criar um bucket do S3 para os dados de saída.
As seguintes etapas são opcionais:
-
Criar um perfil de serviço (IAM) personalizadoAWS Identity and Access Management para o trabalho de inferência em lote com as permissões adequadas. É possível ignorar esse pré-requisito caso pretenda usar o AWS Management Console para criar um perfil de serviço automaticamente para você.
-
Configurar uma VPC para proteger os dados no S3 ao executar a inferência em lote. É possível ignorar esta etapa se não for necessário usar uma VPC.
Permissões obrigatórias para a inferência em lote
Para que uma identidade do IAM envie e gerencie trabalhos de inferência em lote, configure-a com as permissões necessárias. É possível anexar a política AmazonBedrockFullAccess para conceder as permissões adequadas ao perfil.
Para restringir as permissões somente às ações usadas para inferência em lote, anexe a seguinte política baseada em identidade a um perfil do IAM:
{ "Version": "2012-10-17", "Statement": [ { "Sid": "PermissionsBatchInference", "Effect": "Allow", "Action": [ "bedrock:ListFoundationModels", "bedrock:GetFoundationModel", "bedrock:TagResource", "bedrock:UntagResource", "bedrock:ListTagsForResource", "bedrock:CreateModelInvocationJob", "bedrock:GetModelInvocationJob", "bedrock:ListModelInvocationJobs", "bedrock:StopModelInvocationJob" ], "Resource": "*" } ] }
É possível restringir ainda mais as permissões omitindo ações ou especificando recursos e chaves de condição. Uma identidade do IAM pode chamar operações de API em recursos específicos. Se você especificar uma operação de API que não pode ser usada no recurso especificado na política, o Amazon Bedrock retornará um erro.
Os trabalhos de inferência em lote usam os tipos de recurso foundation-model
, custom-model
e model-invocation-job
. É possível reduzir o escopo das permissões especificando esses recursos no campo Resource
. Por exemplo, a seguinte política permite que um usuário com o ID de conta 123456789012
crie trabalhos de inferência em lote na região us-west-2
usando o modelo Claude 3 Haiku da Anthropic:
{ "Version": "2012-10-17", "Statement": [ { "Sid": "CreateBatchInferenceJob", "Effect": "Allow", "Action": [ "bedrock:CreateModelInvocationJob" ], "Resource": [ "arn:aws:bedrock:us-west-2::foundation-model/anthropic.claude-3-haiku-20240307-v1:0" "arn:aws:bedrock:us-west-2:123456789012:model-invocation-job/*" ] } ] }