View a markdown version of this page

Fazendo solicitações de inferência - Amazon Bedrock

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Fazendo solicitações de inferência

A inferência é o processo de gerar uma saída a partir de uma entrada fornecida a um modelo. Antes de enviar uma solicitação de inferência ao Amazon Bedrock, você precisa permitir que sua função execute as ações da API de invocação do modelo. Isso depende do endpoint que você está usando. Para novos aplicativos, recomendamos o bedrock-runtime endpoint.

bedrock-runtimeendpoint (recomendado)

Se sua função tiver a política AmazonBedrockFullAccess AWS gerenciada anexada, você poderá pular esta seção. Caso contrário, anexe as seguintes permissões para permitir a inferência por meio do bedrock-runtime endpoint (Converse, Invoke, Chat Complements e Responses APIs):

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "ModelInvocationPermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream",
                "bedrock:GetInvoke",
                "bedrock:CancelInvoke",
                "bedrock:DeleteInvoke",
                "bedrock:GetInferenceProfile",
                "bedrock:ListInferenceProfiles",
                "bedrock:RenderPrompt",
                "bedrock:GetCustomModel",
                "bedrock:ListCustomModels",
                "bedrock:GetImportedModel",
                "bedrock:ListImportedModels",
                "bedrock:GetProvisionedModelThroughput",
                "bedrock:ListProvisionedModelThroughputs",
                "bedrock:GetGuardrail",
                "bedrock:ListGuardrails",
                "bedrock:ApplyGuardrail"
            ],
            "Resource": "*"
        }
    ]
}

Endpoint do bedrock-mantle

Se sua função tiver a política AmazonBedrockMantleInferenceAccess AWS gerenciada anexada, você poderá pular esta seção. Caso contrário, anexe as seguintes permissões para permitir a inferência por meio do bedrock-mantle endpoint (API de respostas, conclusão de bate-papo, API de mensagens):

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "MantleInferencePermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock-mantle:CreateInference",
                "bedrock-mantle:GetProject",
                "bedrock-mantle:ListProjects",
                "bedrock-mantle:ListTagsForResources"
            ],
            "Resource": "*"
        }
    ]
}
Importante

Se você definir o escopo de sua política para recursos específicos em vez de "Resource": "*" usá-la, a API de respostas no bedrock-runtime endpoint precisará de dois recursos em vez de um. Além da meta de inferência, a criação de uma resposta exige bedrock:InvokeModel o projeto padrão da sua conta, e a recuperação, cancelamento ou exclusão de uma resposta armazenada exige bedrock:GetInvokebedrock:CancelInvoke, ou bedrock:DeleteInvoke no mesmo projeto. A política a seguir concede o mínimo:

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "CreateResponses",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": [
                "arn:aws:bedrock:*::foundation-model/openai.*",
                "arn:aws:bedrock:*:111122223333:inference-profile/*.openai.*",
                "arn:aws:bedrock:*:111122223333:project/default"
            ]
        },
        {
            "Sid": "ManageStoredResponses",
            "Effect": "Allow",
            "Action": [
                "bedrock:GetInvoke",
                "bedrock:CancelInvoke",
                "bedrock:DeleteInvoke"
            ],
            "Resource": "arn:aws:bedrock:*:111122223333:project/default"
        }
    ]
}

As APIs Converse, Invoke e Chat Complements não exigem um recurso de projeto. Para obter mais informações sobre o projeto padrão, consulteProjetos (OpenAI-compatible).

Para obter uma análise detalhada de cada permissão, consultePré-requisitos para executar a inferência do modelo.

Tópicos