Realizar solicitudes de inferencia

La inferencia es el proceso de generar una salida a partir de una entrada proporcionada a un modelo. Antes de poder enviar una solicitud de inferencia a Amazon Bedrock, debe permitir que su rol lleve a cabo las acciones de la API de invocación del modelo. Esto depende del punto final que esté utilizando. Para aplicaciones nuevas, recomendamos el bedrock-runtime punto final.

bedrock-runtimepunto final (recomendado)

Si su función incluye la política AmazonBedrockFullAccess AWS gestionada, puede omitir esta sección. De lo contrario, adjunta los siguientes permisos para permitir la inferencia a través del bedrock-runtime punto final (API de Converse, Invoke, Chat Completions y Responses):

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "ModelInvocationPermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream",
                "bedrock:GetInvoke",
                "bedrock:CancelInvoke",
                "bedrock:DeleteInvoke",
                "bedrock:GetInferenceProfile",
                "bedrock:ListInferenceProfiles",
                "bedrock:RenderPrompt",
                "bedrock:GetCustomModel",
                "bedrock:ListCustomModels",
                "bedrock:GetImportedModel",
                "bedrock:ListImportedModels",
                "bedrock:GetProvisionedModelThroughput",
                "bedrock:ListProvisionedModelThroughputs",
                "bedrock:GetGuardrail",
                "bedrock:ListGuardrails",
                "bedrock:ApplyGuardrail"
            ],
            "Resource": "*"
        }
    ]
}

Punto de enlace de bedrock-mantle

Si tu rol tiene adjunta la política AmazonBedrockMantleInferenceAccess AWS gestionada, puedes saltarte esta sección. De lo contrario, adjunta los siguientes permisos para permitir la inferencia a través del bedrock-mantle punto final (API de respuestas, finalización de chat, API de mensajes):

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "MantleInferencePermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock-mantle:CreateInference",
                "bedrock-mantle:GetProject",
                "bedrock-mantle:ListProjects",
                "bedrock-mantle:ListTagsForResources"
            ],
            "Resource": "*"
        }
    ]
}

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "CreateResponses",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": [
                "arn:aws:bedrock:*::foundation-model/openai.*",
                "arn:aws:bedrock:*:111122223333:inference-profile/*.openai.*",
                "arn:aws:bedrock:*:111122223333:project/default"
            ]
        },
        {
            "Sid": "ManageStoredResponses",
            "Effect": "Allow",
            "Action": [
                "bedrock:GetInvoke",
                "bedrock:CancelInvoke",
                "bedrock:DeleteInvoke"
            ],
            "Resource": "arn:aws:bedrock:*:111122223333:project/default"
        }
    ]
}

Para obtener un desglose detallado de cada permiso, consulteRequisitos previos para ejecutar la inferencia de modelos.