View a markdown version of this page

Effettuare richieste di inferenza - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Effettuare richieste di inferenza

L'inferenza è il processo di generazione di un output da un input fornito a un modello. Prima di poter inviare una richiesta di inferenza ad Amazon Bedrock, devi consentire al tuo ruolo di eseguire le azioni dell'API di invocazione del modello. Dipende dall'endpoint che stai utilizzando. Per le nuove applicazioni, consigliamo l'bedrock-runtimeendpoint.

bedrock-runtimeendpoint (consigliato)

Se al tuo ruolo è allegata la policy AmazonBedrockFullAccess AWS gestita, puoi saltare questa sezione. Altrimenti, allega le seguenti autorizzazioni per consentire l'inferenza tramite l'bedrock-runtimeendpoint (API Converse, Invoke, Chat Completions e Responses):

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "ModelInvocationPermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream",
                "bedrock:GetInvoke",
                "bedrock:CancelInvoke",
                "bedrock:DeleteInvoke",
                "bedrock:GetInferenceProfile",
                "bedrock:ListInferenceProfiles",
                "bedrock:RenderPrompt",
                "bedrock:GetCustomModel",
                "bedrock:ListCustomModels",
                "bedrock:GetImportedModel",
                "bedrock:ListImportedModels",
                "bedrock:GetProvisionedModelThroughput",
                "bedrock:ListProvisionedModelThroughputs",
                "bedrock:GetGuardrail",
                "bedrock:ListGuardrails",
                "bedrock:ApplyGuardrail"
            ],
            "Resource": "*"
        }
    ]
}

Endpoint bedrock-mantle

Se al tuo ruolo è allegata la policy AmazonBedrockMantleInferenceAccess AWS gestita, puoi saltare questa sezione. Altrimenti, allega le seguenti autorizzazioni per consentire l'inferenza tramite l'bedrock-mantleendpoint (API Responses, Chat Completions, Messages API):

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "MantleInferencePermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock-mantle:CreateInference",
                "bedrock-mantle:GetProject",
                "bedrock-mantle:ListProjects",
                "bedrock-mantle:ListTagsForResources"
            ],
            "Resource": "*"
        }
    ]
}
Importante

Se applichi la tua policy a risorse specifiche anziché utilizzarle"Resource": "*", l'API Responses sull'bedrock-runtimeendpoint necessita di due risorse anziché una. Oltre all'obiettivo di inferenza, la creazione di una risposta richiede bedrock:InvokeModel il progetto predefinito del tuo account e il recupero, l'annullamento o l'eliminazione di una risposta archiviata richiedebedrock:GetInvoke, bedrock:CancelInvoke o nell'ambito dello stesso progetto. bedrock:DeleteInvoke La seguente politica garantisce il minimo:

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "CreateResponses",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": [
                "arn:aws:bedrock:*::foundation-model/openai.*",
                "arn:aws:bedrock:*:111122223333:inference-profile/*.openai.*",
                "arn:aws:bedrock:*:111122223333:project/default"
            ]
        },
        {
            "Sid": "ManageStoredResponses",
            "Effect": "Allow",
            "Action": [
                "bedrock:GetInvoke",
                "bedrock:CancelInvoke",
                "bedrock:DeleteInvoke"
            ],
            "Resource": "arn:aws:bedrock:*:111122223333:project/default"
        }
    ]
}

Le API Converse, Invoke e Chat Completions non richiedono una risorsa di progetto. Per ulteriori informazioni sul progetto predefinito, consulta. Progetti (OpenAI-compatible)

Per un'analisi dettagliata di ciascuna autorizzazione, vederePrerequisiti per l’esecuzione dell’inferenza del modello.

Argomenti