View a markdown version of this page

提出推論請求 - Amazon Bedrock

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

提出推論請求

推論是從提供給模型的輸入產生輸出的程序。您必須先允許角色執行模型調用 API 動作，才能將推論請求傳送至 Amazon Bedrock。這取決於您使用的端點。對於新應用程式，我們建議使用 bedrock-runtime端點。

bedrock-runtime 端點 （建議）

如果您的角色已連接 AmazonBedrockFullAccess AWS 受管政策，您可以略過本節。否則，請連接下列許可，以允許透過bedrock-runtime端點進行推論 （對話、調用、聊天完成和回應 APIs)：

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "ModelInvocationPermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream",
                "bedrock:GetInvoke",
                "bedrock:CancelInvoke",
                "bedrock:DeleteInvoke",
                "bedrock:GetInferenceProfile",
                "bedrock:ListInferenceProfiles",
                "bedrock:RenderPrompt",
                "bedrock:GetCustomModel",
                "bedrock:ListCustomModels",
                "bedrock:GetImportedModel",
                "bedrock:ListImportedModels",
                "bedrock:GetProvisionedModelThroughput",
                "bedrock:ListProvisionedModelThroughputs",
                "bedrock:GetGuardrail",
                "bedrock:ListGuardrails",
                "bedrock:ApplyGuardrail"
            ],
            "Resource": "*"
        }
    ]
}

bedrock-mantle 端點

如果您的角色已連接 AmazonBedrockMantleInferenceAccess AWS 受管政策，您可以略過本節。否則，請連接下列許可，以允許透過bedrock-mantle端點進行推論 （回應 API、聊天完成、訊息 API)：

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "MantleInferencePermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock-mantle:CreateInference",
                "bedrock-mantle:GetProject",
                "bedrock-mantle:ListProjects",
                "bedrock-mantle:ListTagsForResources"
            ],
            "Resource": "*"
        }
    ]
}
重要

如果您將政策範圍限定在特定資源，而不是使用 "Resource": "*"，bedrock-runtime端點上的回應 API 需要兩個資源，而不是一個資源。除了推論目標之外，建立回應bedrock:InvokeModel還需要您帳戶的預設專案，而擷取、取消或刪除儲存的回應則需要 bedrock:GetInvoke、 bedrock:CancelInvoke或 在該相同的專案bedrock:DeleteInvoke上。下列政策授予 下限：

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "CreateResponses",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": [
                "arn:aws:bedrock:*::foundation-model/openai.*",
                "arn:aws:bedrock:*:111122223333:inference-profile/*.openai.*",
                "arn:aws:bedrock:*:111122223333:project/default"
            ]
        },
        {
            "Sid": "ManageStoredResponses",
            "Effect": "Allow",
            "Action": [
                "bedrock:GetInvoke",
                "bedrock:CancelInvoke",
                "bedrock:DeleteInvoke"
            ],
            "Resource": "arn:aws:bedrock:*:111122223333:project/default"
        }
    ]
}

Converse、Invoke 和 Chat Completions APIs 不需要專案資源。如需預設專案的詳細資訊，請參閱 專案 (OpenAI 相容）。

如需每個許可的詳細明細，請參閱 執行模型推論的必要條件。

主題