View a markdown version of this page

提出推理请求 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

提出推理请求

推理是从提供给模型的输入中生成输出的过程。在向 Amazon Bedrock 发送推理请求之前，您需要允许您的角色执行模型调用 API 操作。这取决于您使用的终端节点。对于新应用程序，我们推荐使用bedrock-runtime终端节点。

bedrock-runtime端点（推荐）

如果您的角色附加了AmazonBedrockFullAccess AWS 托管策略，则可以跳过此部分。否则，请附加以下权限以允许通过bedrock-runtime端点（交谈、调用、聊天完成和响应 API）进行推理：

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "ModelInvocationPermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream",
                "bedrock:GetInvoke",
                "bedrock:CancelInvoke",
                "bedrock:DeleteInvoke",
                "bedrock:GetInferenceProfile",
                "bedrock:ListInferenceProfiles",
                "bedrock:RenderPrompt",
                "bedrock:GetCustomModel",
                "bedrock:ListCustomModels",
                "bedrock:GetImportedModel",
                "bedrock:ListImportedModels",
                "bedrock:GetProvisionedModelThroughput",
                "bedrock:ListProvisionedModelThroughputs",
                "bedrock:GetGuardrail",
                "bedrock:ListGuardrails",
                "bedrock:ApplyGuardrail"
            ],
            "Resource": "*"
        }
    ]
}

bedrock-mantle 终端节点

如果您的角色附加了AmazonBedrockMantleInferenceAccess AWS 托管策略，则可以跳过此部分。否则，请附加以下权限以允许通过bedrock-mantle端点（响应 API、聊天完成、消息 API）进行推理：

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "MantleInferencePermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock-mantle:CreateInference",
                "bedrock-mantle:GetProject",
                "bedrock-mantle:ListProjects",
                "bedrock-mantle:ListTagsForResources"
            ],
            "Resource": "*"
        }
    ]
}
重要

如果您将策略范围限定为特定资源而不是使用"Resource": "*"，则bedrock-runtime终端节点上的响应 API 需要两个资源而不是一个。除了推理目标外，创建响应还需要bedrock:InvokeModel在账户的默认项目上执行，检索、取消或删除存储的响应需要bedrock:GetInvoke或在同一个项目bedrock:DeleteInvoke上执行。bedrock:CancelInvoke以下政策规定了最低限额：

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "CreateResponses",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": [
                "arn:aws:bedrock:*::foundation-model/openai.*",
                "arn:aws:bedrock:*:111122223333:inference-profile/*.openai.*",
                "arn:aws:bedrock:*:111122223333:project/default"
            ]
        },
        {
            "Sid": "ManageStoredResponses",
            "Effect": "Allow",
            "Action": [
                "bedrock:GetInvoke",
                "bedrock:CancelInvoke",
                "bedrock:DeleteInvoke"
            ],
            "Resource": "arn:aws:bedrock:*:111122223333:project/default"
        }
    ]
}

交谈、调用和聊天完成 API 不需要项目资源。有关默认项目的更多信息，请参阅项目 (OpenAI-compatible)。

有关每项权限的详细分类，请参阅运行模型推理的先决条件。

主题