View a markdown version of this page

运行模型推理的先决条件 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

运行模型推理的先决条件

对于要运行模型推理的角色，您需要允许该角色执行模型调用 API 操作。如果您的角色附加了AmazonBedrockFullAccess AWS 托管策略，则可以跳过此部分。否则，为该角色附加以下权限，以允许其对 Amazon Bedrock 中所有支持的资源使用、、 Converse 和ConverseStream操作：InvokeModelInvokeModelWithResponseStream

JSON
{
    "Version":"2012-10-17",
    "Statement": [
        {
            "Sid": "ModelInvocationPermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream",
                "bedrock:GetInferenceProfile",
                "bedrock:ListInferenceProfiles",
                "bedrock:RenderPrompt",
                "bedrock:GetCustomModel",
                "bedrock:ListCustomModels",
                "bedrock:GetImportedModel",
                "bedrock:ListImportedModels",
                "bedrock:GetProvisionedModelThroughput",
                "bedrock:ListProvisionedModelThroughputs",
                "bedrock:GetGuardrail",
                "bedrock:ListGuardrails",
                "bedrock:ApplyGuardrail"
            ],
            "Resource": "*"
        }
    ]
}

要进一步限制权限，您可以忽略操作，或者指定用于筛选权限的资源和条件键。有关操作、资源和条件键的更多信息，请参阅《服务授权参考》中的以下主题：

以下列表总结了根据您的使用案例，您是否需要该操作：

  • bedrock:InvokeModel – 执行模型调用所必需的操作。允许角色调用InvokeModel和交换 API 操作。

  • bedrock:InvokeModelWithResponseStream – 执行模型调用并返回流式处理响应所必需的操作。允许角色调用InvokeModelWithResponseStream和 Converse Stream API 操作。

  • 以下操作允许角色处理响应 API 存储在bedrock-runtime端点上的响应。每个人都授权响应所属的项目，而不是模型：

    • bedrock:GetInvoke— 需要检索存储的响应。

    • bedrock:CancelInvoke— 需要取消仍在进行的回复。

    • bedrock:DeleteInvoke— 需要删除存储的响应。

    除了推理目标外，创建响应还需要bedrock:InvokeModel对项目进行响应。交谈、调用和聊天完成 API 不存储任何响应，也不需要这些操作。有关更多信息，请参阅 项目 (OpenAI-compatible)。

  • 以下操作允许角色使用基础模型以外的 Amazon Bedrock 资源运行推理：

    • bedrock:GetInferenceProfile – 使用推理配置文件运行推理所必需的操作。

    • bedrock:RenderPrompt – 从提示管理器调用提示所必需的操作。

    • bedrock:GetCustomModel – 使用自定义模型运行推理所必需的操作。

    • bedrock:GetImportedModel – 使用导入的模型运行推理所必需的操作。

    • bedrock:GetProvisionedModelThroughput – 使用预配置吞吐量运行推理所必需的操作。

  • 以下操作允许角色在 Amazon Bedrock 控制台中，查看基础模型以外的 Amazon Bedrock 资源并进行选择：

    • bedrock:ListInferenceProfiles – 在 Amazon Bedrock 控制台中选择推理配置文件所必需的操作。

    • bedrock:ListCustomModels – 在 Amazon Bedrock 控制台中选择自定义模型所必需的操作。

    • bedrock:ListImportedModels – 在 Amazon Bedrock 控制台中选择导入的模型所必需的操作。

    • bedrock:ListProvisionedModelThroughputs – 在 Amazon Bedrock 控制台中选择预配置吞吐量所必需的操作。

  • 以下操作允许角色在模型调用期间，访问并应用 Amazon Bedrock 护栏中的护栏：

    • bedrock:GetGuardrail – 在模型调用期间使用护栏所必需的操作。

    • bedrock:ApplyGuardrail – 在模型调用期间应用护栏所必需的操作。

    • bedrock:ListGuardrails – 在 Amazon Bedrock 控制台中选择护栏所必需的操作。