View a markdown version of this page

开放式权重模型的访问权限和安全性 - Amazon Bedrock
先决条件奖励函数的 Lambda 权限

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

开放式权重模型的访问权限和安全性

在开始强化微调 (RFT) 之前，请确保您了解亚马逊 Bedrock 需要哪种访问权限才能进行运营。 RFT-specific 由于其奖励功能执行功能，RFT 需要除标准微调之外的额外权限。

先决条件

在使用亚马逊 Bedrock OpenAI 兼容的微调 API 之前，请确保您具备以下条件：

  1. 具有访问亚马逊 Bedrock 的适当权限的 AWS 账户

  2. 身份验证 — 您可以使用以下方式进行身份验证：

    • 亚马逊 Bedrock API 密钥（OpenAISDK 必填且可用于 HTTP 请求）

    • AWS 证书（支持 HTTP 请求）

    注意

    如果您使用的是 Amazon Bedrock 短term/long期 API 密钥，请确保您的角色有权访问以下 IAM 政策权限：AmazonBedrockMantleFullAccess和。奖励函数的 Lambda 权限

  3. OpenAISDK（可选）-如果使用 SDK-based 请求，请安装 OpenAI Python 软件开发工具包。

  4. 环境变量 -设置以下环境变量：

    • OPENAI_API_KEY— 设置您的亚马逊 Bedrock API 密钥

    • OPENAI_BASE_URL— 设置为您所在地区的亚马逊 Bedrock 终端节点（例如，https://bedrock-mantle.us-west-2.api.aws/v1）

    有关更多信息，请参阅 响应 API。

  5. 训练数据格式化为 JSONL 文件，目的是为了达到目的。fine-tune有关更多信息，请参阅 为开放式权重模型准备数据。

奖励函数的 Lambda 权限

您必须添加 Lambda 调用权限。以下显示了您可以使用的策略示例：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": [
                "arn:aws:lambda:*:*:function:reward-function-name"
            ]
        }
    ]
}

您还可以使用亚马逊 Bedrock 托管的模型作为评委来设置奖励功能。您需要向 Lambda 执行角色添加调用基础模型的特定权限。在您的 lambda 角色中，您可以为 LLM 配置这些托管策略以进行评分。请参阅AmazonBedrockLimitedAccess。

以下是使用 Invoke API 调用亚马逊基岩基础模型作为判断的示例：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:*:*:foundation-model/*"
            ]
        }
    ]
}