配置高级提示 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

配置高级提示

您可以在 AWS Management Console 或中配置高级提示API。

Console

在控制台中，您可以在创建代理后配置高级提示。您可以在编辑代理时进行配置。

查看或编辑代理的高级提示

  1. AWS Management Console 使用具有 Amazon Bedrock 权限的IAM角色登录，然后通过以下网址打开 Amazon Bedrock 控制台。https://console.aws.amazon.com/bedrock/

  2. 在左侧导航窗格中，选择代理。然后，在代理部分选择一个代理。

  3. 在代理详细信息页面上的工作草稿部分，选择工作草稿。

  4. 在 “工作草稿” 页面的 “编排策略” 部分，选择 “编辑”。

  5. 在编排策略页面的编排策略详细信息部分，确保选择了默认编排，然后选择与要编辑的代理序列步骤相对应的选项卡。

  6. 打开覆盖模板默认设置以启用模板编辑。在覆盖模板默认设置对话框中，选择确认。

    警告

    如果关闭覆盖模板默认设置或更改模型，系统会使用 Amazon Bedrock 默认模板，并立即删除您的模板。要进行确认，请在文本框中输入 confirm 以确认出现的消息。

  7. 要允许代理在生成响应时使用该模板，请打开激活模板。如果关闭此配置，代理将不会使用该模板。

  8. 要修改示例提示模板，请使用提示模板编辑器。

  9. 在配置中，您可以修改提示的推理参数。有关参数的定义，以及不同模型所支持参数的更多信息，请参阅基础模型的推理请求参数和响应字段。

  10. （可选）要使用您定义的 Lambda 函数来解析原始基础模型输出，请执行以下操作：

    注意

    所有提示模板均使用一个 Lambda 函数。

    1. 在配置部分，选择使用 Lambda 函数进行解析。如果清除此设置，代理将使用默认解析器来解析提示。

    2. 对于解析器 Lambda 函数，请从下拉菜单中选择一个 Lambda 函数。

      注意

      您必须为代理附加权限，使其能够访问该 Lambda 函数。有关更多信息，请参阅 基于资源的策略，允许 Amazon Bedrock 调用操作组 Lambda 函数。

  11. 要保存设置，请选择以下选项之一：

    1. 要保持在同一窗口中，以便在测试更新的代理时动态更新提示设置，请选择保存。

    2. 要保存设置并返回工作草稿页面，请选择保存并退出。

  12. 要测试更新的设置，请在测试窗口中选择准备。

在控制台中设置高级提示。
API

要使用API操作配置高级提示，请发送UpdateAgent呼叫并修改以下promptOverrideConfiguration对象。

"promptOverrideConfiguration": { 
    "overrideLambda": "string",
    "promptConfigurations": [ 
        { 
            "basePromptTemplate": "string",
            "inferenceConfiguration": { 
                "maximumLength": int,
                "stopSequences": [ "string" ],
                "temperature": float,
                "topK": float,
                "topP": float
            },
            "parserMode": "DEFAULT | OVERRIDDEN",
            "promptCreationMode": "DEFAULT | OVERRIDDEN",
            "promptState": "ENABLED | DISABLED",
            "promptType": "PRE_PROCESSING | ORCHESTRATION | KNOWLEDGE_BASE_RESPONSE_GENERATION | POST_PROCESSING | MEMORY_SUMMARIZATION"
        }
    ],
    promptCachingState: {
        cachingState: "ENABLED | DISABLED"
    }
}

  1. 在 promptConfigurations 列表中，为要编辑的每个提示模板添加 promptConfiguration 对象。

  2. 在 promptType 字段中指定要修改的提示。

  3. 通过以下步骤修改提示模板：

    1. 使用提示模板指定 basePromptTemplate 字段。

    2. 在 inferenceConfiguration 对象中包含推理参数。有关推理配置的更多信息，请参阅基础模型的推理请求参数和响应字段。

  4. 要启用提示模板，请将 promptCreationMode 设置为 OVERRIDDEN。

  5. 要允许或阻止代理执行 promptType 字段中的步骤，请修改 promptState 值。该设置有助于对代理的行为进行故障排除。

    • 如果您将 PRE_PROCESSING、KNOWLEDGE_BASE_RESPONSE_GENERATION 或 POST_PROCESSING 步骤的 promptState 设置为 DISABLED，代理会跳过相应步骤。

    • 如果您将 ORCHESTRATION 步骤的 promptState 设置为 DISABLED，代理仅在编排步骤将用户输入发送给基础模型。此外，代理会按原样返回响应，而无需协调API操作和知识库之间的调用。

    • 默认情况下，POST_PROCESSING 步骤为 DISABLED。默认情况下，PRE_PROCESSING、ORCHESTRATION、和 KNOWLEDGE_BASE_RESPONSE_GENERATION 步骤为 ENABLED。

    • 默认情况下，ENABLED如果启用了MEMORY_SUMMARIZATION内存，则该MEMORY_SUMMARIZATION步骤为DISABLED禁用内存。

  6. 要使用您定义的 Lambda 函数来解析原始基础模型输出，请执行以下步骤：

    1. 对于要为其启用 Lambda 函数的每个提示模板，请将 parserMode 设置为 OVERRIDDEN。

    2. 在对象的overrideLambda字段中指定 Lambda 函数的亚马逊资源名称 (ARN)。promptOverrideConfiguration

  7. （可选）要在输入具有长而重复的上下文时启用提示缓存以减少延迟，请将该cachingState字段设置为ENABLED。有关提示缓存的更多信息，请参阅提示缓存以加快模型推断速度。

    注意

    Amazon Bedrock 提示缓存目前仅适用于特定数量的客户。要了解有关参与预览版的更多信息，请参阅 Amazon Bedrock 提示缓存。