配置高级提示 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

配置高级提示

您可以在 AWS Management Console 或中配置高级提示API。

Console

在控制台中,您可以在创建代理后配置高级提示。您可以在编辑代理时进行配置。

查看或编辑代理的高级提示
  1. AWS Management Console 使用具有 Amazon Bedrock 权限的IAM角色登录,然后通过以下网址打开 Amazon Bedrock 控制台。https://console.aws.amazon.com/bedrock/

  2. 在左侧导航窗格中,选择代理。然后,在代理部分选择一个代理。

  3. 在代理详细信息页面上的工作草稿部分,选择工作草稿

  4. 在 “工作草稿” 页面的 “编排策略” 部分,选择 “编辑”

  5. 编排策略页面的编排策略详细信息部分,确保选择了默认编排,然后选择与要编辑的代理序列步骤相对应的选项卡。

  6. 打开覆盖模板默认设置以启用模板编辑。在覆盖模板默认设置对话框中,选择确认

    警告

    如果关闭覆盖模板默认设置或更改模型,系统会使用 Amazon Bedrock 默认模板,并立即删除您的模板。要进行确认,请在文本框中输入 confirm 以确认出现的消息。

  7. 要允许代理在生成响应时使用该模板,请打开激活模板。如果关闭此配置,代理将不会使用该模板。

  8. 要修改示例提示模板,请使用提示模板编辑器

  9. 配置中,您可以修改提示的推理参数。有关参数的定义,以及不同模型所支持参数的更多信息,请参阅基础模型的推理请求参数和响应字段

  10. (可选)要使用您定义的 Lambda 函数来解析原始基础模型输出,请执行以下操作:

    注意

    所有提示模板均使用一个 Lambda 函数。

    1. 配置部分,选择使用 Lambda 函数进行解析。如果清除此设置,代理将使用默认解析器来解析提示。

    2. 对于解析器 Lambda 函数,请从下拉菜单中选择一个 Lambda 函数。

      注意

      您必须为代理附加权限,使其能够访问该 Lambda 函数。有关更多信息,请参阅 基于资源的策略,允许 Amazon Bedrock 调用操作组 Lambda 函数

  11. 要保存设置,请选择以下选项之一:

    1. 要保持在同一窗口中,以便在测试更新的代理时动态更新提示设置,请选择保存

    2. 要保存设置并返回工作草稿页面,请选择保存并退出

  12. 要测试更新的设置,请在测试窗口中选择准备

在控制台中设置高级提示。
API

要使用API操作配置高级提示,请发送UpdateAgent呼叫并修改以下promptOverrideConfiguration对象。

"promptOverrideConfiguration": { "overrideLambda": "string", "promptConfigurations": [ { "basePromptTemplate": "string", "inferenceConfiguration": { "maximumLength": int, "stopSequences": [ "string" ], "temperature": float, "topK": float, "topP": float }, "parserMode": "DEFAULT | OVERRIDDEN", "promptCreationMode": "DEFAULT | OVERRIDDEN", "promptState": "ENABLED | DISABLED", "promptType": "PRE_PROCESSING | ORCHESTRATION | KNOWLEDGE_BASE_RESPONSE_GENERATION | POST_PROCESSING | MEMORY_SUMMARIZATION" } ], promptCachingState: { cachingState: "ENABLED | DISABLED" } }
  1. promptConfigurations 列表中,为要编辑的每个提示模板添加 promptConfiguration 对象。

  2. promptType 字段中指定要修改的提示。

  3. 通过以下步骤修改提示模板:

    1. 使用提示模板指定 basePromptTemplate 字段。

    2. inferenceConfiguration 对象中包含推理参数。有关推理配置的更多信息,请参阅基础模型的推理请求参数和响应字段

  4. 要启用提示模板,请将 promptCreationMode 设置为 OVERRIDDEN

  5. 要允许或阻止代理执行 promptType 字段中的步骤,请修改 promptState 值。该设置有助于对代理的行为进行故障排除。

    • 如果您将 PRE_PROCESSINGKNOWLEDGE_BASE_RESPONSE_GENERATIONPOST_PROCESSING 步骤的 promptState 设置为 DISABLED,代理会跳过相应步骤。

    • 如果您将 ORCHESTRATION 步骤的 promptState 设置为 DISABLED,代理仅在编排步骤将用户输入发送给基础模型。此外,代理会按原样返回响应,而无需协调API操作和知识库之间的调用。

    • 默认情况下,POST_PROCESSING 步骤为 DISABLED。默认情况下,PRE_PROCESSINGORCHESTRATION、和 KNOWLEDGE_BASE_RESPONSE_GENERATION 步骤为 ENABLED

    • 默认情况下,ENABLED如果启用了MEMORY_SUMMARIZATION内存,则该MEMORY_SUMMARIZATION步骤为DISABLED禁用内存。

  6. 要使用您定义的 Lambda 函数来解析原始基础模型输出,请执行以下步骤:

    1. 对于要为其启用 Lambda 函数的每个提示模板,请将 parserMode 设置为 OVERRIDDEN

    2. 在对象的overrideLambda字段中指定 Lambda 函数的亚马逊资源名称 (ARN)。promptOverrideConfiguration

  7. (可选)要在输入具有长而重复的上下文时启用提示缓存以减少延迟,请将该cachingState字段设置为ENABLED。有关提示缓存的更多信息,请参阅提示缓存以加快模型推断速度

    注意

    Amazon Bedrock 提示缓存目前仅适用于特定数量的客户。要了解有关参与预览版的更多信息,请参阅 Amazon Bedrock 提示缓存