使用操场在控制台中生成响应 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用操场在控制台中生成响应

Amazon Bedrock playgrounds 是一款工具 AWS Management Console ，它提供了一个可视化界面，用于尝试在不同的模型上运行推理并使用不同的配置。您可以在将不同的模型和值集成到应用程序之前，使用操场测试这些模型和值。

在操场上运行提示等同于在操场中发出InvokeModel、InvokeModelWithResponseStream、Converse 或ConverseStream请求。API

Amazon Bedrock 提供以下操场供您尝试：

  • 聊天/文本 – 提交文本提示并生成响应。您可以选择以下一种模式：

    • 聊天 – 提交文本提示并添加任何图像或文档来补充提示。您提交的后续提示将包含您之前的提示作为上下文，因此提示和响应的顺序类似于对话。

    • 单个提示 – 提交单个文本提示并生成对它的响应。

  • 图像 – 提交文本提示以生成图像。您也可以提交图像提示并指定是对其进行编辑还是生成其变体。

以下流程介绍了如何在操场中提交提示、您可以调整的选项以及模型生成响应后您可以采取的操作。

使用操场

  1. 如果您还没有使用过模型，请先针对要使用的模型请求模型访问权限。有关更多信息，请参阅 访问 Amazon Bedrock 基础模型。

  2. AWS Management Console 使用具有 Amazon Bedrock 权限的IAM角色登录，然后通过以下网址打开 Amazon Bedrock 控制台。https://console.aws.amazon.com/bedrock/

  3. 在导航窗格中，在操场下，选择聊天/文本或图像。

  4. 如果您位于聊天/文本操场中，请选择模式。

  5. 选择选择模型，然后选择要使用的提供商、模型和吞吐量。有关提高吞吐量的更多信息，请参见通过跨区域推理提高吞吐量和利用 Amazon Bedrock 中的预调配吞吐量增加模型调用容量。

  6. 提交以下信息以生成响应：

    • 提示 – 一句或几句文字，用于为模型设定场景、问题或任务。有关创建提示的信息，请参阅 提示工程概念。

      如果您使用的是聊天/文本操场的聊天模式，则可以选择选择文件或将文件拖到提示文本字段以包含文件来补充提示。您可以在提示文本中引用该文件，例如 Summarize this document for me 或 Tell me what's in this image。您可以包含以下类型的文件：

      • 文档 – 添加文档以补充提示。有关支持的文件类型的列表，请参阅中的format字段DocumentBlock。

        警告

        文档名称容易受到提示注入的影响，因为模型可能会意外将其解读为说明。因此，我们建议您指定一个中性名称。

      • 图像 – 如果模型支持多模态提示，则添加图像以补充提示。有关支持的文件类型的列表，请参阅中的format字段ImageBlock。

      注意

      向提示中添加文件时，存在以下限制：

      • 您最多可以包含 20 个图像。每个图像的大小、高度和宽度必须分别不超过 3.75 MB、8000 像素和 8000 像素。

      • 您最多可以包含五个文档。每个文档的大小不得超过 4.5 MB。

    • 配置 – 您可以调整来修改模型响应的设置。配置包含以下内容：

  7. （可选）如果模型支持流式传输，聊天/文本操场中的默认行为是流式传输响应。您可以通过选择选项图标（ Vertical ellipsis icon representing a menu or more options. ）和修改流式传输首选项选项来关闭流式传输。

  8. （可选）在聊天/文本操场的聊天模式下，您可以通过执行以下操作来比较不同模型的响应：

    1. 启用比较模式。

    2. 选择选择模型，然后选择要使用的提供商、模型和吞吐量。

    3. 选择配置图标（ Three horizontal sliders with adjustable circular controls for settings or parameters. ）以修改要使用的配置。

    4. 要添加更多模型进行比较，请选择右侧的 + 图标，选择一个模型，然后根据需要修改配置。

  9. （可选）如果模型支持提示缓存，则可以打开配置面板并打开提示缓存，以启用对输入和模型响应的缓存，从而降低成本和延迟。有关更多信息，请参阅 提示缓存以加快模型推断速度。

    注意

    Amazon Bedrock 提示缓存目前仅适用于特定数量的客户。要了解有关参与预览版的更多信息，请参阅 Amazon Bedrock 提示缓存。

  10. 要运行提示，请选择运行。Amazon Bedrock 不会存储您提供的任何文本、图像或文档。数据仅用于生成响应。

    注意

    如果响应违反了内容审核政策，则 Amazon Bedrock 不会显示该响应。如果您已开启流式传输，Amazon Bedrock 会在生成违反政策的内容时清除整个响应。要了解更多详细信息，请导航至 Amazon Bedrock 控制台，选择提供商，然后阅读内容限制部分下的文本。

  11. 模型返回响应。如果您使用的是聊天/文本操场的聊天模式，则可以提交提示来回复响应并生成其他响应。

  12. 生成响应后，您可以选择以下选项：

    • 要将响应导出为JSON文件，请选择选项图标 ( Vertical ellipsis icon representing a menu or more options. )，然后选择导出为JSON。

    • 要查看您提出的API请求，请选择选项图标 ( Vertical ellipsis icon representing a menu or more options. )，然后选择查看API请求。

    • 在聊天/文本操场的聊天模式下，您可以在模型指标部分中查看指标。可供使用的模型指标如下：

      • 延迟 – 模型生成序列中每个词元（字词）所花费的时间。

      • 输入词元计数 – 在推理期间以输入形式输入到模型中的词元数量。

      • 输出词元计数 – 响应提示时生成的词元数量。更长、更像对话的响应需要更多词元。

      • 成本 – 处理输入和生成输出词元的成本。

      要设置您希望响应匹配的指标标准，请选择定义指标标准并定义模型要匹配的条件。应用标准后，模型指标部分将显示响应满足的标准数量和标准。

      如果不满足标准，您可以选择其他模型，重写提示，或者修改配置并重新运行提示。