将预调配吞吐量与 Amazon Bedrock 资源结合使用 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

将预调配吞吐量与 Amazon Bedrock 资源结合使用

购买预调配吞吐量后，您可以将其与以下功能结合使用来增加吞吐量：

  • 模型推理 – 您可以在 Amazon Bedrock 控制台操场中测试预调配吞吐量。准备好部署预调配吞吐量后，设置应用程序以调用预调配模型。选择您首选方法的选项卡，然后按照以下步骤操作：

    Console
    在 Amazon Bedrock 控制台操场中使用预调配吞吐量

    1. AWS Management Console 使用具有 Amazon Bedrock 权限的 IAM 角色登录，然后通过以下网址打开 Amazon Bedrock 控制台。https://console.aws.amazon.com/bedrock/

    2. 在左侧导航窗格中，根据应用场景选择操场下的聊天、文本或图像。

    3. 选择选择模型。

    4. 在 1. 类别列中，选择提供商或自定义模型类别。然后，在 2. 模型列中，选择与您的预调配吞吐量关联的模型。

    5. 在 3. 吞吐量列中，选择您的预调配吞吐量。

    6. 选择应用。

    要了解如何使用 Amazon Bedrock 操场，请参阅 使用操场在控制台中生成响应。

    API

    要使用预配置吞吐量运行推理，请使用 A mazon Bedro c InvokeModelk 运行时InvokeModelWithResponseStream终端节点发送、、Converse 或ConverseStream请求。将 modelId 参数指定为预调配模型 ARN。要查看针对不同模型的请求正文，请参阅 基础模型的推理请求参数和响应字段。

    参阅代码示例

  • 将预调配吞吐量与代理别名关联 – 在创建或更新代理别名时，您可以将预调配吞吐量与代理别名关联。在 Amazon Bedrock 控制台中，您可以在设置别名或编辑别名时选择预调配吞吐量。在 Amazon Bedrock API provisionedThroughput 中，您可以在发送CreateAgentAlias或 UpdateAgentAlias; 请求routingConfiguration时在中指定。