使用自定义模型 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用自定义模型

在使用自定义模型之前,您需要为其购买预置吞吐量。有关预配置吞吐量的更多信息,请参阅使用 Amazon Bedrock 中的预配置吞吐量增加模型调用容量。然后,您可以使用生成的预配置模型进行推理。选择与您选择的方法相对应的选项卡,然后按照以下步骤操作:

Console
为自定义模型购买预调配吞吐量。
  1. AWS Management Console 使用具有 Amazon Bedrock 权限的IAM角色登录,然后通过以下网址打开 Amazon Bedrock 控制台。https://console.aws.amazon.com/bedrock/

  2. 在左侧导航窗格中,选择基础模型下的自定义模型

  3. 模型选项卡中,选择要为其购买预配置吞吐量的型号旁边的单选按钮,或者选择型号名称以导航到详细信息页面。

  4. 选择 “购买预配置吞吐量”。

  5. 有关更多详细信息,请按照中的步骤操作为 Amazon Bedrock 型号购买预配置吞吐量

  6. 为您的自定义模型购买预配置吞吐量后,请按照中的步骤操作。将预配置吞吐量与 Amazon Bedrock 资源配合使用

当您执行任何支持使用自定义模型的操作时,您将在模型选择菜单中看到您的自定义模型作为一个选项。

API

要购买自定义模型的预配置吞吐量,请按照中的步骤使用 Amazon Bedrock 控制平面终端节点发送 CreateProvisionedModelThroughput(请求和响应格式以及字段详情链接)请求。为 Amazon Bedrock 型号购买预配置吞吐量使用您的自定义模型ARN的名称或作为modelId。响应会返回一个provisionedModelArn,您可以在发出InvokeModelInvokeModelWithResponseStream请求modelId时将其用作的。

参见代码示例