本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
亚马逊 Bedrock 支持的 API
支持的推理 API
Amazon Bedrock 提供了五种主要的 API 模式来执行推理。对于新应用程序,我们推荐使用bedrock-runtime终端节点。这些 API 按其使用的服务端点分组。
bedrock-runtime端点(推荐)
该bedrock-runtime.{region}.amazonaws.com端点支持以下 API:
| API 方法 | Use-case 最适合 | 关键功能 |
|---|---|---|
| 交谈(推荐) | Multi-turn 聊天/标准化 | Converse API 为与亚马逊 Bedrock 中的所有模型进行交互提供了统一的接口。 |
| Invoke | 单笔交易/大型有效载荷 | Invoke API 提供对模型的直接访问,可以更好地控制请求和响应格式。 |
| 响应 | OpenAI-compatible,有状态的对话 | 使用响应 API 进行 OpenAI-compatible 有状态的多回合对话——相同的 OpenAI 形状,再加上护栏和跨区域推理等亚马逊基岩功能。将模型推理请求路由到各处 AWS 区域 使用跨区域推断开启bedrock-runtime,请求始终是同步的,服务器端工具不可用,亚马逊 Bedrock 支持的终端节点请参见完整对比。 |
| 聊天完成次数 | OpenAI-compatible,无状态多回合聊天 | 使用聊天完成 API 进行 OpenAI-compatible 无状态聊天互动。 |
| Messages API | Anthropic-native 接口 | 使用消息 API 通过 InvokeModel 原生请求格式直接访问 Anthropic 模型。 |
bedrock-mantle 终端节点
该bedrock-mantle.{region}.amazonaws.com端点支持以下 API:
| API 方法 | Use-case 最适合 | 关键功能 |
|---|---|---|
| 响应 API | 使用服务器端工具进行有状态对话 | bedrock-mantle对于需要使用内置服务器端工具(搜索、代码解释器)、多模态输入和异步推理的代理应用程序,请启用 Responses API。 |
| Messages API | Anthropic-native 接口 | 使用消息 API 使用 Anthropic-native 请求和响应格式直接访问 Anthropic 模型。 |
| 聊天完成次数 | 无状态多回合聊天 | 使用聊天完成 API 执行轻量级、无状态、以文本为中心的任务,在这些任务中,您需要完全控制聊天记录管理并降低延迟。 |
阅读有关亚马逊 Bedrock 支持的 API 的更多信息。
在 API 之间做出决定
您使用的 API 取决于您的用例。
| 使用场景 | 推荐的 API |
|---|---|
| 从 OpenAI 端 API-compatible 点迁移 | 在bedrock-runtime终端节点上使用 OpenAI-compatible 响应API 或聊天完成API——相同的 OpenAI 形状,外加护栏和跨区域推理等亚马逊基岩功能。将模型推理请求路由到各处 AWS 区域 使用跨区域推断根据OpenAI的说法,长期推荐的 |
| 使用与 OpenAI-compatible 端点不兼容的模型 | 使用原生亚马逊 Bedrock API:对话和调用。有关更多信息,请参阅 使用调用 API 进行推理。 |
| 所有型号的界面一致 | Converse API -适用于所有支持消息的模型。只需编写一次代码即可将其用于不同的模型。有关示例代码,请参阅 Converse API 示例。 |
| 通过完全控制直接访问模型 | Invoke API -提供对模型的直接访问,对请求和响应格式进行更多控制。用于生成文本、图像和嵌入。有关示例代码,请参阅调用模型代码示例。 |
| 亚马逊 Bedrock 新手 | 我们建议将bedrock-runtime终端节点与 Converse API 结合使用,以实现跨模型的统一接口;如果您更喜欢 OpenAI 或接口,则建议使用消息 API 、聊天完成 API 或响应 API。 Anthropic-compatible |
每个 API 和端点支持的模型
首先,浏览我们的模型以确定要使用的模型。确定要使用的模型后,您可以查看其支持的 API 并选择终端节点。我们推荐该bedrock-runtime端点,它支持调用、交谈、响应、聊天完成和消息 API。该bedrock-mantle端点还受到全面支持,并提供响应、聊天完成和消息 API。由于响应、聊天完成和消息 API 在两个端点上都可用,但对每个终端的功能支持不完全相同,因此在选择亚马逊 Bedrock 支持的终端节点之前请先查看。