View a markdown version of this page

支持推理配置文件的区域和模型 - Amazon Bedrock
支持的跨区域推理配置文件支持应用程序推理配置文件的区域和模型

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

支持推理配置文件的区域和模型

有关 Amazon Bedrock 支持的区域代码和端点的列表，请参阅 Amazon Bedrock 端点和配额。本主题介绍您可以使用的预定义推理配置文件，以及支持应用程序推理配置文件的区域和模型。

支持的跨区域推理配置文件

您可以使用跨区域（系统定义的）推理配置文件执行跨区域推理。跨区域推理允许您通过利用不同区域的计算来无缝管理计划外的流量爆发。 AWS 区域利用跨区域推理功能，您可以跨多个 AWS 区域分配流量。

跨区域（系统定义）的推理配置文件以其支持的模型命名，并按照所支持的区域进行定义。要了解跨区域推理配置文件如何处理您的请求，请查看以下定义：

  • 源区域 – 发出指定了推理配置文件的 API 请求的区域。

  • 目标区域 – Amazon Bedrock 服务可以将请求从源区域路由到的区域。

当您在 Amazon Bedrock 中调用跨区域推理配置文件时，您的请求来自源区域，该请求会自动路由到该配置文件中定义的目标区域之一，并对性能进行优化。全球跨区域推理配置文件的目标区域包括所有商业区域。

注意

跨区域推理配置文件中的目标区域可以包括可选区域，这些区域是您必须在 AWS 账户 或组织级别明确启用的区域。要了解更多信息，请参阅AWS 区域 在您的账户中启用或禁用。使用跨区域推理配置文件时，您的推理请求可以路由到配置文件中的任何目标区域，即使您没有在账户中选择加入此类区域也是如此。

服务控制策略 (SCPs) 和 AWS Identity and Access Management (IAM) 策略协同工作，以控制允许跨区域推断的位置。使用 SCPs，您可以控制 Amazon Bedrock 可以使用哪些区域进行推理；使用 IAM 策略，您可以定义哪些用户或角色有权运行推理。如果您的跨区域推理配置文件中的任何目标区域被屏蔽 SCPs，则即使其他区域仍被允许，请求也会失败。为了确保跨区域推理的高效运行，您可以更新您的 SCPs 和 IAM 策略，以允许在您选择的推理配置文件中包含的所有目标区域执行所有必需的 Amazon Bedrock 推理操作（例如，bedrock:InvokeModel*或bedrock:CreateModelInvocationJob）。要了解更多信息，请参阅在多账户环境中启用 Amazon Bedrock 跨区域推理。

注意

根据您发出调用的源区域，某些推理配置文件会路由到不同的目标区域。例如，如果您从美国东部（俄亥俄州）调用 us.anthropic.claude-3-haiku-20240307-v1:0，它可以将请求路由到 us-east-1、us-east-2 或 us-west-2；但是如果您从美国西部（俄勒冈州）进行该调用，它只会将请求路由到 us-east-1 和 us-west-2。

要查看推理配置文件的源区域与目标区域，您可以执行下列操作之一：

注意

随着更多可以处理请求的商业区域的 AWS 增加，特定模型的全球跨区域推理配置文件可能会随着时间的推移而发生变化。但是，如果推理配置文件与地理位置（例如美国、欧盟或亚太地区）相关联，则其目标区域列表将永远不会更改。 AWS 可能会创建包含新区域的新推理配置文件。您可以通过将设置 IDs 中的更改为新的推理配置文件来更新系统以使用这些推理配置文件。

全球跨区域推理配置文件目前仅在以下源区域中支持 Anthropic Claude Sonnet 4 模型：美国西部（俄勒冈州）、美国东部（弗吉尼亚州北部）、美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、欧洲地区（爱尔兰）和亚太地区（东京）。全球推理配置文件的目标区域包括所有商业 AWS 区域。

要查看哪些模型支持 Geo 和 Global 推理配置文件，请快速访问模型并选择您感兴趣的模型。

支持应用程序推理配置文件的区域和模型

可以为以下 AWS 区域所有模型创建应用程序推理配置文件：

  • ap-northeast-1

  • ap-northeast-2

  • ap-south-1

  • ap-southeast-1

  • ap-southeast-2

  • ca-central-1

  • eu-central-1

  • eu-west-1

  • eu-west-2

  • eu-west-3

  • sa-east-1

  • us-east-1

  • us-east-2

  • us-gov-east-1

  • us-west-2

可以从 Amazon Bedrock 支持的大多数模型中创建应用程序推理配置文件。某些模型（例如嵌入模型）不支持推理配置文件。要检查特定模型是否支持推理配置文件，请查看模型概览。