View a markdown version of this page

推論設定檔支援的區域和模型 - Amazon Bedrock
支援的跨區域推論設定檔應用程式推論設定檔支援的區域和模型

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

推論設定檔支援的區域和模型

如需 Amazon Bedrock 中支援的區域代碼和端點清單，請參閱《Amazon Bedrock 端點和配額》。本主題說明您可以使用的預先定義推論設定檔，以及支援應用程式推論設定檔的區域和模型。

支援的跨區域推論設定檔

您可以使用跨區域 (系統定義) 推論設定檔進行跨區域推論。跨區域推論可讓您利用不同 的運算，順暢地管理意外流量暴增 AWS 區域。您可以使用跨區域推論，將流量分散到多個 AWS 區域。

跨區域 (系統定義) 推論設定檔是以其支援的模型命名，並由其支援的區域定義。若要了解跨區域推論設定檔如何處理您的請求，請檢閱下列定義：

  • 來源區域 – 您從中發出指定推論設定檔之 API 請求的區域。

  • 目的地區域 – Amazon Bedrock 服務可對其路由來自您來源區域之請求的區域。

當您在 Amazon Bedrock 中調用跨區域推論設定檔時，您的請求會源自來源區域，並且會自動路由到該設定檔中定義的其中一個目的地區域，以最佳化效能。全域跨區域推論設定檔的目的地區域包含所有商業區域。

注意

跨區域推論設定檔中的目的地區域可以包含選擇加入區域，這是您必須在 AWS 帳戶 或組織層級明確啟用的區域。若要進一步了解，請參閱AWS 區域 在您的帳戶中啟用或停用 。使用跨區域推論設定檔時，可將您的推論請求路由到設定檔中的任何目的地區域，即使您未選擇加入帳戶中的此類區域也一樣。

服務控制政策 SCPs) 和 AWS Identity and Access Management (IAM) 政策共同運作，以控制允許跨區域推論的位置。您可以使用 SCP 來控制 Amazon Bedrock 可以使用哪些區域進行推論，並使用 IAM 政策來定義哪些使用者或角色具有執行推論的許可。如果跨區域推論設定檔中的任何目的地區域在 SCP 中遭到封鎖，則即使仍允許其他區域，請求也會失敗。為了確保跨區域推論的有效操作，您可以更新 SCP 和 IAM 政策，以允許在所選推論設定檔中包含的所有目的地區域中執行所有必要的 Amazon Bedrock 推論動作 (例如 bedrock:InvokeModel* 或 bedrock:CreateModelInvocationJob)。若要進一步了解，請參閱 Enabling Amazon Bedrock cross-Region inference in multi-account environments。

注意

有些推論設定檔會根據您呼叫它的來源區域，路由到不同的目的地區域。例如，如果您從美國東部 (俄亥俄) 呼叫 us.anthropic.claude-3-haiku-20240307-v1:0，其可以將請求路由到 us-east-1、us-east-2 或 us-west-2，但如果您從美國西部 (奧勒岡) 呼叫，則只能將請求路由到 us-east-1 和 us-west-2。

若要檢查推論設定檔的來源和目的地區域，您可以執行下列其中一項操作：

注意

特定模型的全域跨區域推論設定檔可能會隨著時間而變更，因為 AWS 會新增更多可處理您的請求的商業區域。不過，如果推論描述檔與地理位置 （例如美國、歐洲或亞太區域） 繫結，則其目的地區域清單永遠不會變更。 AWS 可能會建立新的推論描述檔，其中包含新的區域。您可以更新系統來使用這些推論設定檔，方法是將設定中的 ID 變更為新的 ID。

全球跨區域推論設定檔目前僅支援下列來源區域的 Anthropic Claude Sonnet 4 模型：美國西部 (奧勒岡)、美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、歐洲 (愛爾蘭) 和亞太地區 (東京)。全域推論設定檔的目的地區域包含所有商業 AWS 區域。

若要查看哪些模型支援地理和全域推論描述檔，請瀏覽模型一目了然，然後選擇您感興趣的模型。

應用程式推論設定檔支援的區域和模型

您可以為下列所有模型建立應用程式推論設定檔 AWS 區域：

  • ap-northeast-1

  • ap-northeast-2

  • ap-south-1

  • ap-southeast-1

  • ap-southeast-2

  • ca-central-1

  • eu-central-1

  • eu-west-1

  • eu-west-2

  • eu-west-3

  • sa-east-1

  • us-east-1

  • us-east-2

  • us-gov-east-1

  • us-west-2

可以從 Amazon Bedrock 支援的大多數模型建立應用程式推論設定檔。有些模型，例如內嵌模型，不支援推論描述檔。若要檢查特定模型是否支援推論設定檔，請參閱模型一目了然。