本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
AWS 區域 使用跨區域推論跨 路由模型推論請求
使用跨區域推論,您可以選擇與特定地理位置 (例如美國或歐洲) 繫結的跨區域推論設定檔,或全域推論設定檔。當您選擇與特定地理位置繫結的推論設定檔時,Amazon Bedrock 會自動選取該地理區域 AWS 區域 內的商業廣告,以處理您的推論請求。使用全域推論設定檔,Amazon Bedrock 會自動選取廣告 AWS 區域 來處理請求。
這兩種類型的跨區域推論都透過推論描述檔運作,定義基礎模型 (FM) AWS 區域 和可路由請求的 。跨區域推論會使用不同 的運算來路由您的請求 AWS 區域。
若要增加模型的輸送量,您可以購買佈建輸送量。推論設定檔目前不支援佈建輸送量。
若要查看您可以使用推論設定檔來執行跨區域推論的區域和模型,請參閱推論設定檔支援的區域和模型。
在地理和全域跨區域推論之間進行選擇
Amazon Bedrock 提供兩種類型的跨區域推論設定檔,每個設定檔都針對不同的使用案例和合規需求而設計:
| 功能 | 地理跨區域推論 | 全域跨區域推論 | 建議 |
|---|---|---|---|
| 資料落地 | 在地理邊界內 (例如美國、歐洲和亞太區域) | 全球任何支援 AWS 的商業區域 | 為合規要求選擇地理位置 |
| 要求路由 | 在地理位置中路由 | 全球路由 | 根據可處理請求的位置進行選擇 |
| 成本 | 標準定價 | 節省約 10% | 選擇全域進行成本最佳化 |
| SCP 要求 | 允許設定檔中的所有目的地區域 | 允許 "aws:RequestedRegion": "unspecified" |
根據您的組織政策來設定 |
| 最適合 | 具有資料落地法規的組織 | 組織優先考慮成本最佳化 | 評估您的合規和成本需求 |
當您有資料落地要求且需要確保資料處理保持在特定地理邊界內時,請選擇地理跨區域推論。當您想要在不受地理限制的情況下節省成本時,請選擇全域跨區域推論。
一般考量事項
請注意與跨區域推論有關的下列資訊:
-
使用跨區域推論無需額外的路由費用。價格是根據您從中呼叫推論設定檔的區域來計算。如需定價的資訊,請參閱 Amazon Bedrock 定價
。 -
跨區域推論可以將請求路由到 中未手動啟用 AWS 區域 的 AWS 帳戶。跨區域推論不需要手動啟用區域即可運作。
-
跨區域操作期間傳輸的所有資料都會保留在 AWS 網路上,而不會周遊公有網際網路。資料會在 之間傳輸中加密 AWS 區域。
-
CloudTrail 會記錄來源區域中的所有跨區域推論請求。尋找
additionalEventData.inferenceRegion欄位以識別處理請求的位置。 -
AWS 由 Amazon Bedrock 提供支援的服務也可能使用 CRIS。如需詳細資訊,請參閱服務特定文件。