本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
當您提交輸入至模型時,模型會預測後續可能的字符序列,並將該序列傳回為輸出。Amazon Bedrock 可讓您使用您選擇的基礎模型執行推論。當您執行推論時,請提供下列輸入:
-
提示 — 提供給模型的輸入內容,以從其中產生回應。如需撰寫提示的資訊,請參閱 提示工程概念。如需防止快速注入攻擊的資訊,請參閱提示注入安全性。
-
模型 – 執行推論的基礎模型或推論描述檔。您選擇的模型或推論描述檔也會指定輸送量層級,定義您可以處理的輸入和輸出字符的數量和速率。如需 Amazon Bedrock 中可用基礎模型的詳細資訊,請參閱 Amazon Bedrock 基礎模型資訊。如需推論設定檔的詳細資訊,請參閱使用推論描述檔設定模型調用資源。如需增加輸送量的詳細資訊,請參閱 使用跨區域推論提高輸送量和 使用 Amazon Bedrock 中的佈建輸送量來增加模型調用容量。
-
推論參數 — 可調整一組值,以限制或影響模型回應。如需有關推論參數的詳細資訊,請參閱 使用推論參數產生影響回應 和 基礎模型的推論請求參數和回應欄位。
在不同 AWS 區域中叫用模型
當您叫用模型時,您可以選擇要在 AWS 區域 其中叫用模型的 。您可以提出之請求的頻率和大小配額取決於 區域。您可以在 Amazon Bedrock 服務配額中搜尋下列配額來尋找這些配額:
-
${Model}
的每分鐘隨需模型推論請求 -
${
Model} 的每分鐘隨需 InvokeModel 權杖
您也可以叫用推論描述檔,而不是基礎模型本身。推論描述檔會定義模型和一個或多個區域,而推論描述檔可以將模型調用請求路由到這些區域。透過叫用包含多個區域的推論設定檔,您可以提高輸送量。如需詳細資訊,請參閱使用跨區域推論提高輸送量。
對 區域的請求可能會在共用相同父區域的本機區域提供。例如,向美國東部 (維吉尼亞北部) (us-east-1) 提出的請求可在與其相關聯的任何本地區域提供,例如,Atlanta、US (us-east-1-atl-2a)。
使用跨區域推論時,適用相同的原則。例如,對美國AnthropicClaude 3 Haiku推論描述檔提出的請求,可能會在其父區域位於美國的任何當地區域提供,例如西雅圖、美國 (us-west-2-sea-1a)。將新的本機區域新增至 時 AWS,也會將其新增至對應的跨區域推論端點。
若要查看本機端點及其相關聯的父區域清單,請參閱AWS 本機區域位置