本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
提交提示並使用模型推論產生回應
推論是指從提供給模型的輸入產生輸出的過程。基礎模型使用概率來構建序列中的字詞。指定輸入，該模型會預測隨後的字符的可能序列，並將該序列當作輸出傳回。Amazon Bedrock 提供您在選擇的基礎模型中執行推論的功能。當您執行推論時，請提供下列輸入：
-
提示 — 提供給模型的輸入內容，以從其中產生回應。如需撰寫提示的資訊，請參閱 提示工程概念。如需防止快速注入攻擊的資訊，請參閱提示注入安全性。
-
模型 – 執行推論的基礎模型或推論描述檔。您選擇的模型或推論設定檔也會指定輸送量層級，定義您可以處理的輸入和輸出字符的數量和速率。如需 Amazon Bedrock 中可用基礎模型的詳細資訊，請參閱 Amazon Bedrock 基礎模型資訊。如需推論設定檔的詳細資訊，請參閱使用推論設定檔設定模型調用資源。如需增加輸送量的詳細資訊，請參閱 使用跨區域推論提高輸送量和 使用 Amazon Bedrock 中的佈建輸送量增加模型調用容量。
-
推論參數 — 可調整一組值，以限制或影響模型回應。如需有關推論參數的詳細資訊，請參閱 利用推論參數影響回應產生 和 基礎模型的推論請求參數和回應欄位。
Amazon Bedrock 提供一組基礎模型，可用來產生下列模態的輸出。若要查看基礎模型的模態支援，請參閱Amazon Bedrock 中支援的基礎模型。
| 輸出形式 | 描述 | 範例使用案例 |
|---|---|---|
| 文字 | 提供文字輸入並產生各種類型的文字 | 聊天、 question-and-answering腦力激盪、摘要、程式碼產生、資料表建立、資料格式化、重寫 |
| 映像 | 提供文字或輸入影像，並產生或修改影像 | 影像產生、影像編輯、影像變化 |
| 內嵌項目 | 提供文字、影像或文字和影像，並產生代表輸入的數值向量。輸出向量可以與其他內嵌向量進行比較，以判斷語意相似性 （文字） 或視覺相似性 （影像）。 | 文字和影像搜尋、查詢、分類、建議、個人化、知識庫建立 |
您可以透過下列方式直接執行模型推論：
-
在 中 AWS Management Console，使用任何 Amazon Bedrock 遊樂場，在易於使用的圖形界面中執行推論。
使用 Converse 或 ConverseStream API 實作對話式應用程式。
-
使用 InvokeModel或 InvokeModelWithResponseStream API 提交單一提示。
-
準備具有所需組態的提示資料集，並使用 CreateModelInvocationJob 請求執行批次推論。
下列 Amazon Bedrock 功能也會使用模型推論作為較大工作流程中的步驟：
-
模型評估使用模型調用程序，在您提交CreateEvaluationJob請求後評估不同模型的效能。
-
知識庫使用 時，使用模型調用 RetrieveAndGenerate API 根據從知識庫擷取的結果產生回應。
-
代理程式使用模型調用，在 期間於各種階段產生回應 InvokeAgent 請求。
-
流程包括使用模型調用的 Amazon Bedrock 資源，例如提示、知識庫和代理程式。
使用不同的提示和推論參數測試不同的基礎模型後，您可以設定應用程式以APIs使用所需的規格呼叫這些模型。
主題
