本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
提交提示並使用模型推斷產生回應
推論是指從提供給模型的輸入產生輸出的過程。基礎模型使用概率來構建序列中的字詞。指定輸入，該模型會預測隨後的字符的可能序列，並將該序列當作輸出傳回。Amazon Bedrock 提供您在選擇的基礎模型中執行推論的功能。當執行推論時，您會提供下列輸入。
-
提示 — 提供給模型的輸入內容，以從其中產生回應。如需撰寫提示的資訊，請參閱 提示工程概念。如需有關防範快速插入攻擊的資訊，請參閱迅速注入安全。
-
推論參數 — 可調整一組值，以限制或影響模型回應。如需有關推論參數的詳細資訊，請參閱 利用推論參數影響回應產生 和 基礎模型的推論請求參數和回應欄位。
Amazon 基岩提供一套基礎模型，可用來產生下列模式的輸出。若要查看基礎模型的模式支援，請參閱Amazon Bedrock 中支援的基礎模型。
| 輸出模式 | 描述 | 範例使用案例 |
|---|---|---|
| 文字 | 提供文本輸入並生成各種類型的文本 | 聊天 question-and-answering，頭腦風暴，總結，代碼生成，表創建，數據格式化，重寫 |
| 映像 | 提供文字或輸入影像，並產生或修改影像 | 圖像生成，圖像編輯，圖像變化 |
| 內嵌項目 | 提供文字、影像或文字和影像，並產生代表輸入的數值向量。輸出向量可以與其他嵌入向量進行比較，以確定語義相似性（對於文本）或視覺相似性（對於圖像）。 | 文字和影像搜尋、查詢、分類、建議、個人化、知識庫建立 |
執行推論時，您可以在主控台中選取輸送量，或在API要求的modelId欄位中指定輸送量，以指定要使用的輸送量層級。輸送量定義了您可以處理的輸入和輸出令牌的數量和速率。如需詳細資訊，請參閱提高彈性和處理能力的輸送量。
您可採用下列方式來執行模型推論：
-
使用任何一個遊樂場，在易於使用的圖形介面中執行推論。
使用匡威API（匡威和 ConverseStream）來實現對話應用程序。
-
準備具有所需組態的提示資料集，並使用
CreateModelInvocationJob請求執行批次推論。 -
下列 Amazon 基岩功能使用模型推論作為更大型協調流程的一個步驟。如需詳細資訊，請參閱這些章節。
-
建立知識庫並傳送 RetrieveAndGenerate 請求。
-
設定代理程式並傳送 InvokeAgent 請求。
-
您可以使用基本模型、自訂模型或佈建的模型執行推論。若要在自訂模型上執行推論，請先購買該模型的佈建輸送量 (如需詳細資訊，請參閱 使用 Amazon Bedrock 中的佈建輸送量提高模型調用容量)。
使用這些方法來測試具有不同提示和推論參數的基礎模型回應。一旦您已經充分探索了這些方法，就可以設定應用程式來執行模型推論，方法是呼叫這些方法。APIs
選取主題以進一步了解如何透過該方法執行模型推論。若要進一步了解如何使用代理程式，請參閱 使用對話式代理程式自動化應用程式中的任務。
主題
