本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
提交提示並使用模型推論產生回應
推論是指從提供給模型的輸入產生輸出的過程。基礎模型使用概率來構建序列中的字詞。指定輸入,該模型會預測隨後的字符的可能序列,並將該序列當作輸出傳回。Amazon Bedrock 提供您在選擇的基礎模型中執行推論的功能。當您執行推論時,請提供下列輸入:
-
提示 — 提供給模型的輸入內容,以從其中產生回應。如需撰寫提示的資訊,請參閱 提示工程概念。如需防止快速注入攻擊的資訊,請參閱提示注入安全性。
-
模型 – 執行推論的基礎模型或推論描述檔。您選擇的模型或推論設定檔也會指定輸送量層級,定義您可以處理的輸入和輸出字符的數量和速率。如需 Amazon Bedrock 中可用基礎模型的詳細資訊,請參閱 Amazon Bedrock 基礎模型資訊。如需推論設定檔的詳細資訊,請參閱使用推論設定檔設定模型調用資源。如需增加輸送量的詳細資訊,請參閱 使用跨區域推論提高輸送量和 使用 Amazon Bedrock 中的佈建輸送量增加模型調用容量。
-
推論參數 — 可調整一組值,以限制或影響模型回應。如需有關推論參數的詳細資訊,請參閱 利用推論參數影響回應產生 和 基礎模型的推論請求參數和回應欄位。
Amazon Bedrock 提供一組基礎模型,可用來產生下列模態的輸出。若要查看基礎模型的模態支援,請參閱Amazon Bedrock 中支援的基礎模型。
輸出形式 | 描述 | 範例使用案例 |
---|---|---|
文字 | 提供文字輸入並產生各種類型的文字 | 聊天、 question-and-answering腦力激盪、摘要、程式碼產生、資料表建立、資料格式化、重寫 |
映像 | 提供文字或輸入影像,並產生或修改影像 | 影像產生、影像編輯、影像變化 |
內嵌項目 | 提供文字、影像或文字和影像,並產生代表輸入的數值向量。輸出向量可以與其他內嵌向量進行比較,以判斷語意相似性 (文字) 或視覺相似性 (影像)。 | 文字和影像搜尋、查詢、分類、建議、個人化、知識庫建立 |
您可以透過下列方式直接執行模型推論:
-
在 中 AWS Management Console,使用任何 Amazon Bedrock 遊樂場,在易於使用的圖形界面中執行推論。
使用 Converse 或 ConverseStream API 實作對話式應用程式。
-
使用 InvokeModel或 InvokeModelWithResponseStream API 提交單一提示。
-
準備具有所需組態的提示資料集,並使用 CreateModelInvocationJob 請求執行批次推論。
下列 Amazon Bedrock 功能也會使用模型推論作為較大工作流程中的步驟:
-
模型評估使用模型調用程序,在您提交CreateEvaluationJob請求後評估不同模型的效能。
-
知識庫使用 時,使用模型調用 RetrieveAndGenerate API 根據從知識庫擷取的結果產生回應。
-
代理程式使用模型調用,在 期間於各種階段產生回應 InvokeAgent 請求。
-
流程包括使用模型調用的 Amazon Bedrock 資源,例如提示、知識庫和代理程式。
使用不同的提示和推論參數測試不同的基礎模型後,您可以設定應用程式以APIs使用所需的規格呼叫這些模型。