本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
推論是指從提供給模型的輸入產生輸出的過程。
Amazon Bedrock 提供一組基礎模型,可用來產生下列模態的輸出。若要查看基礎模型的模態支援,請參閱 Amazon Bedrock 中支援的基礎模型。
輸出形式 | 描述 | 範例使用案例 |
---|---|---|
文字 | 提供文字輸入並產生各種類型的文字 | 聊天、question-and-answering、腦力激盪、摘要、程式碼產生、資料表建立、資料格式、重寫 |
映像 | 提供文字或輸入影像,並產生或修改影像 | 影像產生、影像編輯、影像變化 |
內嵌項目 | 提供文字、影像或文字和影像,並產生代表輸入的數值向量。輸出向量可以與其他內嵌向量進行比較,以判斷語意相似性 (文字) 或視覺相似性 (影像)。 | 文字和影像搜尋、查詢、分類、建議、個人化、知識庫建立 |
您可以透過下列方式直接執行模型推論:
-
在 中 AWS Management Console,使用任何 Amazon Bedrock 遊樂場,在易於使用的圖形界面中執行推論。
使用 Converse 或 ConverseStream API 實作對話式應用程式。
-
使用 InvokeModel 或 InvokeModelWithResponseStream API 提交單一提示。
-
使用所需的組態準備提示資料集,並使用 CreateModelInvocationJob 請求執行批次推論。
下列 Amazon Bedrock 功能也會使用模型推論作為較大工作流程中的步驟:
-
模型評估使用模型調用程序,在您提交 CreateEvaluationJob 請求後評估不同模型的效能。
-
知識庫使用 RetrieveAndGenerate API 來根據從知識庫擷取的結果產生回應時,會使用模型調用。
-
客服人員使用模型調用,在InvokeAgent請求期間於各種階段產生回應。
-
流程包括使用模型調用的 Amazon Bedrock 資源,例如提示、知識庫和代理程式。
使用不同的提示和推論參數測試不同的基礎模型之後,您可以設定應用程式以使用所需的規格呼叫這些 APIs。