提交提示並使用模型推論產生回應 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

提交提示並使用模型推論產生回應

推論是指從提供給模型的輸入產生輸出的過程。基礎模型使用概率來構建序列中的字詞。指定輸入,該模型會預測隨後的字符的可能序列,並將該序列當作輸出傳回。Amazon Bedrock 提供您在選擇的基礎模型中執行推論的功能。當您執行推論時,請提供下列輸入:

Amazon Bedrock 提供一組基礎模型,可用來產生下列模態的輸出。若要查看基礎模型的模態支援,請參閱Amazon Bedrock 中支援的基礎模型

輸出形式 描述 範例使用案例
文字 提供文字輸入並產生各種類型的文字 聊天、 question-and-answering腦力激盪、摘要、程式碼產生、資料表建立、資料格式化、重寫
映像 提供文字或輸入影像,並產生或修改影像 影像產生、影像編輯、影像變化
內嵌項目 提供文字、影像或文字和影像,並產生代表輸入的數值向量。輸出向量可以與其他內嵌向量進行比較,以判斷語意相似性 (文字) 或視覺相似性 (影像)。 文字和影像搜尋、查詢、分類、建議、個人化、知識庫建立

您可以透過下列方式直接執行模型推論:

下列 Amazon Bedrock 功能也會使用模型推論作為較大工作流程中的步驟:

  • 模型評估使用模型調用程序,在您提交CreateEvaluationJob請求後評估不同模型的效能。

  • 知識庫使用 時,使用模型調用 RetrieveAndGenerate API 根據從知識庫擷取的結果產生回應。

  • 代理程式使用模型調用,在 期間於各種階段產生回應 InvokeAgent 請求。

  • 流程包括使用模型調用的 Amazon Bedrock 資源,例如提示、知識庫和代理程式。

使用不同的提示和推論參數測試不同的基礎模型後,您可以設定應用程式以APIs使用所需的規格呼叫這些模型。