執行模型推論 - Amazon Bedrock

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

執行模型推論

推論是指從提供給模型的輸入產生輸出的過程。基礎模型使用概率來構建序列中的字詞。指定輸入，該模型會預測隨後的字符的可能序列，並將該序列當作輸出傳回。Amazon Bedrock 提供您在選擇的基礎模型中執行推論的功能。當執行推論時，您會提供下列輸入。

Amazon 基岩提供一套基礎模型，可用來產生下列模式的輸出。若要查看基礎模型的模式支援，請參閱Amazon Bedrock 中支援的基礎模型。

輸出模式 描述 範例使用案例
文字 提供文本輸入並生成各種類型的文本 聊天 question-and-answering，頭腦風暴，總結，代碼生成，表創建，數據格式化，重寫
映像 提供文字或輸入影像，並產生或修改影像 圖像生成，圖像編輯，圖像變化
內嵌項目 提供文字、影像或文字和影像，並產生代表輸入的數值向量。輸出向量可以與其他嵌入向量進行比較，以確定語義相似性（對於文本）或視覺相似性（對於圖像）。 文字和影像搜尋、查詢、分類、建議、個人化、知識庫建立

您可採用下列方式來執行模型推論：

  • 使用任何一個遊樂場，在易於使用的圖形介面中執行推論。

  • 發送InvokeModel或InvokeModelWithResponseStream請求。

  • 準備具有所需組態的提示資料集，並使用 CreateModelInvocationJob 請求執行批次推論。

  • 下列 Amazon 基岩功能使用模型推論作為更大型協調流程的一個步驟。如需詳細資訊，請參閱這些章節。

您可以使用基本模型、自訂模型或佈建的模型執行推論。若要在自訂模型上執行推論，請先購買該模型的佈建輸送量 (如需詳細資訊，請參閱 Amazon 基岩的佈建輸送量)。

使用這些方法來測試具有不同提示和推論參數的基礎模型回應。一旦已經充分探索這些方法，就可以設定應用程式，藉由呼叫這些 API 來執行模型推論。

選取主題以進一步了解如何透過該方法執行模型推論。若要進一步了解如何使用代理程式，請參閱 適用於 Amazon Bedrock 的代理程式。

主題