執行批次推論 - Amazon Bedrock

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

執行批次推論

注意

批次推論為預覽版，可能會有所變更。批次推論目前只能透過 API 使用。透過下列 SDK 存取批次 API。

我們建議您建立虛擬環境以使用 SDK。由於最新的 SDK 中無法使用批次推論 API，因此建議您先從虛擬環境中解除安裝最新版本的 SDK，然後再使用批次推論 API 安裝版本。如需引導範例，請參閱程式碼範例。

透過批次推論，您可以非同步執行多個推論請求，而透過對存放在 S3 儲存貯體中的資料執行推論，可以有效率地處理大量請求。您可以使用批次推論來改善大型資料集上模型推論的效能。

注意

已佈建模型不支援 Batch 推論。

若要查看批次推論的配額，請參閱 批次推論配額。

Amazon Bedrock 支援下列模式的批次推論。

  • 文字轉內嵌項目

  • 文字轉文字

  • 文字轉影像

  • 影像到影像

  • 圖像嵌入

您可以將資料存放在 Amazon S3 儲存貯體中，以準備進行批次推論。然後，您可以使用 ModelInvocationJob API 來執行和管理批次推論任務。

在執行批次推論之前，您必須先獲得呼叫批次推論 API 的許可。然後，您可以設定 IAM Amazon Bedrock 服務角色，以獲得執行批次推論任務的許可。

您可以下載並安裝下列其中一個 AWS SDK 套件，以使用批次推論 API。

主題