使用批次推論處理多個提示 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用批次推論處理多個提示

透過批次推論,您可以提交多個提示,並以非同步方式產生回應。批次推論可協助您有效率地處理大量請求,方法是傳送單一請求並在 Amazon S3 儲存貯體中產生回應。在建立的檔案中定義模型輸入後,您可以將檔案上傳到 S3 儲存貯體。然後,您提交批次推論請求並指定 S3 儲存貯體。任務完成後,您可以從 S3 擷取輸出檔案。您可以使用批次推論來改善大型資料集上模型推論的效能。

注意

佈建模型不支援批次推論。

如需批次推論的一般資訊,請參閱下列資源: