本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
使用批次推論處理多個提示
透過批次推論,您可以提交多個提示,並以非同步方式產生回應。批次推論可協助您有效率地處理大量請求,方法是傳送單一請求並在 Amazon S3 儲存貯體中產生回應。在建立的檔案中定義模型輸入後,您可以將檔案上傳到 S3 儲存貯體。然後,您提交批次推論請求並指定 S3 儲存貯體。任務完成後,您可以從 S3 擷取輸出檔案。您可以使用批次推論來改善大型資料集上模型推論的效能。
注意
佈建模型不支援批次推論。
如需批次推論的一般資訊,請參閱下列資源:
-
若要查看批次推論的定價,請參閱 Amazon Bedrock 定價
。 -
若要查看批次推論的配額,請參閱 中的 Amazon Bedrock 端點和配額 AWS 一般參考。