バッチ推論を使用して複数のプロンプトを処理する

バッチ推論では、複数のプロンプトを送信し、非同期でレスポンスを生成できます。バッチ推論は、単一のリクエストを送信し Amazon S3 バケットにレスポンスを生成することで、多数のリクエストを効率的に処理するのに役立ちます。作成するファイルでモデル入力を定義したら、ファイルを S3 バケットにアップロードします。次に、バッチ推論リクエストを送信し、S3 バケットを指定します。ジョブが完了したら、S3 から出力ファイルを取得できます。バッチ推論を使用すると、大規模なデータセットでのモデル推論のパフォーマンスを向上させることができます。

バッチ推論に関する一般的な情報については、次のリソースを参照してください。