Memproses beberapa prompt dengan inferensi batch - Amazon Bedrock

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memproses beberapa prompt dengan inferensi batch

Dengan inferensi batch, Anda dapat mengirimkan beberapa prompt dan menghasilkan respons secara asinkron. Inferensi Batch membantu Anda memproses sejumlah besar permintaan secara efisien dengan mengirimkan satu permintaan dan menghasilkan respons dalam bucket Amazon S3. Setelah menentukan input model dalam file yang Anda buat, Anda mengunggah file ke bucket S3. Anda kemudian mengirimkan permintaan inferensi batch dan menentukan bucket S3. Setelah pekerjaan selesai, Anda dapat mengambil file output dari S3. Anda dapat menggunakan inferensi batch untuk meningkatkan kinerja inferensi model pada kumpulan data besar.

catatan

Inferensi Batch tidak didukung untuk model yang disediakan.

Lihat sumber daya berikut untuk informasi umum tentang inferensi batch:

Topik