Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Konfigurasikan perilaku respons streaming untuk memfilter konten
InvokeModelWithResponseStreamAPIMengembalikan data dalam format streaming. Ini memungkinkan Anda untuk mengakses respons dalam potongan tanpa menunggu seluruh hasilnya. Saat menggunakan pagar pembatas dengan respons streaming, ada dua mode operasi: sinkron dan asinkron.
Mode sinkron
Dalam mode sinkron default, pagar pembatas akan menyangga dan menerapkan kebijakan yang dikonfigurasi ke satu atau beberapa potongan respons sebelum respons dikirim kembali ke pengguna. Mode pemrosesan sinkron memperkenalkan beberapa latensi ke potongan respons, karena itu berarti respons tertunda hingga pemindaian pagar pembatas selesai. Namun, ini memberikan akurasi yang lebih baik, karena setiap potongan respons dipindai oleh pagar pembatas sebelum dikirim ke pengguna.
Mode asinkron
Dalam mode asinkron, pagar pembatas mengirimkan potongan respons ke pengguna segera setelah tersedia, sambil menerapkan kebijakan yang dikonfigurasi secara asinkron di latar belakang. Keuntungannya adalah potongan respons diberikan segera tanpa dampak latensi, tetapi potongan respons mungkin berisi konten yang tidak pantas sampai pemindaian pagar pembatas selesai. Segera setelah konten yang tidak pantas diidentifikasi, potongan berikutnya akan diblokir oleh pagar pembatas.
Awas
Penyembunyian informasi sensitif dalam respons model dapat sangat terpengaruh dalam mode asinkron karena respons asli dapat dikembalikan ke pengguna sebelum deteksi dan penyembunyian konten sensitif apa pun dalam respons model oleh pagar pembatas. Oleh karena itu, untuk kasus penggunaan seperti itu, mode asinkron tidak disarankan.
Mengaktifkan mode asinkron
Untuk mengaktifkan mode asinkron, Anda perlu menyertakan streamProcessingMode parameter dalam amazon-bedrock-guardrailConfig objek permintaan Anda: InvokeModelWithResponseStream
{ "amazon-bedrock-guardrailConfig": { "streamProcessingMode": "ASYNCHRONOUS" } }
Dengan memahami trade-off antara mode sinkron dan asinkron, Anda dapat memilih mode yang sesuai berdasarkan persyaratan aplikasi Anda untuk latensi dan akurasi moderasi konten.
