Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memahami perutean prompt cerdas di Amazon Bedrock

Perutean prompt cerdas Amazon Bedrock menyediakan titik akhir tanpa server tunggal untuk merutekan permintaan secara efisien antara model dasar yang berbeda dalam keluarga model yang sama. Ini dapat secara dinamis memprediksi kualitas respons dari setiap model untuk setiap permintaan, dan kemudian merutekan permintaan ke model dengan kualitas respons terbaik. Ini membantu mengoptimalkan kualitas respons dan biaya.

Wilayah dan model yang didukung untuk perutean prompt cerdas

Perutean prompt cerdas dapat digunakan dengan berbagai jenis model. Daftar berikut menjelaskan dukungan untuk berbagai jenis model Amazon Bedrock:

Tabel berikut menunjukkan model yang didukung untuk perutean prompt cerdas:

Manfaat

Router prompt default dan dikonfigurasi

Saat menggunakan perutean prompt cerdas, Anda dapat menggunakan router prompt default yang disediakan oleh Amazon Bedrock, atau mengonfigurasi router prompt Anda sendiri.

Router prompt default adalah sistem routing pra-konfigurasi yang disediakan oleh Amazon Bedrock. Router ini dilengkapi dengan pengaturan yang telah ditentukan dan dirancang untuk bekerja di luar kotak dengan model dasar tertentu. Mereka menyediakan solusi yang mudah dan siap digunakan tanpa perlu mengkonfigurasi pengaturan routing apa pun. Saat memulai dengan perutean prompt cerdas, kami sarankan Anda bereksperimen menggunakan router default yang disediakan oleh Amazon Bedrock. Selama pratinjau, Anda dapat memilih untuk menggunakan model tertentu dalam keluarga Anthropic dan Meta.

Router prompt yang dikonfigurasi memungkinkan Anda menentukan konfigurasi routing Anda sendiri yang disesuaikan dengan kebutuhan dan preferensi tertentu. Mereka lebih cocok ketika Anda memerlukan kontrol lebih besar atas cara merutekan permintaan Anda dan model mana yang akan digunakan. Router yang dikonfigurasi memungkinkan pengoptimalan berdasarkan metrik kualitas respons dan kasus penggunaan. Setelah Anda bereksperimen dengan router default, Anda dapat mengonfigurasi router Anda sendiri yang sesuai dengan aplikasi Anda, mengevaluasi kualitas respons di taman bermain, dan menggunakannya untuk aplikasi produksi jika memenuhi persyaratan.

Pertimbangan dan batasan

Berikut ini adalah pertimbangan dan batasan untuk perutean prompt cerdas di Amazon Bedrock.

Kriteria router yang cepat dan model fallback

Saat mengonfigurasi router prompt Anda, Anda dapat menentukan kriteria routing, yang digunakan untuk menentukan model mana yang akan dipilih untuk memproses permintaan berdasarkan perbedaan kualitas respons. Gunakan kriteria ini untuk menentukan seberapa dekat respons model fallback dengan respons model lain.

Model fallback

Pilih model fallback yang berfungsi dengan baik untuk permintaan Anda. Model ini berfungsi sebagai baseline yang andal. Anda kemudian dapat memilih model lain untuk meningkatkan akurasi atau mengurangi biaya dibandingkan dengan model fallback. Model fallback bertindak sebagai jangkar, dan kriteria routing menentukan kapan harus beralih ke model lain berdasarkan perbedaan kualitas respons.

Perbedaan kualitas respons

Perbedaan kualitas respons mengukur perbedaan antara respons model fallback dan model lainnya. Nilai yang lebih kecil menunjukkan bahwa tanggapannya serupa. Nilai yang lebih tinggi menunjukkan perbedaan yang signifikan dalam respons antara model fallback dan model lainnya.

Misalnya, perbedaan kualitas respons 10% berarti bahwa, katakanlah kualitas respons model fallback, Claude Haiku3, adalah 10%, maka router akan beralih ke model lain, katakanlah Claude Sonnet3, hanya jika responsnya 10% lebih baik daripada tanggapan Claude Haiku3.

Cara kerja perutean prompt cerdas

Cara menggunakan perutean prompt cerdas

Untuk memulai dengan perutean prompt cerdas, gunakan konsol Amazon Bedrock, AWS CLI, atau AWS SDK.

Bagian berikut menunjukkan cara menggunakan fitur ini dari konsol dan CLI. Setelah Anda mengkonfigurasi router prompt Anda, Amazon Bedrock akan melakukan langkah-langkah yang dijelaskan dalam Cara kerja perutean prompt cerdas untuk menghasilkan respons dari salah satu model di router yang dipilih.

console

Untuk menggunakan perutean prompt cerdas dari Konsol Manajemen AWS:

1. Buka hub Router Prompt di konsol Amazon Bedrock. Gunakan AWS kredenSIAL Anda untuk masuk ke konsol.

2. Pilih keluarga model yang ingin Anda gunakan. Jika Anda menggunakan fitur ini untuk pertama kalinya, Anda dapat bereksperimen dengan router prompt default. Selama pratinjau, Anda dapat memilih dari model dalam keluarga Anthropic atau Meta. Anda kemudian dapat membuka taman bermain dan bereksperimen dengan petunjuk Anda.

   catatan

   Anda harus memilih persis dua model dalam keluarga yang sama.

3. Setelah Anda bereksperimen dengan router default, Anda dapat mengkonfigurasi router Anda. Anda harus memberikan nama unik untuk router Anda dan deskripsi opsional.

4. Tentukan aturan routing untuk merutekan prompt ke model yang berbeda. Tentukan model untuk routing, kriteria routing, dan model fallback yang akan digunakan jika kriteria routing tidak terpenuhi.

5. Anda sekarang dapat membuka taman bermain dan mencoba berbagai petunjuk untuk memantau kinerja router prompt Anda. Dengan menganalisis bagaimana petunjuk dirutekan dan kinerja setiap model, Anda dapat menyesuaikan kriteria dan model routing sesuai kebutuhan untuk mengoptimalkan kinerja dan biaya.

API

Untuk menggunakan perutean prompt cerdas menggunakan AWS CLI:

1. Setelah Anda bereksperimen dengan router prompt default, Anda dapat membuat router yang dapat menangani perutean prompt cerdas menggunakan CreatePromptRouter API atau perintah create-prompt-router CLI.

   Perintah berikut menunjukkan contoh pembuatan router prompt, di mana:

   • <router-name>adalah nama unik untuk router Anda.

   • <region>adalah Wilayah AWS tempat Anda ingin membuat router.

   • <modelA>dan <modelB> merupakan model yang dapat dipilih untuk routing. Misalnya, anthropic.claude-sonnet-4-5-20250929-v1:0.

   aws bedrock create-prompt-router \
       --prompt-router-name <router-name> \
       --models '[{"modelArn": "arn:aws:bedrock:<region>::foundation-model/<modelA>"}]' \ 
       --fallback-model '[{"modelArn": "arn:aws:bedrock:<region>::foundation-model/<modelB>"}]' \ 
       --routing-criteria '{"responseQualityDifference": 0.5}'

2. Kirim petunjuk Anda ke router prompt cerdas menggunakan AWS CLI. Router akan memprediksi kualitas respons dari setiap model dan merutekan permintaan ke model dengan kualitas respons terbaik.

3. Tinjau tanggapan atas permintaan Anda. Ini akan berisi informasi tentang model yang digunakan dan kriteria routing.

4. Saat Anda bekerja dengan router prompt, Anda juga dapat menggunakan operasi API tambahan ini:

   • GetPromptRouter

   • ListPromptRouters

   • DeletePromptRouter