Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
catatan
Perutean prompt cerdas di Amazon Bedrock sedang dalam pratinjau dan dapat berubah sewaktu-waktu.
Perutean prompt cerdas Amazon Bedrock menyediakan titik akhir tanpa server tunggal untuk merutekan permintaan secara efisien antara model dasar yang berbeda dalam keluarga model yang sama. Ini dapat membantu Anda mengoptimalkan kualitas dan biaya respons. Mereka menawarkan solusi komprehensif untuk mengelola beberapa model AI melalui satu titik akhir tanpa server, menyederhanakan proses untuk Anda. Intelligent prompt routing memprediksi kinerja setiap model untuk setiap permintaan, dan secara dinamis merutekan setiap permintaan ke model yang diprediksi kemungkinan besar akan memberikan respons yang diinginkan dengan biaya terendah. Dengan perutean cepat yang cerdas, Amazon Bedrock dapat membantu Anda membangun aplikasi AI generatif dengan menggunakan kombinasi model dasar untuk mendapatkan kinerja yang lebih baik dengan biaya lebih rendah daripada model fondasi tunggal.
Untuk memanfaatkan perutean prompt cerdas dengan sebaik-baiknya, Anda harus meninjau kinerja secara teratur untuk memanfaatkan model baru. Untuk mengoptimalkan penggunaan Anda, pantau metrik kinerja dan biaya yang tersedia.
Untuk memulai perutean prompt cerdas, gunakan konsol Amazon Bedrock AWS CLI, atau AWS SDK.
Selama pratinjau, Anda dapat memilih untuk menggunakan model tertentu dalam keluarga Anthropic dan Meta.
Perutean prompt cerdas menawarkan manfaat berikut.
-
Membantu Anda mengoptimalkan kualitas respons dan biaya dengan merutekan petunjuk ke model fondasi yang berbeda.
-
Dapat membantu meningkatkan kinerja secara keseluruhan dengan memanfaatkan kekuatan beberapa model.
-
Manajemen yang disederhanakan tanpa perlu logika orkestrasi yang kompleks.
-
Bukti masa depan dengan memasukkan model-model baru saat tersedia.
Cara kerja perutean prompt yang cerdas
-
Pilih keluarga model yang ingin Anda gunakan.
-
Untuk setiap permintaan yang masuk, perutean prompt cerdas memprediksi kinerja setiap model yang ditentukan.
-
Amazon Bedrock secara dinamis memilih model yang diprediksinya akan menawarkan kombinasi terbaik antara kualitas respons dan biaya.
-
Amazon Bedrock mengirimkan permintaan ke model yang Anda pilih untuk diproses.
-
Anda mendapatkan kembali tanggapannya, yang juga memiliki informasi tentang model yang dipilih Amazon Bedrock.
Pertimbangan dan batasan
Berikut ini adalah pertimbangan dan batasan untuk perutean prompt cerdas di Amazon Bedrock.
-
Selama pratinjau, Anda hanya dapat memilih dari router yang telah dikonfigurasi sebelumnya.
-
Saat ini, perutean prompt cerdas hanya menerima permintaan bahasa Inggris.
-
Perutean prompt cerdas tidak dapat menyesuaikan keputusan atau respons perutean berdasarkan data kinerja khusus aplikasi.
-
Perutean prompt cerdas mungkin tidak selalu memberikan perutean paling optimal untuk kasus penggunaan unik atau khusus. Seberapa efektif routing tergantung pada data pelatihan awal.
