Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Meningkatkan throughput untuk ketahanan dan daya pemrosesan
Throughput didefinisikan oleh jumlah dan tingkat input dan output yang diproses dan dikembalikan oleh model. Saat Anda memanggil model di Amazon Bedrock atau menggunakan sumber daya di Amazon Bedrock yang memanggil model, throughput model tunduk pada kuota. Kuota tergantung pada model dan Wilayah dan mencakup nilai-nilai berikut:
-
Permintaan diproses per menit — Jumlah permintaan pemanggilan model yang diproses setiap menit. Kuota mempertimbangkan jumlah InvokeModel,, Converse InvokeModelWithResponseStream, dan ConverseStreamAPIpermintaan.
-
Token diproses per menit — Jumlah token yang diproses setiap menit. Kuota mempertimbangkan jumlah token yang diproses untuk InvokeModel,, Converse InvokeModelWithResponseStream, atau ConverseStreamAPIpermintaan.
Amazon Bedrock menawarkan jenis throughput berikut:
-
On-demand throughput — Opsi standar untuk throughput. Melibatkan menerapkan model secara spesifik Wilayah AWS. Kuota didefinisikan dalam titik akhir Amazon Bedrock dan kuota di. Referensi Umum AWS
-
Inferensi lintas wilayah sesuai permintaan — Melibatkan pemanggilan profil inferensi, yang merupakan abstraksi atas kumpulan sumber daya sesuai permintaan dari yang dikonfigurasi. Wilayah AWS Profil inferensi dapat merutekan permintaan inferensi Anda yang berasal dari wilayah sumber Anda ke wilayah lain yang dikonfigurasi dalam kumpulan. Penggunaan inferensi lintas wilayah meningkatkan throughput dan meningkatkan ketahanan dengan merutekan permintaan pemanggilan model secara dinamis di seluruh wilayah yang ditentukan dalam profil inferensi. Faktor routing dalam lalu lintas pengguna, permintaan dan pemanfaatan sumber daya. Untuk informasi selengkapnya, lihat Meningkatkan ketahanan dengan inferensi lintas wilayah.
-
Provisioned Throughput — Melibatkan pembelian tingkat throughput khusus untuk model secara spesifik. Wilayah AWS Kuota Throughput yang disediakan tergantung pada jumlah unit model yang Anda beli. Untuk informasi selengkapnya, lihat Tingkatkan kapasitas pemanggilan model dengan Provisioned Throughput di Amazon Bedrock.
Pilih topik untuk mempelajari lebih lanjut tentang opsi yang Anda miliki untuk meningkatkan throughput Anda:
Topik
