Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Titik akhir yang didukung oleh Amazon Bedrock
Amazon Bedrock mendukung berbagai titik akhir untuk melakukan operasi inferensi.
Operasi inferensi
Amazon Bedrock mendukung dua titik akhir utama berikut untuk melakukan inferensi secara terprogram:
| Titik akhir | API yang didukung | Deskripsi |
|---|---|---|
bedrock-mantle.{region}.api.aws |
API Respons/API Penyelesaian Obrolan/API Pesan | Region-specific endpoint untuk membuat permintaan inferensi untuk model yang dihosting di Amazon Bedrock menggunakan OpenAI-compatible endpoint dan Anthropic Messages API. |
bedrock-runtime.{region}.amazonaws.com |
InvokeModel/Converse/Penyelesaian Obrolan/API Pesan | Region-specific titik akhir untuk membuat permintaan inferensi untuk model yang dihosting di Amazon Bedrock menggunakan API. InvokeModel/Converse/Chat Completions/Messages Baca lebih lanjut tentang Amazon Bedrock Runtime API di sini. |
Untuk aplikasi baru, kami merekomendasikan bedrock-mantle endpoint. Ini mendukung OpenAI-compatible API (Respons dan Penyelesaian Obrolan) dan API Pesan Antropik, termasuk penggunaan alat bawaan dan manajemen percakapan stateful, dan memungkinkan Anda membawa basis kode OpenAI SDK yang ada ke Amazon Bedrock dengan hanya mengubah URL dasar dan kunci API. bedrock-runtimeTitik akhir tetap didukung sepenuhnya dan merupakan pilihan yang tepat saat Anda menggunakan API Bedrock-native InvokeModel atau Converse, atau saat model yang Anda inginkan belum tersedia. bedrock-mantle Untuk melihat titik akhir mana yang didukung setiap model, lihatKetersediaan titik akhir menurut model.
Tabel berikut membandingkan apa yang tersedia di setiap titik akhir.
| API | bedrock-runtime |
bedrock-mantle |
|---|---|---|
| InvokeModel |  |
 |
| Berbicara/ ConverseStream | |
|
| Penyelesaian Obrolan () OpenAI-compatible | |
|
| Tanggapan API (OpenAI-compatible) | |
|
| Pesan API (Anthropic-native) | |
|
catatan
Messages API tersedia di kedua titik akhir, tetapi kedua permukaan tidak memiliki dukungan fitur yang identik. Secara khusus, output terstruktur (output_config.formatparameter) tidak didukung pada bedrock-mantle — permintaan output_config.format yang menyertakan ditolak dengan kesalahan 400. Untuk menggunakan output terstruktur dengan model Anthropic Claude, panggil Converse atau API aktif. InvokeModel bedrock-runtime
| Kemampuan | bedrock-runtime |
bedrock-mantle |
|---|---|---|
| Cross-region inferensi (profil geografis dan global) | |
|
| Manajemen percakapan stateful | |
|
| Inferensi asinkron (berjalan lama) | |
|
| Client-side penggunaan alat | |
|
| Server-side penggunaan alat | |
|
| Pre-configured alat siap pakai | |
|
| Proyek | |
|
| Ruang kerja | |
|
| Item | bedrock-runtime |
bedrock-mantle |
|---|---|---|
| Autentikasi AWS SiGv4 | |
|
| Kunci API batuan dasar (juga berfungsi dengan OpenAI SDK) | |
|
| Atribusi penggunaan | IAM, penandaan metadata per permintaan | Proyek, Ruang Kerja |
| Fitur | bedrock-runtime |
bedrock-mantle |
|---|---|---|
| Batasan pengaman | |
|
| Caching cepat | |
|
| Perutean prompt cerdas | |
|
catatan
Dukungan caching yang cepat bedrock-mantle tergantung pada model spesifik — lihat setiap kartu model di bawah Sekilas tentang model untuk detailnya.
Pendekatan throughput dan kuota
Setiap endpoint menggunakan pendekatan yang berbeda untuk mengelola throughput.
-
bedrock-runtimeDalam banyak layanan multi-tenant tradisional, arsitektur dirancang di sekitar kuota per akun untuk mengelola akses berbagi adil ke sumber daya bersama. Ini adalah pendekatan yang digunakan denganbedrock-runtime. Setiap model memiliki kuota throughput tetap (RPM dan TPM) yang dapat Anda minta kenaikan. Lihat perinciannya di Kuota untuk endpoint batuan dasar runtime. -
bedrock-mantle- Titik akhir ini dirancang dengan penjadwalan lanjutan dan mekanisme antrian kerja yang memberikan distribusi pembagian yang adil sambil mendukung batas throughput awal yang lebih tinggi. Desain ini juga memungkinkanbedrock-mantleuntuk menampung serangkaian model yang luas dan memberikan kemampuan lengkap yang tersedia di seluruh katalog model. Dalam kebanyakan kasus, permintaan dilayani segera. Dalam beberapa kasus, permintaan dapat diantrian sebentar sementara beban kerja dalam penerbangan selesai dan throughput tersedia. Untuk detailnya, lihat Kuota untuk titik akhir mantel dasar dan Praktik terbaik penskalaan dan throughput.
Harga
Per-token harga untuk model yang sama identik pada bedrock-runtime danbedrock-mantle. Pilih titik akhir berdasarkan API dan kemampuan yang Anda butuhkan, bukan biaya. Untuk harga saat ini, lihat harga Amazon Bedrock
Kapan memilih setiap titik akhir
Mulailah dengan bedrock-mantle kapan Anda ingin:
Gunakan API Responses, API Penyelesaian Obrolan, atau API Pesan dengan percakapan multi-putaran stateful.
Bawa kode SDK OpenAI yang ada ke Amazon Bedrock dengan hanya mengubah URL dasar dan kunci API.
Jalankan beban kerja inferensi asinkron atau berjalan lama.
Buat alur kerja agen dengan penggunaan alat sisi server atau alat yang telah dikonfigurasi sebelumnya.
Gunakan Proyek (OpenAI-compatible) atau Ruang kerja () Anthropic-compatible untuk mengisolasi beban kerja dan melacak biaya dan penggunaan di tingkat aplikasi.
Gunakan bedrock-runtime saat Anda ingin:
Lanjutkan menggunakan Bedrock-native InvokeModelatau Converse API.
Gunakan model yang belum tersedia di
bedrock-mantle. Lihat Ketersediaan titik akhir menurut model.
Kedua titik akhir dapat digunakan bersama dari aplikasi yang sama - pilih per kasus penggunaan.
Mengurangi biaya keluar data dengan titik akhir antarmuka VPC
Jika Anda memanggil Amazon Bedrock dari dalam VPC, pertimbangkan untuk menggunakan titik akhir antarmuka VPC (AWS) untuk menjaga lalu lintas dalam jaringan PrivateLink AWS dan menghindari biaya keluar data yang terkait dengan gateway NAT atau gateway internet.
