View a markdown version of this page

Wilayah dan model yang didukung untuk profil inferensi - Amazon Bedrock
Profil inferensi lintas wilayah yang didukungWilayah dan model yang didukung untuk profil inferensi aplikasi

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Wilayah dan model yang didukung untuk profil inferensi

Untuk daftar kode Wilayah dan titik akhir yang didukung di Amazon Bedrock, lihat titik akhir dan ku ota Amazon Bedrock. Topik ini menjelaskan profil inferensi standar yang dapat Anda gunakan dan Wilayah dan model yang mendukung profil inferensi aplikasi.

catatan

Mencari ID profil inferensi untuk model tertentu? ID profil inferensi masing-masing model dan ketersediaan Regional sekarang didokumentasikan pada halaman detail model. Kunjungi model sekilas dan pilih model yang Anda minati.

Profil inferensi lintas wilayah yang didukung

Anda dapat melakukan inferensi lintas wilayah dengan profil inferensi lintas wilayah (ditentukan sistem). Dengan inferensi lintas wilayah, Anda dapat mendistribusikan lalu lintas ke beberapa Wilayah AWS dengan menggunakan komputasi di masing-masing Wilayah tersebut.

Cross-Region Profil inferensi (yang ditentukan sistem) dinamai sesuai model yang mereka dukung dan ditentukan oleh Wilayah yang mereka dukung. Untuk memahami bagaimana profil inferensi lintas wilayah menangani permintaan Anda, tinjau definisi berikut:

  • Wilayah Sumber — Wilayah tempat Anda membuat permintaan API yang menentukan profil inferensi.

  • Wilayah Tujuan — Wilayah tempat layanan Amazon Bedrock dapat mengarahkan permintaan dari Wilayah sumber Anda.

Saat Anda memanggil profil inferensi lintas wilayah di Amazon Bedrock, permintaan Anda berasal dari Wilayah sumber dan secara otomatis dialihkan ke salah satu Wilayah tujuan yang ditentukan dalam profil tersebut, mengoptimalkan kinerja. Wilayah tujuan untuk profil inferensi Lintas wilayah Global mencakup semua Wilayah komersial.

catatan

Wilayah tujuan dalam profil inferensi lintas wilayah dapat menyertakan Wilayah pilihan , yang merupakan Wilayah yang harus Anda aktifkan secara eksplisit di Akun AWS atau tingkat Organisasi. Untuk mempelajari selengkapnya, lihat Mengaktifkan atau menonaktifkan Wilayah AWS di akun Anda. Saat menggunakan profil inferensi lintas wilayah, permintaan inferensi Anda dapat dialihkan ke salah satu Wilayah tujuan di profil, bahkan jika Anda tidak ikut serta ke Wilayah tersebut di akun Anda. Permintaan masukan dan hasil keluaran Anda dapat disimpan di Wilayah opt-in untuk tujuan deteksi penyalahgunaan.

Kebijakan Kontrol Layanan (SCP) dan AWS Identity and Access Management (IAM) bekerja sama untuk mengontrol di mana inferensi lintas wilayah diizinkan. Menggunakan SCP, Anda dapat mengontrol Wilayah mana yang dapat digunakan Amazon Bedrock untuk inferensi, dan menggunakan kebijakan IAM, Anda dapat menentukan pengguna atau peran mana yang memiliki izin untuk menjalankan inferensi. Jika ada Wilayah tujuan dalam profil inferensi Lintas wilayah yang diblokir di SCP Anda, permintaan akan gagal meskipun Wilayah lain tetap diizinkan. Untuk memastikan operasi yang efisien dengan inferensi lintas wilayah, Anda dapat memperbarui SCP dan kebijakan IAM untuk mengizinkan semua tindakan inferensi Amazon Bedrock yang diperlukan (misalnya, bedrock:InvokeModel* ataubedrock:CreateModelInvocationJob) di semua Wilayah tujuan yang disertakan dalam profil inferensi pilihan Anda. Untuk mempelajari selengkapnya, lihat Meng aktifkan inferensi lintas wilayah Amazon Bedrock di lingkungan multi-akun.

catatan

Beberapa profil inferensi merutekan ke Wilayah tujuan yang berbeda tergantung pada Wilayah sumber dari mana Anda menyebutnya. Misalnya, jika Anda menelepon us.anthropic.claude-3-haiku-20240307-v1:0 dari AS Timur (Ohio), itu dapat merutekan permintaan keus-east-1,us-east-2, atauus-west-2, tetapi jika Anda memanggilnya dari AS Barat (Oregon), itu dapat merutekan permintaan hanya ke us-east-1 danus-west-2.

Untuk memeriksa Regions sumber dan tujuan untuk profil inferensi, Anda dapat melakukan salah satu hal berikut:

catatan

Profil inferensi lintas wilayah global untuk model tertentu dapat berubah seiring waktu karena AWS menambahkan lebih banyak Wilayah komersial tempat permintaan Anda dapat diproses. Namun, jika profil inferensi terkait dengan geografi (seperti AS, UE, atau APAC), daftar Wilayah tujuannya tidak akan pernah berubah. AWS mungkin membuat profil inferensi baru yang menggabungkan Wilayah baru. Anda dapat memperbarui sistem Anda untuk menggunakan profil inferensi ini dengan mengubah ID dalam pengaturan Anda ke yang baru.

Profil inferensi Lintas wilayah Global saat ini hanya didukung pada Anthropic Claude Sonnet 4 model untuk Wilayah sumber berikut: AS Barat (Oregon), AS Timur (Virginia Utara), AS Timur (Ohio), Eropa (Irlandia), dan Asia Pasifik (Tokyo). Wilayah tujuan untuk profil inferensi Global mencakup semua komersial Wilayah AWS.

penting

ID profil inferensi lintas wilayah masing-masing model, Wilayah sumber yang didukung, Wilayah tujuan, dan cakupan Geo (Global, AS, atau UE) didokumentasikan pada halaman detail model. Untuk menemukan informasi ini, kunjungi model sekilas dan pilih model yang Anda minati. Pada halaman model, cari tabel Ketersediaan Regional — tabel ini menunjukkan Regions mana yang mendukung profil inferensi In-Region, Geo, dan Global, dan bagian ID profil inferensi mencantumkan ID yang tepat untuk digunakan dalam panggilan API.

Jika Anda perlu membandingkan opsi residensi data di beberapa model untuk perencanaan kepatuhan, tinjau tabel Ketersediaan Regional di setiap halaman model untuk mengonfirmasi bahwa rute profil inferensi model yang Anda pilih hanya meminta ke Wilayah yang memenuhi persyaratan Anda.

Wilayah dan model yang didukung untuk profil inferensi aplikasi

Profil inferensi aplikasi dapat dibuat untuk semua model sebagai berikut: Wilayah AWS

  • ap-northeast-1

  • ap-northeast-2

  • ap-south-1

  • ap-southeast-1

  • ap-southeast-2

  • ca-sentral-1

  • eu-central-1

  • eu-west-1

  • eu-west-2

  • eu-west-3

  • sa-east-1

  • us-east-1

  • us-east-2

  • us-gov-east-1

  • us-west-2

Profil inferensi aplikasi dapat dibuat dari sebagian besar model yang didukung di Amazon Bedrock. Beberapa model, seperti model penyematan, tidak mendukung profil inferensi. Untuk memeriksa apakah model tertentu mendukung profil inferensi, lihat model secara sekilas.