Gunakan profil inferensi dalam pemanggilan model

Mode fokus

Gunakan profil inferensi dalam pemanggilan model - Amazon Bedrock

Anda dapat menggunakan profil inferensi lintas wilayah sebagai pengganti model dasar untuk merutekan permintaan ke beberapa Wilayah. Untuk melacak biaya dan penggunaan model, di satu atau beberapa Wilayah, Anda dapat menggunakan profil inferensi aplikasi. Untuk mempelajari cara menggunakan profil inferensi saat menjalankan inferensi model, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:

Console

Di konsol, satu-satunya profil inferensi yang dapat Anda gunakan adalah AS Anthropic Claude 3 Opus profil inferensi di wilayah AS Timur (Virginia N.).

Untuk menggunakan profil inferensi ini, beralihlah ke wilayah AS Timur (Virginia N.). Lakukan salah satu hal berikut dan pilih Anthropic Claude 3 Opus model dan inferensi lintas wilayah sebagai Throughput saat Anda mencapai langkah untuk memilih model:

Untuk menggunakan profil inferensi di taman bermain pembuatan teks, ikuti langkah-langkah di. Hasilkan tanggapan di konsol menggunakan taman bermain
Untuk menggunakan profil inferensi dalam evaluasi model, ikuti langkah-langkah konsol diMemulai pekerjaan evaluasi model otomatis di Amazon Bedrock.

API

Anda dapat menggunakan profil inferensi saat menjalankan inferensi dari Wilayah mana pun yang disertakan di dalamnya dengan operasi API berikut:

InvokeModelatau InvokeModelWithResponseStream— Untuk menggunakan profil inferensi dalam pemanggilan model, ikuti langkah-langkah di Kirim satu prompt dengan InvokeModel dan tentukan Nama Sumber Daya Amazon (ARN) dari profil inferensi di bidang. modelId Sebagai contoh, lihat Menggunakan profil inferensi dalam pemanggilan model.
Converse atau ConverseStream— Untuk menggunakan profil inferensi dalam pemanggilan model dengan Converse API, ikuti langkah-langkah di Lakukan percakapan dengan Converse Operasi API dan tentukan ARN profil inferensi di lapangan. modelId Sebagai contoh, lihat Menggunakan profil inferensi dalam percakapan.
RetrieveAndGenerate— Untuk menggunakan profil inferensi saat menghasilkan respons dari hasil kueri basis pengetahuan, ikuti langkah-langkah di tab API Uji basis pengetahuan Anda dengan pertanyaan dan tanggapan dan tentukan ARN profil inferensi di lapangan. modelArn Untuk informasi selengkapnya, lihat Menggunakan proflie inferensi untuk menghasilkan respons.
CreateEvaluationJob— Untuk mengirimkan profil inferensi untuk evaluasi model, ikuti langkah-langkah di tab API Memulai pekerjaan evaluasi model otomatis di Amazon Bedrock dan tentukan ARN profil inferensi di bidang. modelIdentifier
CreatePrompt— Untuk menggunakan profil inferensi saat membuat respons untuk prompt yang Anda buat di Manajemen Prompt, ikuti langkah-langkah di tab API Buat prompt menggunakan manajemen Prompt dan tentukan ARN profil inferensi di bidang. modelId
CreateFlow— Untuk menggunakan profil inferensi saat membuat respons untuk prompt sebaris yang Anda tentukan dalam node prompt dalam alur, ikuti langkah-langkah di tab API di. Buat alur di Amazon Bedrock Dalam mendefinisikan simpul prompt, tentukan ARN dari profil inferensi di lapangan. modelId
CreateDataSource— Untuk menggunakan profil inferensi saat mengurai informasi non-tekstual dalam sumber data, ikuti langkah-langkah di bagian API dan Opsi penguraian untuk sumber data Anda tentukan ARN profil inferensi di bidang. modelArn

catatan

Jika Anda menggunakan profil inferensi lintas wilayah (ditentukan sistem), Anda dapat menggunakan ARN atau ID profil inferensi.

anchor anchor

Di konsol, satu-satunya profil inferensi yang dapat Anda gunakan adalah AS Anthropic Claude 3 Opus profil inferensi di wilayah AS Timur (Virginia N.).

Untuk menggunakan profil inferensi di taman bermain pembuatan teks, ikuti langkah-langkah di. Hasilkan tanggapan di konsol menggunakan taman bermain
Untuk menggunakan profil inferensi dalam evaluasi model, ikuti langkah-langkah konsol diMemulai pekerjaan evaluasi model otomatis di Amazon Bedrock.

Awas Javascript dinonaktifkan atau tidak tersedia di browser Anda.

Untuk menggunakan Dokumentasi AWS, Javascript harus diaktifkan. Lihat halaman Bantuan browser Anda untuk petunjuk.

Konvensi Dokumen

Melihat informasi tentang profil inferensi

Hapus profil inferensi aplikasi

Pilih preferensi cookie Anda

Sesuaikan preferensi cookie

Penting

Kinerja

Fungsional

Iklan

Tidak dapat menyimpan preferensi cookie

Gunakan profil inferensi dalam pemanggilan model

catatan

Apakah halaman ini membantu Anda?

Topik berikutnya:

Topik sebelumnya:

Perlu bantuan?