Menyiapkan sumber daya pemanggilan model menggunakan profil inferensi

Melacak metrik penggunaan — Siapkan CloudWatch log dan kirimkan permintaan pemanggilan model dengan profil inferensi aplikasi untuk mengumpulkan metrik penggunaan untuk pemanggilan model. Anda dapat memeriksa metrik ini saat melihat informasi tentang profil inferensi dan menggunakannya untuk menginformasikan keputusan Anda. Untuk informasi selengkapnya tentang cara mengatur CloudWatch log, lihatMemantau pemanggilan model menggunakan CloudWatch Log dan Amazon S3.

Gunakan tag untuk memantau biaya — Lampirkan tag ke profil inferensi aplikasi untuk melacak biaya saat Anda mengirimkan permintaan pemanggilan model sesuai permintaan. Untuk informasi selengkapnya tentang cara menggunakan tag untuk alokasi biaya, lihat Mengatur dan melacak AWS biaya menggunakan tag alokasi biaya di panduan AWS Billing pengguna.

Cross-Region inferensi — Gunakan profil inferensi yang mencakup beberapa. Wilayah AWS Profil inferensi mendistribusikan permintaan pemanggilan model di seluruh Wilayah ini. Untuk informasi selengkapnya tentang inferensi lintas wilayah, lihat. Rute permintaan inferensi model lintas Wilayah AWS dengan inferensi lintas wilayah

Profil inferensi Lintas Wilayah (ditentukan sistem) — Profil inferensi yang telah ditentukan sebelumnya di Amazon Bedrock dan menyertakan beberapa Wilayah tempat permintaan model dapat dirutekan.

Profil inferensi aplikasi — Profil inferensi yang dibuat pengguna untuk melacak biaya dan penggunaan model. Anda dapat membuat profil inferensi yang merutekan permintaan pemanggilan model ke satu Wilayah atau ke beberapa Wilayah:

Model inferensi — Gunakan profil inferensi saat menjalankan pemanggilan model dengan memilih profil inferensi di taman bermain di konsol Amazon Bedrock, atau dengan menentukan ARN profil inferensi saat memanggil,, Converse InvokeModel, InvokeModelWithResponseStream dan operasi. https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html ConverseStream Untuk informasi selengkapnya, lihat Membuat permintaan inferensi.

Penyematan vektor basis pengetahuan dan pembuatan respons — Gunakan profil inferensi saat menghasilkan respons setelah menanyakan basis pengetahuan atau saat mengurai informasi non-tekstual dalam sumber data. Untuk informasi selengkapnya, lihat Uji basis pengetahuan Anda dengan pertanyaan dan tanggapan dan Opsi penguraian untuk sumber data Anda.

Evaluasi model — Anda dapat mengirimkan profil inferensi sebagai model untuk dievaluasi saat mengirimkan pekerjaan evaluasi model. Untuk informasi selengkapnya, lihat Mengevaluasi kinerja sumber daya Amazon Bedrock.

Manajemen yang cepat — Anda dapat menggunakan profil inferensi saat menghasilkan respons untuk prompt yang Anda buat di Manajemen Prompt. Untuk informasi selengkapnya, lihat Buat dan simpan petunjuk yang dapat digunakan kembali dengan manajemen Prompt di Amazon Bedrock

Alur — Anda dapat menggunakan profil inferensi saat menghasilkan respons untuk prompt yang Anda tentukan sebaris dalam simpul prompt dalam aliran. Untuk informasi selengkapnya, lihat Bangun alur kerja AI generatif ujung ke ujung dengan Amazon Bedrock Flows.