Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Lacak penggunaan dan biaya di Amazon Bedrock
Amazon Bedrock menyediakan beberapa cara untuk mengaitkan penggunaan inferensi model dan biaya ke pengguna, tim, aplikasi, lingkungan, atau eksperimen tertentu. Anda dapat menggunakan satu mekanisme atau menggabungkan beberapa. Misalnya, gunakan atribusi utama IAM untuk visibilitas per pengguna bersama proyek untuk penandaan per aplikasi, dan minta metadata untuk pelacakan eksperimen per panggilan.
Tip
Jika Anda tidak yakin mekanisme mana yang sesuai dengan kasus penggunaan Anda, mulailah dengan Pertanyaan umum di akhir babak ini. Ini menjawab pertanyaan keputusan umum seperti “Saya ingin atribusi per pengguna, per-prompt - apa pilihan saya?” dan “Apa perbedaan antara CUR klasik dan CUR 2.0?”.
Memilih pendekatan
Metode atribusi biaya yang Anda pilih bergantung pada dimensi mana yang ingin Anda lacak, API Amazon Bedrock mana yang Anda gunakan, dan tingkat perincian apa yang Anda butuhkan. Dua tabel berikut menyajikan pandangan yang saling melengkapi. Gunakan yang pertama untuk mencari mekanisme berdasarkan tujuan Anda, dan yang kedua untuk membandingkan mekanisme secara berdampingan.
Pilih berdasarkan tujuan
Jika Anda tahu apa yang Anda inginkan dari pelacakan biaya, mulailah dari sini.
| Jika tujuan Anda adalah... | Gunakan |
|---|---|
| Per-user atau dolar per tim pada tagihan Anda | Atribusi utama IAM |
| Per-application atau dolar per beban kerja | Profil inferensi aplikasi(bedrock-runtime), atau Proyek dan Workspace (bedrock-mantle) |
| Per-prompt penggunaan token dan biaya, diiris berdasarkan dimensi apa pun | Per-request penandaan metadata, dengan log pemanggilan model |
| Per-user dan detail per prompt | Model log pemanggilan, dengan pengguna diambil dari identity ARN atau tag request-metadata |
| Baik dolar yang akurat faktur dan detail per prompt | Gabungkan metode asli (misalnya,Atribusi utama IAM) dengan Per-request penandaan metadata |
Bandingkan mekanisme
Tabel berikut membandingkan mekanisme yang tersedia berdasarkan apa yang mereka izinkan Anda mengaitkan, apa yang mereka keluarkan, perincian keluaran itu, tempat data dikirimkan, dan titik akhir mana yang mereka dukung.
| Mekanisme | Atribut oleh | Output | Granularitas | Tujuan data | API yang didukung | bedrock-runtime |
bedrock-mantle |
|---|---|---|---|---|---|---|---|
| Atribusi utama IAM | Identitas IAM | Dolar yang ditagih | Agregat, per jenis penggunaan per hari | AWS Penjelajah Biaya /CUR 2.0 | InvokeModel, Converse, Penyelesaian Obrolan, Tanggapan |  |
|
| Profil inferensi aplikasi | Tag sumber daya profil | Dolar yang ditagih | Agregat, per jenis penggunaan per hari | AWS Penjelajah Biaya /CUR 2.0 | InvokeModel, Konversi, Penyelesaian Obrolan | |
 |
| Proyek | Tag sumber daya proyek | Dolar yang ditagih | Agregat, per jenis penggunaan per hari | AWS Penjelajah Biaya /CUR 2.0 | Tanggapan, Penyelesaian Obrolan | |
|
| Workspace | Tag sumber daya proyek melalui header ruang kerja | Dolar yang ditagih | Agregat, per jenis penggunaan per hari | AWS Penjelajah Biaya /CUR 2.0 | Pesan Antropik | |
|
| Per-request penandaan metadata | Per-request tag nilai kunci | Jumlah token (Anda mengonversi ke biaya) | Per permintaan | Log pemanggilan saja | InvokeModel, InvokeModelWithResponseStream, Konversi, ConverseStream | |
|
catatan
Metode asli (Atribusi utama IAM,, Profil inferensi aplikasiProyek, danWorkspace) mengirimkan dolar tagihan agregat ke AWS Cost Explorer dan CUR 2.0. Biji-bijian terbaik adalah per jenis penggunaan per hari, dikaitkan dengan identitas atau tag; mereka tidak menghasilkan baris per permintaan. Untuk detail per prompt, gunakan log pemanggilan model, di mana setiap panggilan adalah catatan terpisah yang membawa jumlah tokennya sendiri.
Atribusi di balik gateway LLM
Ketika gateway atau proxy memanggil Amazon Bedrock atas nama banyak pengguna, Amazon Bedrock mencatat peran IAM gateway sebagai identitas penelepon. Untuk mempertahankan atribusi tingkat pengguna, pilih berdasarkan output yang Anda butuhkan.
-
Untuk dolar per pengguna di alat penagihan Anda, mintalah gateway mengambil peran Amazon Bedrock-nya per pengguna atau penyewa, menggunakan tag per pengguna
RoleSessionNameatau sesi. Cache kredenSIAL yang dihasilkan selama masa pakai sesi untuk menghindari AWS STS panggilan pada setiap permintaan. Untuk informasi selengkapnya, lihat Atribusi utama IAM. -
Untuk detail per prompt, atur pengguna dalam metadata permintaan pada setiap panggilan. Metadata permintaan bervariasi per permintaan tanpa AWS STS panggilan tambahan, yang tidak dapat dilakukan tag sesi pada sesi bersama.
