Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pencatatan pemanggilan model mengumpulkan log pemanggilan, data input model (prompt), dan data keluaran model (respons) untuk semua pemanggilan yang digunakan di Amazon Bedrock. Jika Anda telah mengaktifkan logging, Anda dapat mengumpulkan log setiap kali Anda berinteraksi dengan model dasar Amazon Bedrock melalui operasi Converse API Invoke atau apa pun. Jika Anda ingin Amazon Bedrock menggunakan prompt dan tanggapan terkait dari log pemanggilan untuk menyempurnakan model siswa, maka Anda harus memberi Amazon Bedrock akses ke log ini. Menggunakan respons yang telah dihasilkan model membuatnya lebih cepat untuk menyempurnakan model siswa. Menggunakan tanggapan dari log pemanggilan juga membuat distilasi model lebih hemat biaya, namun, teknik sintesis data milik Amazon Bedrock tidak ditambahkan yang dapat menghasilkan model suling yang lebih berkinerja.
Dengan log pemanggilan, Anda dapat mengidentifikasi pasangan prompt respons yang ingin digunakan Amazon Bedrock untuk distilasi model. Pasangan respon cepat ini bisa untuk kasus penggunaan tertentu. Agar dapat mengidentifikasi pasangan respons prompt yang akan digunakan untuk distilasi, Anda harus menambahkan string metadata permintaan ke pasangan respons prompt saat Anda memanggil model atau menggunakan operasi API. Converse Metadata permintaan disediakan dalam format:. " priority" :
"High"
Saat Anda terus berinteraksi dengan model menggunakan operasi Invoke atau Converse API, interaksi dan metadata permintaan dicatat di log pemanggilan. Berikut ini adalah contoh log pemanggilan dari InvokeModel panggilan yang menunjukkan metadata permintaan:
{
"schemaType": "ModelInvocationLog",
"schemaVersion": "1.0",
"timestamp": "2024-09-11T17:16:18Z",
"accountId": "XXXXX",
"identity": {
"arn": "arn:aws:sts::XXXXXXX:assumed-role/Admin/XXXXXX"
},
"region": "us-east-1",
"requestId": "7ee514f3-9eff-467c-af75-8fd564ce58e5",
"operation": "InvokeModel",
"modelId": "meta.llama3-1-405b-instruct-v1:0",
"input": {
"inputContentType": "application/json",
"inputBodyJson": {
"prompt": "story of two dogs",
"max_tokens_to_sample": 300
},
"inputTokenCount": 13
},
"output": {
"outputContentType": "application/json",
"outputBodyJson": {
"type": "completion",
"completion": " Here is a story about two dogs:\n\nRex and Charlie were best friends who lived next door to each other. Every morning, their owners would let them out into the backyard to play. Rex was a golden retriever with long, shaggy fur. He loved to run and chase sticks. Charlie was a corgi with short legs and a big smile. He was happy just sniffing the grass and rolling around. \n\nThe two dogs spent every day playing together. Rex would grab a stick and bring it over to Charlie, wagging his tail excitedly. Charlie would take the other end of the stick in his mouth and they'd have a friendly game of tug-of-war. After tiring themselves out, they'd flop down in the warm sunshine for a nap. \n\nAt lunchtime, their owners would call them in for food. Rex would gobble up his kibble hungrily while Charlie ate his at a more leisurely pace. After lunch, it was right back outside for more playtime. The afternoon sunbeams would light up their fur as they chased each other around the yard. \n\nWhen it started getting late, their owners called them in for the night. Rex and Charlie would head inside, tired but happy after another fun day of play. After slurping up fresh water from their bowls, they'd curl up on their beds, Rex's fluffy golden tail tucked over his nose and little",
"stop_reason": "max_tokens",
"stop": null
},
"outputTokenCount": 300
},
"requestMetadata": {
"project": "CustomerService",
"intent": "ComplaintResolution",
"priority": "High"
}
}
Anda dapat menentukan log pemanggilan sebagai sumber data masukan saat memulai pekerjaan distilasi model. Anda dapat memulai pekerjaan distilasi model di konsol Amazon Bedrock, menggunakan API AWS CLI, atau AWS SDK.
Persyaratan untuk menyediakan metadata permintaan
Metadata permintaan harus memenuhi persyaratan berikut:
-
Disediakan dalam
key:valueformat JSON. -
Pasangan kunci dan nilai harus berupa string maksimum 256 karakter.
-
Berikan maksimal 16 pasangan kunci-nilai.
Menggunakan filter metadata permintaan
Anda dapat menerapkan filter ke metadata permintaan untuk secara selektif memilih pasangan permintaan-respons mana yang akan disertakan dalam distilasi untuk menyempurnakan model siswa. Misalnya, Anda mungkin hanya ingin menyertakan metadata permintaan “project”: CustomerService "" dan “priority”: “High”.
Untuk memfilter log menggunakan beberapa metadata permintaan, gunakan satu operator Boolean AND, OR, atau NOT. Anda tidak dapat menggabungkan operasi. Untuk pemfilteran metadata permintaan tunggal, gunakan operator Boolean TIDAK.
Anda dapat menentukan log pemanggilan sebagai sumber data input Anda dan filter apa yang akan digunakan untuk memilih pasangan prompt respons saat Anda memulai pekerjaan distilasi model. Anda dapat memulai pekerjaan distilasi model di konsol Amazon Bedrock, menggunakan API AWS CLI, atau AWS SDK. Untuk informasi selengkapnya, lihat Kirim pekerjaan distilasi model di Amazon Bedrock.
