Prasyarat untuk Distilasi Model Batuan Dasar Amazon

Tentukan model guru

Pilih model guru yang secara signifikan lebih besar dan lebih mampu daripada model siswa, dan yang akurasinya ingin Anda capai untuk kasus penggunaan Anda. Untuk membuat pekerjaan distilasi lebih efektif, pilih model yang sudah dilatih pada tugas yang mirip dengan kasus penggunaan Anda. Untuk informasi tentang model guru yang didukung oleh Amazon Bedrock, lihatModel dan Wilayah yang didukung untuk Distilasi Model Batuan Dasar Amazon.

Tentukan model siswa

Pilih model siswa yang ukurannya jauh lebih kecil. Untuk informasi tentang model siswa yang didukung Amazon Bedrock, lihatModel dan Wilayah yang didukung untuk Distilasi Model Batuan Dasar Amazon.

Siapkan dataset masukan Anda

Untuk menyiapkan kumpulan data masukan untuk model kustom Anda, Anda membuat .jsonl file, yang setiap barisnya adalah objek JSON yang sesuai dengan catatan. File yang Anda buat harus sesuai dengan format untuk metode kustomisasi dan model yang Anda pilih dan catatan di dalamnya harus sesuai dengan persyaratan ukuran.

Berikan data input sebagai petunjuk. Amazon Bedrock menggunakan data input untuk menghasilkan respons dari model guru dan menggunakan respons yang dihasilkan untuk menyempurnakan model siswa. Untuk informasi selengkapnya tentang input yang digunakan Amazon Bedrock, dan untuk memilih opsi yang paling sesuai untuk kasus penggunaan Anda, lihat. Cara kerja Distilasi Model Batuan Dasar Amazon

Pilih opsi yang paling sesuai untuk kasus penggunaan Anda untuk petunjuk tentang menyiapkan kumpulan data input Anda:

Opsi 1: Berikan petunjuk Anda sendiri

Kumpulkan prompt Anda dan simpan dalam format JSON Line (JSONL). Setiap catatan di JSONL harus menggunakan struktur berikut.

Untuk rilis pratinjau Anthropic and Meta Llama model hanya mendukung permintaan percakapan satu putaran, artinya Anda hanya dapat memiliki satu prompt pengguna. Bagian Amazon Nova model mendukung percakapan multi-putaran, memungkinkan Anda untuk menyediakan beberapa pertukaran pengguna dan asisten dalam satu catatan.

Contoh format

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [
        {
            "text": "A chat between a curious User and an artificial intelligence Bot. The Bot gives helpful, detailed, and polite answers to the User's questions."
        }
    ],    
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "why is the sky blue"
                }
            ]
        },
        {
            "role": "assistant"
            "content": [
               {
                   "text": "The sky is blue because molecules in the air scatter blue light from the Sun more than other colors."
               }
            ]
        }
    ]
}

Opsi 2: Gunakan log pemanggilan

Untuk menggunakan log pemanggilan untuk distilasi model, setel log pemanggilan model, gunakan salah satu operasi pemanggilan model, dan pastikan Anda telah menyiapkan bucket Amazon S3 sebagai tujuan log. Sebelum Anda dapat memulai pekerjaan distilasi model, Anda harus memberikan izin Amazon Bedrock untuk mengakses log. Untuk informasi selengkapnya tentang menyiapkan log pemanggilan, lihat Memantau pemanggilan model menggunakan Amazon Logs. CloudWatch

Dengan opsi ini, Anda dapat menentukan apakah Anda ingin Amazon Bedrock hanya menggunakan petunjuknya, atau menggunakan pasangan prompt respons dari log pemanggilan. Jika Anda ingin Amazon Bedrock hanya menggunakan prompt, maka Amazon Bedrock dapat menambahkan teknik sintesis data eksklusif untuk menghasilkan respons yang beragam dan berkualitas lebih tinggi dari model guru. Jika Anda ingin Amazon Bedrock menggunakan pasangan prompt respons, Amazon Bedrock tidak akan menghasilkan kembali respons dari model guru. Amazon Bedrock akan langsung menggunakan tanggapan dari log pemanggilan untuk menyempurnakan model siswa.

Anda dapat menambahkan metadata permintaan secara opsional ke pasangan prompt respons dalam log pemanggilan menggunakan salah satu operasi pemanggilan model dan kemudian menggunakannya untuk memfilter log. Amazon Bedrock dapat menggunakan log yang difilter untuk menyempurnakan model siswa.

Untuk memfilter log menggunakan beberapa metadata permintaan, gunakan satu operasi Boolean operator AND, OR, atau NOT. Anda tidak dapat menggabungkan operasi. Untuk pemfilteran metadata permintaan tunggal, gunakan operator Boolean NOT.

Jika Anda belum memiliki peran layanan IAM dengan izin yang tepat, buat peran layanan kustom AWS Identity and Access Management (IAM) baru dengan izin yang tepat dengan mengikuti petunjuk di Buat peran layanan untuk kustomisasi model untuk menyiapkan peran. Anda dapat melewati prasyarat ini jika Anda berencana untuk menggunakan AWS Management Console untuk secara otomatis membuat peran layanan untuk Anda.

(Opsional) Siapkan konfigurasi keamanan ekstra.