Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Prasyarat untuk distilasi model
Sebelum Anda dapat memulai, pastikan Anda memahami akses dan kontrol keamanan untuk Model Distilation. Anda juga harus memilih model guru dan siswa untuk pekerjaan distilasi Anda.
Izin
Sebelum Anda dapat memulai, pastikan Anda memahami akses dan kontrol keamanan untuk Model Distilation. Anda harus memiliki peran layanan IAM yang dapat mengakses bucket Amazon S3 tempat Anda ingin menyimpan data pelatihan dan validasi Model Distilation. Amazon Bedrock juga memiliki opsi untuk mengenkripsi dan mengamankan lebih lanjut pekerjaan dan artefak distilasi Anda. Untuk informasi selengkapnya, lihat Akses dan keamanan kustomisasi model.
Untuk menggunakan profil inferensi lintas wilayah untuk model guru dalam pekerjaan Distilasi, peran layanan Anda harus memiliki izin untuk memanggil profil inferensi dalam Wilayah AWS, selain model di setiap Wilayah dalam profil inferensi. Untuk contoh kebijakan, lihat(Opsional) Izin untuk membuat pekerjaan Distilasi dengan profil inferensi lintas wilayah. Untuk informasi lebih lanjut tentang inferensi lintas wilayah, lihat. Rute permintaan inferensi model lintas Wilayah AWS dengan inferensi lintas wilayah
Pilih model guru dan siswa untuk distilasi
| Tipe Model | Kriteria Seleksi | Pertimbangan Utama | Persyaratan |
|---|---|---|---|
| Model Guru | Pilih model guru yang secara signifikan lebih besar dan lebih mampu daripada model siswa, dan yang akurasinya ingin Anda capai untuk kasus penggunaan Anda. | Untuk membuat distilasi lebih efektif, pilih model yang sudah dilatih pada tugas-tugas yang mirip dengan kasus penggunaan Anda. Untuk beberapa model guru, Anda dapat memilih profil Cross-Region inferensi. | Harus memiliki izin untuk memanggil profil inferensi dan model di setiap Wilayah. Lihat dokumentasi inferensi lintas wilayah untuk contoh kebijakan. |
| Model Siswa | Pilih model siswa yang ukurannya jauh lebih kecil daripada model guru. | Model siswa harus menjadi salah satu model siswa yang dipasangkan dengan model guru Anda di tabel model yang didukung. | Harus kompatibel dengan model guru yang dipilih seperti yang ditunjukkan pada tabel berikut. |
Bagian berikut mencantumkan model dan wilayah yang didukung untuk Amazon Bedrock Model Distilation. Setelah Anda memilih model guru dan siswa Anda, Anda menyiapkan dan mengoptimalkan kumpulan data pelatihan Anda untuk distilasi. Untuk informasi selengkapnya, lihat Siapkan kumpulan data pelatihan Anda untuk distilasi.
Model dan Wilayah yang didukung untuk Distilasi Model Badrock Amazon
Tabel berikut menunjukkan model dan Wilayah AWS Amazon Bedrock Model Distilation yang didukung untuk model guru dan siswa. Jika Anda menggunakan Profil Inferensi Lintas Wilayah, hanya Profil Inferensi Sistem yang didukung untuk distilasi model. Untuk informasi selengkapnya, lihat Rute permintaan inferensi model lintas Wilayah AWS dengan inferensi lintas wilayah.
penting
Distilasi saat ini tidak tersedia untuk model Anthropic di Amazon Bedrock. Tidak ada garis waktu yang dikonfirmasi kapan distilasi Antropik akan dipulihkan. Untuk kombinasi guru-siswa yang didukung saat ini, lihat tabel di bawah ini.
| Penyedia | Guru | ID Guru | Dukungan profil inferensi | Mahasiswa | ID Mahasiswa | Region |
|---|---|---|---|---|---|---|
| Amazon | Nova Pro | amazon.nova-pro-v 1:0 | Keduanya | Nova Lite Nova Mikro |
amazon.nova-lite-v 1:0:300k amazon.nova-mikro-v 1:0:128k |
AS Timur (Virginia Utara) |
| Nova Premier | amazon.nova-premier-v 1:0 | Hanya profil inferensi | Nova Lite Nova Mikro New Pro |
amazon.nova-lite-v 1:0:300k amazon.nova-mikro-v 1:0:128k amazon.nova-pro-v 1:0:300k |
AS Timur (Virginia Utara) | |
| Meta | Llama 3.1 405B | meta.llama3-1-405b-instruksi-v 1:0 | Sesuai permintaan | Lama 3.1 8B Lama 3.1 70B Lama 3.2 1B Lama 3.3 70B |
meta.llama3-1-8b-instruct-v 1:0:128k meta.llama3-1-70b-instruct-v 1:0:128k meta.llama3-2-1b-instruksi-v 1:0:128k meta.llama3-3-70b-instruct-v 1:0:128k |
AS Barat (Oregon) |
| Llama 3.1 70B | meta.llama3-1-70b-instruksi-v 1:0 | Keduanya | Lama 3.1 8B Lama 3.2 1B Lama 3.2 3B |
meta.llama3-1-8b-instruct-v 1:0:128k meta.llama3-2-1b-instruksi-v 1:0:128k meta.llama3-2-3b-instruct-v 1:0:128k |
AS Barat (Oregon) | |
| Llama 3.3 70B | meta.llama3-3-70b-instruksi-v 1:0 | Hanya profil inferensi | Lama 3.1 8B Lama 3.2 1B Lama 3.2 3B |
meta.llama3-1-8b-instruct-v 1:0:128k meta.llama3-2-1b-instruksi-v 1:0:128k meta.llama3-2-3b-instruct-v 1:0:128k |
AS Barat (Oregon) |
catatan
-
Untuk Llama model Claude dan, pekerjaan distilasi dijalankan di AS Barat (Oregon). Anda dapat membeli throughput yang disediakan di AS Barat (Oregon) atau meny alin model suling ke Wilayah lain dan kemudian membeli throughput yang disediakan.
