Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Adaptor SageMaker HyperPod resep dibangun di atas kerangka kerja Nvidia Nemo dan Pytorch-Lightning. Jika Anda sudah menggunakan kerangka kerja ini, mengintegrasikan model atau fitur khusus Anda ke dalam adaptor SageMaker HyperPod resep adalah proses yang serupa. Selain memodifikasi adaptor resep, Anda dapat mengubah skrip pra-pelatihan atau fine-tuning Anda sendiri. Untuk panduan menulis skrip pelatihan khusus Anda, lihat contoh
Gunakan SageMaker HyperPod adaptor untuk membuat model Anda sendiri
Di dalam adaptor resep, Anda dapat menyesuaikan file berikut di lokasi berikut:
-
collections/data: Berisi modul yang bertanggung jawab untuk memuat kumpulan data. Saat ini, hanya mendukung kumpulan data dari. HuggingFace Jika Anda memiliki persyaratan yang lebih maju, struktur kode memungkinkan Anda untuk menambahkan modul data khusus dalam folder yang sama. -
collections/model: Termasuk definisi berbagai model bahasa. Saat ini, ia mendukung model bahasa besar umum seperti Llama, Mixtral, dan Mistral. Anda memiliki fleksibilitas untuk memperkenalkan definisi model Anda sendiri dalam folder ini. -
collections/parts: Folder ini berisi strategi untuk model pelatihan secara terdistribusi. Salah satu contohnya adalah strategi Fully Sharded Data Parallel (FSDP), yang memungkinkan untuk sharding model bahasa besar di beberapa akselerator. Selain itu, strategi mendukung berbagai bentuk paralelisme model. Anda juga memiliki opsi untuk memperkenalkan strategi pelatihan khusus Anda sendiri untuk pelatihan model. -
utils: Berisi berbagai utilitas yang bertujuan memfasilitasi pengelolaan pekerjaan pelatihan. Ini berfungsi sebagai repositori di mana untuk alat Anda sendiri. Anda dapat menggunakan alat Anda sendiri untuk tugas-tugas seperti pemecahan masalah atau benchmarking. Anda juga dapat menambahkan callback PyTorch Lightning pribadi Anda sendiri dalam folder ini. Anda dapat menggunakan callback PyTorch Lightning untuk mengintegrasikan fungsionalitas atau operasi tertentu secara mulus ke dalam siklus hidup pelatihan. -
conf: Berisi definisi skema konfigurasi yang digunakan untuk memvalidasi parameter tertentu dalam pekerjaan pelatihan. Jika Anda memperkenalkan parameter atau konfigurasi baru, Anda dapat menambahkan skema khusus Anda ke folder ini. Anda dapat menggunakan skema yang disesuaikan untuk menentukan aturan validasi. Anda dapat memvalidasi tipe data, rentang, atau batasan parameter lainnya. Anda juga dapat menentukan skema kustom Anda sendiri untuk memvalidasi parameter.
