Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Latih Model dengan Amazon SageMaker
Amazon SageMaker Training adalah layanan pembelajaran mesin (ML) terkelola penuh SageMaker yang ditawarkan oleh yang membantu Anda melatih berbagai model ML secara efisien dalam skala besar. Inti dari SageMaker pekerjaan adalah kontainerisasi beban kerja ML dan kemampuan mengelola AWS sumber daya komputasi. Platform SageMaker Pelatihan menangani pengangkatan berat yang terkait dengan pengaturan dan pengelolaan infrastruktur untuk beban kerja pelatihan ML. Dengan SageMaker Pelatihan, Anda dapat fokus pada pengembangan, pelatihan, dan penyempurnaan model Anda. Halaman ini memperkenalkan tiga cara yang disarankan untuk memulai pelatihan model SageMaker, diikuti dengan opsi tambahan yang dapat Anda pertimbangkan.
Tip
Untuk informasi tentang model dasar pelatihan untuk Generative AI, lihat Menggunakan model SageMaker JumpStart foundation di Amazon SageMaker Studio.
Memilih fitur dalam Amazon SageMaker Training
Ada tiga kasus penggunaan utama untuk melatih model ML di dalamnya SageMaker. Bagian ini menjelaskan kasus penggunaan tersebut, serta SageMaker fitur yang kami rekomendasikan untuk setiap kasus penggunaan.
Baik Anda melatih model pembelajaran mendalam yang kompleks atau menerapkan algoritme pembelajaran mesin yang lebih kecil, SageMaker Pelatihan memberikan solusi yang efisien dan hemat biaya yang memenuhi persyaratan kasus penggunaan Anda.
Kasus penggunaan
Berikut ini adalah kasus penggunaan utama untuk melatih model ML di dalamnya SageMaker.
-
Kasus penggunaan 1: Kembangkan model pembelajaran mesin di lingkungan kode rendah atau tanpa kode.
-
Kasus penggunaan 2: Gunakan kode untuk mengembangkan model pembelajaran mesin dengan lebih banyak fleksibilitas dan kontrol.
-
Kasus penggunaan 3: Kembangkan model pembelajaran mesin dalam skala besar dengan fleksibilitas dan kontrol maksimum.
Fitur yang direkomendasikan
Tabel berikut menjelaskan tiga skenario umum model pelatihan pelatihan dan opsi yang sesuai untuk memulai SageMaker Pelatihan.
| Kasus penggunaan 1 | Kasus penggunaan 2 | Kasus penggunaan 3 | |
|---|---|---|---|
| SageMaker fitur | Buat model menggunakan Amazon SageMaker Canvas. | Latih model menggunakan salah satu algoritma HTML SageMaker bawaan seperti XGBoost atau Task-Specific Models dengan SageMaker JumpStart Python SDK. SageMaker | Latih model dalam skala besar dengan fleksibilitas maksimum dengan memanfaatkan mode skrip |
| Deskripsi | Bawa data Anda. SageMaker membantu mengelola model ML bangunan dan menyiapkan infrastruktur dan sumber daya pelatihan. |
Bawa data Anda dan pilih salah satu algoritme HTML bawaan yang disediakan oleh SageMaker. Siapkan model hyperparameters, metrik keluaran, dan pengaturan infrastruktur dasar menggunakan Python SageMaker SDK. Platform SageMaker Pelatihan membantu penyediaan infrastruktur dan sumber daya pelatihan. |
Kembangkan kode ML Anda sendiri dan bawa sebagai skrip atau satu set skrip. SageMaker Untuk mempelajari lebih lanjut, lihat Komputasi terdistribusi dengan praktik SageMaker terbaik. Selain itu, Anda dapat membawa wadah Docker Anda sendiri. Platform SageMaker Pelatihan membantu menyediakan infrastruktur pelatihan dan sumber daya dalam skala besar berdasarkan pengaturan khusus Anda. |
| Dioptimalkan untuk |
Pengembangan model rendah/tanpa kode dan berbasis UI dengan eksperimen cepat dengan kumpulan data pelatihan. Saat Anda membuat model kustom, algoritme dipilih secara otomatis berdasarkan data Anda. Untuk opsi penyesuaian lanjutan seperti pemilihan algoritme, lihat konfigurasi pembuatan model lanjutan. |
Melatih model ML dengan kustomisasi tingkat tinggi untuk hiperparameter, pengaturan infrastruktur, dan kemampuan untuk menggunakan kerangka kerja dan skrip entrypoint secara langsung untuk fleksibilitas yang lebih besar. Gunakan algoritme bawaan, model yang telah dilatih sebelumnya, dan JumpStart model melalui Amazon SageMaker Python SDK |
Melatih beban kerja dalam skala besar, membutuhkan beberapa contoh dan fleksibilitas maksimum. Lihat komputasi terdistribusi dengan praktik SageMaker terbaik. SageMaker menggunakan gambar Docker untuk menyelenggarakan pelatihan dan penyajian semua model. Anda dapat menggunakan algoritme apa pun SageMaker atau eksternal dan menggunakan kontainer Docker untuk membuat model. |
| Pertimbangan |
Fleksibilitas minimal untuk menyesuaikan model yang disediakan oleh Amazon SageMaker Canvas. |
SageMaker Python SDK menyediakan antarmuka yang disederhanakan dan opsi konfigurasi yang lebih sedikit dibandingkan dengan API Pelatihan tingkat rendah SageMaker . |
Membutuhkan pengetahuan tentang AWS infrastruktur dan opsi pelatihan terdistribusi. Lihat juga Membuat wadah pelatihan Anda sendiri menggunakan toolkit SageMaker Pelatihan. |
| Lingkungan yang direkomendasikan | Gunakan Amazon SageMaker Canvas. Untuk mempelajari cara mengaturnya, lihat Memulai menggunakan SageMaker Canvas. | Gunakan SageMaker JupyterLabdalam Amazon SageMaker Studio. Untuk mempelajari cara mengaturnya, lihat Meluncurkan Amazon SageMaker Studio. | Gunakan SageMaker JupyterLabdalam Amazon SageMaker Studio. Untuk mempelajari cara mengaturnya, lihat Meluncurkan Amazon SageMaker Studio. |
Opsi tambahan
SageMaker menawarkan opsi tambahan berikut untuk melatih model ML.
SageMaker fitur yang menawarkan kemampuan pelatihan
-
SageMaker JumpStart: SageMaker JumpStart menyediakan akses ke hub model SageMaker publik yang berisi model pondasi (MM) terbaru yang tersedia untuk umum dan eksklusif. Anda dapat menyempurnakan, mengevaluasi, dan menerapkan model ini di Amazon Studio. SageMaker SageMaker JumpStart merampingkan proses memanfaatkan model fondasi untuk kasus penggunaan AI generatif Anda dan memungkinkan Anda membuat hub model pribadi untuk menggunakan model pondasi sambil menegakkan pagar pembatas tata kelola dan memastikan bahwa organisasi Anda hanya dapat mengakses model yang disetujui. Untuk memulai SageMaker JumpStart, lihat SageMaker JumpStart Foundation Models.
-
SageMaker HyperPod: SageMaker HyperPod adalah layanan cluster persisten untuk kasus penggunaan yang membutuhkan klaster tangguh untuk beban kerja pembelajaran mesin (ML) besar-besaran dan mengembangkan model state-of-the-art fondasi (MM). Ini mempercepat pengembangan model tersebut dengan menghilangkan angkat berat yang tidak berdiferensiasi yang terlibat dalam membangun dan memelihara cluster komputasi skala besar yang ditenagai oleh ribuan akselerator seperti AWS Trainium atau NVIDIA A100 dan H100 Graphical Processing Unit (GPU). Anda dapat menggunakan perangkat lunak manajer beban kerja seperti Slurm on. HyperPod
Lebih banyak fitur SageMaker Pelatihan
-
Hyperparameter Tuning: SageMaker Fitur ini membantu menentukan satu set hyperparameter untuk model dan meluncurkan banyak pekerjaan pelatihan pada dataset. Bergantung pada nilai hiperparameter, kinerja pelatihan model mungkin bervariasi. Fitur ini menyediakan rangkaian hiperparameter berkinerja terbaik dalam rentang hiperparameter tertentu yang Anda atur untuk dicari.
-
Pelatihan terdistribusi: Pra-kereta atau fine-tune FM yang dibangun dengan PyTorch, NVIDIA CUDA, dan kerangka kerja berbasis lainnya. PyTorch Untuk memanfaatkan instans GPU secara efisien, gunakan perpustakaan pelatihan SageMaker terdistribusi yang menawarkan operasi komunikasi kolektif dan berbagai teknik paralelisme model seperti paralelisme ahli dan paralelisme data bersama yang dioptimalkan untuk infrastruktur. AWS
-
Fitur observabilitas: Gunakan fungsionalitas pembuatan profil dan debugging SageMaker Pelatihan untuk mendapatkan wawasan tentang beban kerja pelatihan model, kinerja model, dan pemanfaatan sumber daya. Untuk mempelajari lebih lanjut, lihat Mendebug dan meningkatkan kinerja model dan Profil serta mengoptimalkan kinerja komputasi.
-
Opsi instans hemat biaya dan efisien: Untuk mengoptimalkan biaya komputasi dan efisiensi untuk penyediaan instans pelatihan, gunakan Heterogenous Cluster, instans Spot Terkelola, atau Managed Warm Pools.
