Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pos pemeriksaan di Amazon AI SageMaker
Gunakan pos pemeriksaan di Amazon SageMaker AI untuk menyimpan status model pembelajaran mesin (ML) selama pelatihan. Checkpoint adalah snapshot dari model dan dapat dikonfigurasi oleh fungsi callback kerangka kerja ML. Anda dapat menggunakan pos pemeriksaan yang disimpan untuk memulai kembali pekerjaan pelatihan dari pos pemeriksaan terakhir yang disimpan.
Menggunakan pos pemeriksaan, Anda dapat melakukan hal berikut:
-
Simpan snapshot model Anda dalam pelatihan karena gangguan tak terduga pada pekerjaan atau instance pelatihan.
-
Lanjutkan melatih model di masa depan dari pos pemeriksaan.
-
Analisis model pada tahap menengah pelatihan.
-
Gunakan pos pemeriksaan dengan S3 Express One Zone untuk meningkatkan kecepatan akses.
-
Gunakan pos pemeriksaan dengan pelatihan spot yang dikelola SageMaker AI untuk menghemat biaya pelatihan.
Mekanisme SageMaker pelatihan menggunakan wadah pelatihan pada instans Amazon EC2, dan file pos pemeriksaan disimpan di bawah direktori lokal kontainer (defaultnya adalah/opt/ml/checkpoints). SageMaker AI menyediakan fungsionalitas untuk menyalin pos pemeriksaan dari jalur lokal ke Amazon S3 dan secara otomatis menyinkronkan pos pemeriksaan di direktori tersebut dengan S3. Pos pemeriksaan yang ada di S3 ditulis ke wadah SageMaker AI pada awal pekerjaan, memungkinkan pekerjaan dilanjutkan dari pos pemeriksaan. Pos pemeriksaan yang ditambahkan ke folder S3 setelah pekerjaan dimulai tidak disalin ke wadah pelatihan. SageMaker AI juga menulis pos pemeriksaan baru dari wadah ke S3 selama pelatihan. Jika pos pemeriksaan dihapus di wadah SageMaker AI, itu juga akan dihapus di folder S3.
Anda dapat menggunakan pos pemeriksaan di Amazon SageMaker AI dengan kelas penyimpanan Amazon S3 Express One Zone (S3 Express One Zone) untuk akses lebih cepat ke pos pemeriksaan. Saat Anda mengaktifkan checkpointing dan menentukan URI S3 untuk tujuan penyimpanan pos pemeriksaan Anda, Anda dapat menyediakan URI S3 untuk folder di bucket tujuan umum S3 atau bucket direktori S3. Bucket direktori S3 yang terintegrasi dengan SageMaker AI hanya dapat dienkripsi dengan enkripsi sisi server dengan kunci terkelola Amazon S3 ()SSE-S3. Server-side enkripsi dengan AWS KMS kunci (SSE-KMS) saat ini tidak didukung. Untuk informasi selengkapnya tentang bucket direktori S3 Express One Zone dan S3, lihat Apa itu S3 Express One Zone.
Jika Anda menggunakan pos pemeriksaan dengan pelatihan spot terkelola SageMaker SageMaker AI, AI mengelola pemeriksaan pelatihan model Anda pada instance spot dan melanjutkan pekerjaan pelatihan di instance spot berikutnya. Dengan pelatihan spot yang dikelola SageMaker AI, Anda dapat secara signifikan mengurangi waktu yang dapat ditagih untuk melatih model ML. Untuk informasi selengkapnya, lihat Pelatihan Spot Terkelola di Amazon SageMaker AI.
Topik
Pos pemeriksaan untuk kerangka kerja dan algoritma di AI SageMaker
Gunakan pos pemeriksaan untuk menyimpan snapshot model ML yang dibangun di atas kerangka kerja pilihan Anda dalam SageMaker AI.
SageMaker Kerangka kerja dan algoritma AI yang mendukung checkpointing
SageMaker AI mendukung checkpointing untuk AWS Deep Learning Containers dan subset algoritma bawaan tanpa memerlukan perubahan skrip pelatihan. SageMaker AI menyimpan pos pemeriksaan ke jalur lokal default '/opt/ml/checkpoints' dan menyalinnya ke Amazon S3.
-
Kontainer Pembelajaran Mendalam: TensorFlow
PyTorch ,, MXnet , dan HuggingFace catatan
Jika Anda menggunakan estimator HuggingFace kerangka kerja, Anda perlu menentukan jalur keluaran pos pemeriksaan melalui hyperparameter. Untuk informasi selengkapnya, lihat Men jalankan pelatihan di Amazon SageMaker AI
di HuggingFace dokumentasi. -
Built-in algoritma: Klasifikasi Gambar, Det eksi Objek, Segmentasi Semantik, dan XGBoost (0,90-1 atau lebih baru)
catatan
Jika Anda menggunakan algoritma XGBoost dalam mode kerangka kerja (mode skrip), Anda perlu membawa skrip pelatihan XGBoost dengan checkpointing yang dikonfigurasi secara manual. Untuk informasi selengkapnya tentang metode pelatihan XGBoost untuk menyimpan snapshot model, lihat Pel atihan XGBoost
di dokumentasi XGBoost Python SDK.
Jika algoritma pra-bangun yang tidak mendukung checkpointing digunakan dalam pekerjaan pelatihan spot terkelola, SageMaker AI tidak mengizinkan waktu tunggu maksimum lebih dari satu jam untuk pekerjaan tersebut untuk membatasi waktu pelatihan yang terbuang dari interupsi.
Untuk wadah pelatihan khusus dan kerangka kerja lainnya
Jika Anda menggunakan wadah pelatihan, skrip pelatihan, atau kerangka kerja lain yang tidak tercantum di bagian sebelumnya, Anda harus mengatur skrip pelatihan dengan benar menggunakan callback atau API pelatihan untuk menyimpan pos pemeriksaan ke jalur lokal ('/opt/ml/checkpoints') dan memuat dari jalur lokal di skrip pelatihan Anda. SageMaker Penaksir AI dapat menyinkronkan dengan jalur lokal dan menyimpan pos pemeriksaan ke Amazon S3.
Pertimbangan untuk checkpointing
Pertimbangkan hal berikut saat menggunakan pos pemeriksaan di SageMaker AI.
-
Untuk menghindari penulisan ulang dalam pelatihan terdistribusi dengan beberapa instans, Anda harus mengonfigurasi nama file pos pemeriksaan dan jalur secara manual di skrip pelatihan Anda. Konfigurasi pos pemeriksaan SageMaker AI tingkat tinggi menentukan satu lokasi Amazon S3 tanpa akhiran atau awalan tambahan untuk menandai pos pemeriksaan dari beberapa instans.
-
SageMaker Python SDK tidak mendukung konfigurasi tingkat tinggi untuk frekuensi checkpointing. Untuk mengontrol frekuensi checkpointing, ubah skrip pelatihan Anda menggunakan fungsi penyimpanan model kerangka kerja atau panggilan balik pos pemeriksaan.
-
Jika Anda menggunakan pos pemeriksaan SageMaker AI dengan SageMaker Debugger dan SageMaker AI terdistribusi dan menghadapi masalah, lihat halaman berikut untuk pemecahan masalah dan pertimbangan.
