Mengelola jalur penyimpanan untuk berbagai jenis penyimpanan lokal instance

Jika Anda ingin menyimpan artefak pelatihan untuk pelatihan terdistribusi di /opt/ml/output/data direktori, Anda harus menambahkan subdirektori dengan benar atau menggunakan nama file unik untuk artefak melalui definisi model atau skrip pelatihan Anda. Jika subdirektori dan nama file tidak dikonfigurasi dengan benar, semua pekerja pelatihan terdistribusi mungkin menulis output ke nama file yang sama di jalur keluaran yang sama di Amazon S3.

Jika Anda menggunakan wadah pelatihan khusus, pastikan Anda menginstal SageMaker Training Toolkit yang membantu mengatur lingkungan untuk pekerjaan SageMaker pelatihan. Jika tidak, Anda harus menentukan variabel lingkungan secara eksplisit di Dockerfile Anda. Untuk informasi selengkapnya, lihat Membuat wadah dengan algoritme dan model Anda sendiri.

Saat menggunakan instans ML dengan volume NVMe SSD, SageMaker AI tidak menyediakan penyimpanan Amazon EBS gp2. Penyimpanan yang tersedia ditetapkan ke kapasitas penyimpanan instans NVMe -type. SageMaker AI mengonfigurasi jalur penyimpanan untuk melatih kumpulan data, pos pemeriksaan, artefak model, dan output untuk menggunakan seluruh kapasitas penyimpanan instans. Misalnya, keluarga instance MLdengan penyimpanan instans NVMe -type termasukml.p4d,ml.g4dn, danml.g5. Saat menggunakan instance HTML dengan opsi penyimpanan khusus EBS dan tanpa penyimpanan instance, Anda harus menentukan ukuran volume EBS melalui volume_size parameter di kelas estimator SageMaker AI (atau VolumeSizeInGB jika Anda menggunakan API). ResourceConfig Misalnya, keluarga instans ML yang menggunakan volume EBS menyertakan ml.c5 danml.p2. Untuk mencari jenis instans serta jenis penyimpanan instans serta volume, lihat Jenis EC2 Instance Amazon.

Jalur default untuk pekerjaan SageMaker pelatihan dipasang ke volume Amazon EBS atau volume NVMe SSD dari instans ML. Saat Anda menyesuaikan skrip pelatihan Anda dengan SageMaker AI, pastikan Anda menggunakan jalur default yang tercantum dalam topik sebelumnyaSageMaker Variabel lingkungan AI dan jalur default untuk lokasi penyimpanan pelatihan. Kami menyarankan Anda menggunakan /tmp direktori sebagai ruang awal untuk menyimpan sementara benda besar selama pelatihan. Ini berarti bahwa Anda tidak boleh menggunakan direktori yang dipasang ke ruang disk kecil yang dialokasikan untuk sistem, seperti /user dan/home, untuk menghindari out-of-space kesalahan.