Mengelola jalur penyimpanan untuk berbagai jenis penyimpanan lokal instans

Jika Anda ingin menyimpan artefak pelatihan untuk pelatihan terdistribusi di /opt/ml/output/data direktori, Anda harus menambahkan subdirektori dengan benar atau menggunakan nama file unik untuk artefak melalui definisi model atau skrip pelatihan Anda. Jika subdirektori dan nama file tidak dikonfigurasi dengan benar, semua pekerja pelatihan terdistribusi mungkin menulis output ke nama file yang sama di jalur keluaran yang sama di Amazon S3.

Jika Anda menggunakan wadah pelatihan khusus, pastikan Anda menginstal Tra SageMaker ining Toolkit yang membantu mengatur lingkungan untuk pekerjaan SageMaker pelatihan. Jika tidak, Anda harus menentukan variabel lingkungan secara eksplisit di Dockerfile Anda. Untuk informasi selengkapnya, lihat Membuat wadah dengan algoritma dan model Anda sendiri.

Saat menggunakan instance ML dengan volume SSD NVMe, SageMaker AI tidak menyediakan penyimpanan Amazon EBS gp2. Penyimpanan yang tersedia ditetapkan untuk kapasitas penyimpanan NVMe-type instans. SageMaker AI mengonfigurasi jalur penyimpanan untuk kumpulan data pelatihan, pos pemeriksaan, artefak model, dan output untuk menggunakan seluruh kapasitas penyimpanan instans. Misalnya, keluarga instans ML dengan penyimpanan NVMe-type instans termasukml.p4d,ml.g4dn, danml.g5. Saat menggunakan instance ML dengan opsi EBS-only penyimpanan dan tanpa penyimpanan instans, Anda harus menentukan ukuran volume EBS melalui volume_size parameter di ModelTrainer kelas SageMaker AI (atau VolumeSizeInGB jika Anda menggunakan ResourceConfig API). Misalnya, keluarga instans ML yang menggunakan volume EBS termasuk ml.c5 danml.p2. Untuk mencari jenis instans serta jenis dan volume penyimpanan instansnya, lihat Jenis Instans Amazon EC2.

Jalur default untuk pekerjaan SageMaker pelatihan dipasang ke volume Amazon EBS atau volume NVMe SSD instans ML. Saat Anda menyesuaikan skrip pelatihan Anda ke SageMaker AI, pastikan Anda menggunakan jalur default yang tercantum dalam topik sebelumnya tentangSageMaker Variabel lingkungan AI dan jalur default untuk lokasi penyimpanan pelatihan. Kami menyarankan Anda menggunakan /tmp direktori sebagai ruang gores untuk menyimpan sementara objek besar selama pelatihan. Ini berarti bahwa Anda tidak boleh menggunakan direktori yang dipasang ke ruang disk kecil yang dialokasikan untuk sistem, seperti /user dan/home, untuk menghindari kesalahan di luar ruang.