Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Cara Amazon SageMaker AI Memberikan Informasi Pelatihan

Bagian ini menjelaskan bagaimana SageMaker AI membuat informasi pelatihan, seperti data pelatihan, hyperparameter, dan informasi konfigurasi lainnya, tersedia untuk wadah Docker Anda.

Saat mengirim CreateTrainingJob permintaan ke SageMaker AI untuk memulai pelatihan model, Anda menentukan jalur Amazon Elastic Container Registry (Amazon ECR) dari gambar Docker yang berisi algoritma pelatihan. Anda juga menentukan lokasi Amazon Simple Storage Service (Amazon S3) tempat data pelatihan disimpan dan parameter spesifik algoritme. SageMaker AI membuat informasi ini tersedia untuk wadah Docker sehingga algoritma pelatihan Anda dapat menggunakannya. Bagian ini menjelaskan bagaimana kami membuat informasi ini tersedia untuk wadah Docker Anda. Untuk informasi tentang membuat pekerjaan pelatihan, lihatCreateTrainingJob. Untuk informasi selengkapnya tentang cara wadah SageMaker AI mengatur informasi, lihatSageMaker Toolkit Pelatihan dan Inferensi.

Hyperparameter

SageMaker AI membuat hyperparameter dalam CreateTrainingJob permintaan tersedia di wadah Docker dalam file. /opt/ml/input/config/hyperparameters.json

Berikut ini adalah contoh konfigurasi hyperparameter hyperparameters.json untuk menentukan num_round dan eta hyperparameter dalam CreateTrainingJob operasi untuk XGBoost.

{
    "num_round": "128",
    "eta": "0.001"
}            

Untuk daftar lengkap hyperparameter yang dapat digunakan untuk algoritma XGBoost bawaan SageMaker AI, lihat Hyperparameter XGBoost.

Hyperparameter yang dapat Anda setel bergantung pada algoritma yang Anda latih. Untuk daftar hyperparameter yang tersedia untuk algoritma bawaan SageMaker AI, temukan mereka tercantum di Hyperparameter di bawah tautan algoritma di Gunakan Algoritma atau SageMaker Pre-trained Model AI Built-in Amazon.

Variabel lingkungan

SageMaker AI menetapkan variabel lingkungan berikut dalam wadah Anda:

Konfigurasi Data Masukan

SageMaker AI membuat informasi saluran data dalam InputDataConfig parameter dari CreateTrainingJob permintaan Anda tersedia dalam /opt/ml/input/config/inputdataconfig.json file di wadah Docker Anda.

Misalnya, Anda menentukan tiga saluran data (train,evaluation, danvalidation) dalam permintaan Anda. SageMaker AI menyediakan JSON berikut:

{
  "train" : {"ContentType":  "trainingContentType",
             "TrainingInputMode": "File",
             "S3DistributionType": "FullyReplicated",
             "RecordWrapperType": "None"},
  "evaluation" : {"ContentType":  "evalContentType",
                  "TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"},
  "validation" : {"TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"}
} 

Data Pelatihan

TrainingInputModeParameter dalam AlgorithmSpecification CreateTrainingJob permintaan menentukan bagaimana dataset pelatihan tersedia untuk wadah Anda. Mode input berikut tersedia.

SageMaker Pelatihan model AI mendukung bucket direktori S3 Express One Zone berkinerja tinggi sebagai lokasi input data untuk mode file, mode file cepat, dan mode pipa. Untuk menggunakan S3 Express One Zone, masukkan lokasi bucket direktori S3 Express One Zone alih-alih bucket tujuan umum Amazon S3. Berikan ARN untuk peran IAM dengan kebijakan kontrol akses dan izin yang diperlukan. Lihat AmazonSageMakerFullAccesspolicy untuk detailnya. Anda hanya dapat mengenkripsi data keluaran SageMaker AI Anda dalam bucket direktori dengan enkripsi sisi server dengan kunci terkelola Amazon S3 ()SSE-S3. Server-side enkripsi dengan AWS KMS kunci (SSE-KMS) saat ini tidak didukung untuk menyimpan data keluaran SageMaker AI dalam bucket direktori. Untuk informasi selengkapnya, lihat S3 Express One Zone.

Konfigurasi Pelatihan Terdistribusi

Jika Anda melakukan pelatihan terdistribusi dengan beberapa wadah, SageMaker AI membuat informasi tentang semua wadah tersedia dalam /opt/ml/input/config/resourceconfig.json file.

Untuk mengaktifkan komunikasi antar kontainer, file JSON ini berisi informasi untuk semua kontainer. SageMaker AI membuat file ini tersedia untuk kedua algoritma File dan Pipe mode. File menyediakan informasi berikut:

Berikut ini adalah contoh file pada node 1 dalam cluster tiga simpul:

{
    "current_host": "algo-1",
    "hosts": ["algo-1","algo-2","algo-3"],
    "network_interface_name":"eth1"
}