Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Bagaimana Amazon SageMaker Menyediakan Informasi Pelatihan

Bagian ini menjelaskan cara SageMaker membuat informasi pelatihan, seperti data pelatihan, hiperparameter, dan informasi konfigurasi lainnya, tersedia untuk wadah Docker Anda.

Saat Anda mengirim CreateTrainingJobpermintaan SageMaker untuk memulai pelatihan model, Anda menentukan jalur Amazon Elastic Container Registry (AmazonECR) dari image Docker yang berisi algoritme pelatihan. Anda juga menentukan lokasi Amazon Simple Storage Service (Amazon S3) tempat data pelatihan disimpan dan parameter khusus algoritme. SageMaker membuat informasi ini tersedia untuk wadah Docker sehingga algoritma pelatihan Anda dapat menggunakannya. Bagian ini menjelaskan bagaimana kami membuat informasi ini tersedia untuk wadah Docker Anda. Untuk informasi tentang membuat pekerjaan pelatihan, lihatCreateTrainingJob. Untuk informasi selengkapnya tentang cara SageMaker kontainer mengatur informasi, lihatSageMaker Toolkit Pelatihan dan Inferensi.

Hyperparameter

SageMaker membuat hyperparameters dalam CreateTrainingJob permintaan tersedia di wadah Docker dalam file. /opt/ml/input/config/hyperparameters.json

Berikut ini adalah contoh konfigurasi hyperparameter hyperparameters.json untuk menentukan num_round dan eta hyperparameters dalam CreateTrainingJob operasi untuk. XGBoost

{
    "num_round": "128",
    "eta": "0.001"
}            

Untuk daftar lengkap hyperparameters yang dapat digunakan untuk XGBoost algoritma SageMaker bawaan, lihat XGBoostHyperparameters.

Hiperparameter yang dapat Anda atur bergantung pada algoritme yang Anda latih. Untuk daftar hiperparameter yang tersedia untuk algoritme SageMaker bawaan, temukan yang tercantum di Hyperparameters di bawah tautan algoritme di Gunakan Algoritma SageMaker Bawaan Amazon atau Model Pra-terlatih.

Variabel lingkungan

SageMaker menetapkan variabel lingkungan berikut dalam wadah Anda:

Konfigurasi Data Masukan

SageMaker membuat informasi saluran data dalam InputDataConfig parameter dari CreateTrainingJob permintaan Anda tersedia di /opt/ml/input/config/inputdataconfig.json file di wadah Docker Anda.

Misalnya, Anda menentukan tiga saluran data (train,evaluation, danvalidation) dalam permintaan Anda. SageMakermenyediakan yang berikutJSON:

{
  "train" : {"ContentType":  "trainingContentType",
             "TrainingInputMode": "File",
             "S3DistributionType": "FullyReplicated",
             "RecordWrapperType": "None"},
  "evaluation" : {"ContentType":  "evalContentType",
                  "TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"},
  "validation" : {"TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"}
} 

Data Pelatihan

TrainingInputModeParameter dalam AlgorithmSpecification CreateTrainingJobpermintaan menentukan bagaimana kumpulan data pelatihan tersedia untuk penampung Anda. Mode input berikut tersedia.

SageMaker pelatihan model mendukung bucket direktori S3 Express One Zone berkinerja tinggi sebagai lokasi input data untuk mode file, mode file cepat, dan mode pipa. Untuk menggunakan S3 Express One Zone, masukkan lokasi bucket direktori S3 Express One Zone, bukan bucket tujuan umum Amazon S3. Berikan IAM peran tersebut dengan kebijakan kontrol akses dan izin yang diperlukan. ARN Lihat AmazonSageMakerFullAccesspolicyuntuk detailnya. Anda hanya dapat mengenkripsi data SageMaker keluaran dalam bucket direktori dengan enkripsi sisi server dengan kunci terkelola Amazon S3 (-S3). SSE Enkripsi sisi server dengan AWS KMS kunci (SSE-KMS) saat ini tidak didukung untuk menyimpan data SageMaker keluaran dalam bucket direktori. Untuk informasi selengkapnya, lihat S3 Express One Zone.

Konfigurasi Pelatihan Terdistribusi

Jika Anda melakukan pelatihan terdistribusi dengan beberapa kontainer, SageMaker buat informasi tentang semua kontainer tersedia dalam /opt/ml/input/config/resourceconfig.json file.

Untuk mengaktifkan komunikasi antar kontainer, JSON file ini berisi informasi untuk semua kontainer. SageMaker membuat file ini tersedia untuk algoritme Pipe mode File dan keduanya. File ini memberikan informasi berikut:

Berikut ini adalah contoh file pada node 1 dalam cluster tiga node:

{
    "current_host": "algo-1",
    "hosts": ["algo-1","algo-2","algo-3"],
    "network_interface_name":"eth1"
}