Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Wie Amazon Schulungsinformationen SageMaker bereitstellt

In diesem Abschnitt wird erklärt SageMaker , wie Trainingsinformationen wie Trainingsdaten, Hyperparameter und andere Konfigurationsinformationen für Ihren Docker-Container verfügbar gemacht werden.

Wenn Sie eine CreateTrainingJobAnfrage SageMaker zum Starten des Modelltrainings senden, geben Sie den Amazon Elastic Container Registry (AmazonECR) -Pfad des Docker-Images an, das den Trainingsalgorithmus enthält. Sie geben auch den Speicherort des Amazon Simple Storage Service (Amazon S3) an, an dem Trainingsdaten gespeichert werden, sowie algorithmusspezifische Parameter. SageMaker stellt diese Informationen dem Docker-Container zur Verfügung, sodass Ihr Trainingsalgorithmus sie verwenden kann. In diesem Abschnitt wird erklärt, wie wir diese Informationen Ihrem Docker-Container verfügbar machen können. Informationen zum Erstellen eines Trainingsauftrags finden Sie unter CreateTrainingJob. Weitere Informationen darüber, wie SageMaker Container Informationen organisieren, finden Sie unterSageMaker Schulungs- und Inferenz-Toolkits.

Hyperparameter

SageMaker stellt die Hyperparameter in einer CreateTrainingJob Anfrage im Docker-Container in der /opt/ml/input/config/hyperparameters.json Datei zur Verfügung.

Im Folgenden finden Sie ein Beispiel für eine Hyperparameter-Konfiguration hyperparameters.json zur Angabe der eta Hyperparameter num_round und in der Operation für. CreateTrainingJob XGBoost

{
    "num_round": "128",
    "eta": "0.001"
}            

Eine vollständige Liste der Hyperparameter, die für den SageMaker integrierten XGBoost Algorithmus verwendet werden können, finden Sie unter Hyperparameter. XGBoost

Die Hyperparameter, die Sie einstellen können, hängen vom Algorithmus ab, den Sie trainieren. Eine Liste der Hyperparameter, die für einen SageMaker integrierten Algorithmus verfügbar sind, finden Sie unter Hyperparameter unter dem Algorithmus-Link unter Verwenden von SageMaker Amazon-integrierten Algorithmen oder vortrainierten Modellen.

Umgebungsvariablen

SageMaker legt die folgenden Umgebungsvariablen in Ihrem Container fest:

Eingabedatenkonfiguration

SageMaker stellt die Datenkanalinformationen im InputDataConfig Parameter aus Ihrer CreateTrainingJob Anfrage in der /opt/ml/input/config/inputdataconfig.json Datei in Ihrem Docker-Container zur Verfügung.

Nehmen wir beispielsweise an, dass Sie in Ihrer Anfrage drei Datenkanäle (trainevaluation, undvalidation) angeben. SageMakerbietet FolgendesJSON:

{
  "train" : {"ContentType":  "trainingContentType",
             "TrainingInputMode": "File",
             "S3DistributionType": "FullyReplicated",
             "RecordWrapperType": "None"},
  "evaluation" : {"ContentType":  "evalContentType",
                  "TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"},
  "validation" : {"TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"}
} 

Trainingsdaten

Der TrainingInputMode Parameter in AlgorithmSpecification der CreateTrainingJobAnfrage gibt an, wie der Trainingsdatensatz Ihrem Container zur Verfügung gestellt wird. Die folgenden Eingabemodi sind verfügbar.

SageMaker Das Modelltraining unterstützt leistungsstarke S3 Express One Zone-Verzeichnis-Buckets als Dateneingabeort für den Dateimodus, den Schnelldateimodus und den Pipe-Modus. Um S3 Express One Zone zu verwenden, geben Sie den Speicherort des S3 Express One Zone-Verzeichnis-Buckets anstelle eines Amazon S3 S3-Allzweck-Buckets ein. Geben Sie ARN für die IAM Rolle die erforderlichen Zugriffskontroll- und Berechtigungsrichtlinien an. Weitere Einzelheiten finden Sie unter AmazonSageMakerFullAccesspolicy. Sie können Ihre SageMaker Ausgabedaten in Verzeichnis-Buckets nur mit serverseitiger Verschlüsselung mit verwalteten Amazon S3 S3-Schlüsseln (SSE-S3) verschlüsseln. Die serverseitige Verschlüsselung mit AWS KMS Schlüsseln (SSE-KMS) wird derzeit nicht für das Speichern von SageMaker Ausgabedaten in Verzeichnis-Buckets unterstützt. Weitere Informationen finden Sie unter S3 Express One Zone.

Konfiguration für verteiltes Training

Wenn Sie ein verteiltes Training mit mehreren Containern durchführen, SageMaker stellt diese Option Informationen zu allen Containern in der /opt/ml/input/config/resourceconfig.json Datei zur Verfügung.

Um die Kommunikation zwischen Containern zu ermöglichen, enthält diese JSON Datei Informationen für alle Container. SageMaker stellt diese Datei sowohl für als auch File für Pipe Modus-Algorithmen zur Verfügung. Die Datei enthält die folgenden Informationen:

Nachfolgend sehen Sie eine Beispieldatei auf Knoten 1 in einem Cluster mit drei Knoten:

{
    "current_host": "algo-1",
    "hosts": ["algo-1","algo-2","algo-3"],
    "network_interface_name":"eth1"
}