Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Comment Amazon SageMaker fournit des informations de formation

Cette section explique comment SageMaker mettre les informations d'entraînement, telles que les données d'entraînement, les hyperparamètres et autres informations de configuration, à la disposition de votre conteneur Docker.

Lorsque vous envoyez une CreateTrainingJobdemande SageMaker pour démarrer l'entraînement du modèle, vous spécifiez le chemin Amazon Elastic Container Registry (Amazon ECR) de l'image Docker contenant l'algorithme d'entraînement. Vous spécifiez également l'emplacement Amazon Simple Storage Service (Amazon S3) où les données d'entraînement sont stockées, ainsi que les paramètres spécifiques à l'algorithme. SageMaker met ces informations à la disposition du conteneur Docker afin que votre algorithme d'entraînement puisse les utiliser. Cette section explique comment ces informations sont rendues disponibles pour votre conteneur Docker. Pour plus d'informations sur la création d'une tâche d'entraînement, consultez CreateTrainingJob. Pour plus d'informations sur la manière dont les SageMaker conteneurs organisent les informations, consultezUtilisation des boîtes à SageMaker outils de formation et d'inférence .

Hyperparamètres

SageMaker rend les hyperparamètres d'une CreateTrainingJob requête disponibles dans le conteneur Docker du /opt/ml/input/config/hyperparameters.json fichier.

Voici un exemple de configuration d'hyperparamètres dans hyperparameters.json permettant de spécifier les hyperparamètres num_round et eta dans l'opération CreateTrainingJob pour XGBoost.

{
    "num_round": "128",
    "eta": "0.001"
}            

Pour une liste complète des hyperparamètres pouvant être utilisés pour l'algorithme XGBoost SageMaker intégré, voir Hyperparamètres XGBoost.

Les hyperparamètres que vous pouvez régler dépendent de l'algorithme que vous entraînez. Pour obtenir la liste des hyperparamètres disponibles pour un algorithme SageMaker intégré, retrouvez-les dans Hyperparamètres sous le lien de l'algorithme dans Utiliser des algorithmes SageMaker intégrés ou des modèles pré-entraînés d'Amazon.

Variables d'environnement

SageMaker définit les variables d'environnement suivantes dans votre conteneur :

Configuration des données d'entrée

SageMaker rend les informations du canal de données contenues dans le InputDataConfig paramètre de votre CreateTrainingJob requête disponibles dans le /opt/ml/input/config/inputdataconfig.json fichier de votre conteneur Docker.

Par exemple, supposons que vous spécifiiez trois canaux de données (train, evaluation et validation) dans votre demande. SageMaker fournit les informations JSON suivantes :

{
  "train" : {"ContentType":  "trainingContentType",
             "TrainingInputMode": "File",
             "S3DistributionType": "FullyReplicated",
             "RecordWrapperType": "None"},
  "evaluation" : {"ContentType":  "evalContentType",
                  "TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"},
  "validation" : {"TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"}
} 

Données d'entraînement

Le paramètre TrainingInputMode dans AlgorithmSpecification de la demande CreateTrainingJob spécifie comment le jeu de données d'entraînement est mis à la disposition de votre conteneur. Les modes d'entrée suivants sont disponibles.

SageMaker model training prend en charge les compartiments de répertoire S3 Express One Zone à hautes performances en tant qu'emplacement d'entrée de données pour le mode fichier, le mode fichier rapide et le mode tube. Pour utiliser S3 Express One Zone, entrez l'emplacement du compartiment de répertoire S3 Express One Zone au lieu d'un compartiment Amazon S3 à usage général. Fournissez l'ARN du rôle IAM avec la politique de contrôle d'accès et d'autorisation requise. Pour plus d'informations, consultez AmazonSageMakerFullAccesspolicy. Pour plus d'informations, consultez S3 Express One Zone.

Configuration d'entraînement distribué

Si vous effectuez une formation distribuée avec plusieurs conteneurs, SageMaker rend les informations relatives à tous les conteneurs disponibles dans le /opt/ml/input/config/resourceconfig.json fichier.

Pour permettre la communication entre conteneurs, ce fichier JSON contient des informations pour tous les conteneurs. SageMaker rend ce fichier disponible pour les algorithmes à la fois File et pour les algorithmes de Pipe mode. Le fichier fournit les informations suivantes :

Voici un exemple de fichier sur le nœud 1 d'un cluster à trois nœuds :

{
    "current_host": "algo-1",
    "hosts": ["algo-1","algo-2","algo-3"],
    "network_interface_name":"eth1"
}