Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Comment Amazon SageMaker fournit des informations de formation

Cette section explique comment SageMaker mettre les informations d'entraînement, telles que les données d'entraînement, les hyperparamètres et autres informations de configuration, à la disposition de votre conteneur Docker.

Lorsque vous envoyez une CreateTrainingJobdemande SageMaker pour démarrer l'entraînement du modèle, vous spécifiez le chemin Amazon Elastic Container Registry (AmazonECR) de l'image Docker qui contient l'algorithme d'entraînement. Vous spécifiez également l'emplacement Amazon Simple Storage Service (Amazon S3) où les données d'entraînement sont stockées, ainsi que les paramètres spécifiques à l'algorithme. SageMaker met ces informations à la disposition du conteneur Docker afin que votre algorithme d'entraînement puisse les utiliser. Cette section explique comment ces informations sont rendues disponibles pour votre conteneur Docker. Pour plus d'informations sur la création d'une tâche d'entraînement, consultez CreateTrainingJob. Pour plus d'informations sur la manière dont les SageMaker conteneurs organisent les informations, consultezSageMaker Boîtes à outils de formation et d'inférence.

Hyperparamètres

SageMaker rend les hyperparamètres d'une CreateTrainingJob requête disponibles dans le conteneur Docker du /opt/ml/input/config/hyperparameters.json fichier.

Voici un exemple de configuration d'hyperparamètres permettant de spécifier hyperparameters.json les eta hyperparamètres num_round et dans l'CreateTrainingJobopération pour. XGBoost

{
    "num_round": "128",
    "eta": "0.001"
}            

Pour obtenir la liste complète des hyperparamètres pouvant être utilisés pour l'XGBoostalgorithme SageMaker intégré, voir XGBoostHyperparamètres.

Les hyperparamètres que vous pouvez régler dépendent de l'algorithme que vous entraînez. Pour obtenir la liste des hyperparamètres disponibles pour un algorithme SageMaker intégré, retrouvez-les dans Hyperparamètres sous le lien de l'algorithme dans Utiliser des algorithmes SageMaker intégrés ou des modèles pré-entraînés d'Amazon.

Variables d'environnement

SageMaker définit les variables d'environnement suivantes dans votre conteneur :

Configuration des données d'entrée

SageMaker rend les informations du canal de données contenues dans le InputDataConfig paramètre de votre CreateTrainingJob requête disponibles dans le /opt/ml/input/config/inputdataconfig.json fichier de votre conteneur Docker.

Supposons, par exemple, que vous spécifiez trois canaux de données (trainevaluation, etvalidation) dans votre demande. SageMakerfournit les éléments suivants JSON :

{
  "train" : {"ContentType":  "trainingContentType",
             "TrainingInputMode": "File",
             "S3DistributionType": "FullyReplicated",
             "RecordWrapperType": "None"},
  "evaluation" : {"ContentType":  "evalContentType",
                  "TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"},
  "validation" : {"TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"}
} 

Données d'entraînement

Le paramètre TrainingInputMode dans AlgorithmSpecification de la demande CreateTrainingJob spécifie comment le jeu de données d'entraînement est mis à la disposition de votre conteneur. Les modes d'entrée suivants sont disponibles.

SageMaker model training prend en charge les compartiments de répertoire S3 Express One Zone à hautes performances en tant qu'emplacement d'entrée de données pour le mode fichier, le mode fichier rapide et le mode tube. Pour utiliser S3 Express One Zone, entrez l'emplacement du compartiment de répertoire S3 Express One Zone au lieu d'un compartiment Amazon S3 à usage général. Fournissez ARN au IAM rôle la politique de contrôle d'accès et d'autorisation requise. Pour plus d'informations, consultez AmazonSageMakerFullAccesspolicy. Vous ne pouvez chiffrer vos données de SageMaker sortie que dans des compartiments d'annuaire avec un chiffrement côté serveur avec des clés gérées par Amazon S3 (-S3). SSE Le chiffrement côté serveur à l'aide de AWS KMS clés (SSE-KMS) n'est actuellement pas pris en charge pour le stockage des données SageMaker de sortie dans des compartiments de répertoire. Pour plus d'informations, consultez S3 Express One Zone.

Configuration d'entraînement distribué

Si vous effectuez une formation distribuée avec plusieurs conteneurs, SageMaker rend les informations relatives à tous les conteneurs disponibles dans le /opt/ml/input/config/resourceconfig.json fichier.

Pour permettre la communication entre conteneurs, ce JSON fichier contient des informations pour tous les conteneurs. SageMaker rend ce fichier disponible pour les algorithmes à la fois File et pour les algorithmes de Pipe mode. Le fichier fournit les informations suivantes :

Voici un exemple de fichier sur le nœud 1 d'un cluster à trois nœuds :

{
    "current_host": "algo-1",
    "hosts": ["algo-1","algo-2","algo-3"],
    "network_interface_name":"eth1"
}