Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Cómo SageMaker proporciona Amazon la información sobre formación

En esta sección se explica cómo SageMaker hace que la información de entrenamiento, como los datos de entrenamiento, los hiperparámetros y otra información de configuración, esté disponible en su contenedor de Docker.

Cuando envías una CreateTrainingJobsolicitud SageMaker para iniciar el entrenamiento con modelos, especificas la ruta de Amazon Elastic Container Registry (Amazon ECR) de la imagen de Docker que contiene el algoritmo de entrenamiento. También especificas la ubicación de Amazon Simple Storage Service (Amazon S3) en la que se almacenan los datos de entrenamiento y los parámetros específicos del algoritmo. SageMaker pone esta información a disposición del contenedor de Docker para que su algoritmo de entrenamiento pueda utilizarla. Esta sección explica cómo hacemos que esta información esté disponible para su contenedor de Docker. Para obtener información sobre un trabajo de entrenamiento, consulte CreateTrainingJob. Para obtener más información sobre la forma en que SageMaker los contenedores organizan la información, consulteUso de los kits SageMaker de herramientas de formación e inferencia .

Hiperparámetros

SageMaker hace que los hiperparámetros de una CreateTrainingJob solicitud estén disponibles en el contenedor Docker del /opt/ml/input/config/hyperparameters.json archivo.

A continuación se muestra un ejemplo de una configuración de hiperparámetros en hyperparameters.json para especificar los hiperparámetros num_round y eta en la operación CreateTrainingJob de XGBoost.

{
    "num_round": "128",
    "eta": "0.001"
}            

Para obtener una lista completa de los hiperparámetros que se pueden usar para el algoritmo XGBoost SageMaker integrado, consulte Hiperparámetros de XGBoost.

Los hiperparámetros que puede ajustar dependen del algoritmo que esté entrenando. Para obtener una lista de los hiperparámetros disponibles para un algoritmo SageMaker integrado, búsquelos en la sección Hiperparámetros, en el enlace del algoritmo, en Use Amazon Builted Algorithms or SageMaker Pre-Training Models.

Variables de entorno

SageMaker establece las siguientes variables de entorno en su contenedor:

Configuración de datos de entrada

SageMaker hace que la información del canal de datos del InputDataConfig parámetro de su CreateTrainingJob solicitud esté disponible en el /opt/ml/input/config/inputdataconfig.json archivo de su contenedor de Docker.

Por ejemplo, supongamos que especifica tres canales de datos (train, evaluation y validation) en su solicitud. SageMaker proporciona el siguiente JSON:

{
  "train" : {"ContentType":  "trainingContentType",
             "TrainingInputMode": "File",
             "S3DistributionType": "FullyReplicated",
             "RecordWrapperType": "None"},
  "evaluation" : {"ContentType":  "evalContentType",
                  "TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"},
  "validation" : {"TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"}
} 

Datos de capacitación

El parámetro TrainingInputMode en la AlgorithmSpecification de la solicitud CreateTrainingJob especifica cómo se pone a disposición del contenedor el conjunto de datos de entrenamiento. Están disponibles los siguientes modos de entrada.

SageMaker El entrenamiento con modelos admite depósitos de directorio S3 Express One Zone de alto rendimiento como ubicación de entrada de datos en los modos de archivo, rápido y canalizado. Para usar S3 Express One Zone, introduzca la ubicación del bucket del directorio S3 Express One Zone en lugar de un bucket de uso general de Amazon S3. Proporcione el ARN del rol de IAM con la política de permisos y control de acceso requerida. Consulte AmazonSageMakerFullAccesspolicy para obtener más información. Para obtener más información, consulte S3 Express One Zone.

Configuración de entrenamiento distribuido

Si está realizando una formación distribuida con varios contenedores, SageMaker hace que la información sobre todos los contenedores esté disponible en el /opt/ml/input/config/resourceconfig.json archivo.

Para permitir la comunicación entre contenedores, este archivo JSON contiene información de todos los contenedores. SageMaker hace que este archivo esté disponible tanto para los algoritmos como para File Pipe los algoritmos. El archivo proporciona la siguiente información:

A continuación se muestra un archivo de ejemplo en el nodo 1 en un clúster de tres nodos:

{
    "current_host": "algo-1",
    "hosts": ["algo-1","algo-2","algo-3"],
    "network_interface_name":"eth1"
}