Configurar el modo de entrada de datos mediante SageMaker Python SDK - Amazon SageMaker

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Configurar el modo de entrada de datos mediante SageMaker Python SDK

SageMaker Python SDK proporciona la clase genérica Estimator y sus variaciones para los marcos de aprendizaje automático para lanzar trabajos de formación. Puede especificar uno de los modos de entrada de datos al configurar la SageMaker Estimator clase o el Estimator.fit método. Las siguientes plantillas de código muestran las dos formas de especificar modos de entrada.

Para especificar el modo de entrada mediante la clase Estimator

from sagemaker.estimator import Estimator
from sagemaker.inputs import TrainingInput

estimator = Estimator(
    checkpoint_s3_uri='s3://amzn-s3-demo-bucket/checkpoint-destination/',
    output_path='s3://amzn-s3-demo-bucket/output-path/',
    base_job_name='job-name',
    input_mode='File'  # Available options: File | Pipe | FastFile
    ...
)

# Run the training job
estimator.fit(
    inputs=TrainingInput(s3_data="s3://amzn-s3-demo-bucket/my-data/train")
)

Para obtener más información, consulte la clase SageMaker.Estimator.Estimator en la documentación de Python. SageMaker SDK

Para especificar el modo de entrada estimator.fit() mediante el método

from sagemaker.estimator import Estimator
from sagemaker.inputs import TrainingInput

estimator = Estimator(
    checkpoint_s3_uri='s3://amzn-s3-demo-bucket/checkpoint-destination/',
    output_path='s3://amzn-s3-demo-bucket/output-path/',
    base_job_name='job-name',
    ...
)

# Run the training job
estimator.fit(
    inputs=TrainingInput(
        s3_data="s3://amzn-s3-demo-bucket/my-data/train",
        input_mode='File'  # Available options: File | Pipe | FastFile
    )
)

Para obtener más información, consulte el método de clase Sagemaker.Estimator.Estimator.fit y sagemaker.inputs. TrainingInputclase en la SDKdocumentación de SageMaker Python.

sugerencia

Para obtener más información sobre cómo configurar Amazon FSx for Lustre o Amazon EFS con su VPC configuración mediante los SDK estimadores de SageMaker Python, consulte Uso de sistemas de archivos como entradas de formación en la documentación de PythonSageMaker . SDK

sugerencia

Las integraciones del modo de entrada de datos con Amazon S3EFS, Amazon y FSx for Lustre son formas recomendadas de configurar de manera óptima la fuente de datos según las mejores prácticas. Puede mejorar estratégicamente el rendimiento de carga de datos mediante las opciones de almacenamiento SageMaker gestionado y los modos de entrada, pero no está estrictamente limitado. Puede escribir su propia lógica de lectura de datos directamente en su contenedor de entrenamiento. Por ejemplo, puede configurarlo para leer desde un origen de datos distinto, escribir su propia clase de cargador de datos de S3 o usar funciones de carga de datos de marcos de terceros en su script de entrenamiento. Sin embargo, debe asegurarse de especificar las rutas correctas que SageMaker puedan reconocerlas.

sugerencia

Si utiliza un contenedor de formación personalizado, asegúrese de instalar el kit de herramientas de SageMaker formación que le ayudará a configurar el entorno para los trabajos de SageMaker formación. De lo contrario, debe especificar las variables de entorno de forma explícita en su Dockerfile. Para obtener más información, consulte Crear un contenedor con sus propios algoritmos y modelos.

Para obtener más información sobre cómo configurar los modos de entrada de datos mediante el nivel bajo SageMaker APIs, consulte Cómo SageMaker proporciona Amazon la información sobre formación CreateTrainingJobAPI, the TrainingInputMode y in. AlgorithmSpecification