Ejecute trabajos TensorFlow de entrenamiento con SageMaker Training Compiler

Puede utilizar cualquiera de las SageMaker interfaces para ejecutar un trabajo de formación con SageMaker Training Compiler: Amazon SageMaker Studio Classic, Amazon SageMaker Notebook instances y AWS Command Line Interface. AWS SDK for Python (Boto3)

Uso del SDK SageMaker de Python

Para activar SageMaker Training Compiler, añade el compiler_config parámetro al estimador SageMaker TensorFlow o Hugging Face. Importe la clase TrainingCompilerConfig y pase una instancia de ella al parámetro compiler_config. Los siguientes ejemplos de código muestran la estructura de las clases del SageMaker estimador con Training Compiler activado. SageMaker

Para obtener información que se adapte a su caso de uso, consulte una de las siguientes opciones.

La siguiente lista es el conjunto mínimo de parámetros necesarios para ejecutar un trabajo de SageMaker formación con el compilador.

disable_profiler=True,
debugger_hook_config=False

Si el trabajo de entrenamiento con el compilador se ha iniciado correctamente, recibirá los siguientes registros durante la fase de inicialización del trabajo:

Uso del SDK de SageMaker Python y Extending SageMaker Framework Deep Learning Containers

AWS Las versiones adaptadas de Deep Learning Containers (DLC) para TensorFlow su uso incluyen cambios en el marco de código abierto TensorFlow . TensorFlow Los Deep Learning Containers de SageMaker Framework están optimizados para la AWS infraestructura subyacente y para Amazon SageMaker. Con la ventaja de utilizar los DLC, la integración con SageMaker Training Compiler añade más mejoras de rendimiento en comparación con la versión nativa. TensorFlow Además, puede crear un contenedor de entrenamiento personalizado ampliando la imagen del DLC.

Para ampliar y personalizar los SageMaker TensorFlow DLC para su caso de uso, siga las siguientes instrucciones.

Cree un archivo Dockerfile.

Usa la siguiente plantilla de Dockerfile para ampliar el DLC. SageMaker TensorFlow Debes usar la imagen del SageMaker TensorFlow DLC como imagen base del contenedor de Docker. Para encontrar los URI de las imágenes del SageMaker TensorFlow DLC, consulta los marcos compatibles.

# SageMaker TensorFlow Deep Learning Container image
FROM 763104351884.dkr.ecr.<aws-region>.amazonaws.com/tensorflow-training:<image-tag>

ENV PATH="/opt/ml/code:${PATH}"

# This environment variable is used by the SageMaker container 
# to determine user code directory.
ENV SAGEMAKER_SUBMIT_DIRECTORY /opt/ml/code

# Add more code lines to customize for your use-case
...

Para obtener más información, consulte Paso 2: Crear y cargar los scripts de entrenamiento de Dockerfile y Python.

Ten en cuenta los siguientes inconvenientes a la hora de ampliar SageMaker los DLC de Framework:

Por ejemplo, existe un problema conocido por el que las bibliotecas tensorflow/models y tensorflow/text siempre intentan reinstalar el código abierto. TensorFlow Si necesitas instalar estas bibliotecas para elegir una versión específica para tu caso de uso, te recomendamos que consultes el DLC Dockerfiles para la versión 2.9 o posterior. SageMaker TensorFlow Las rutas a los Dockerfiles suelen tener el siguiente formato: tensorflow/training/docker/<tensorflow-version>/py3/<cuda-version>/Dockerfile.gpu. En los Dockerfiles, encontrarás las líneas de código para reinstalar los TensorFlow binarios AWS gestionados (especificados en la variable de TF_URL entorno) y otras dependencias en orden. La sección de reinstalación debe ser similar a la siguiente especificación de ejemplo:

# tf-models does not respect existing installations of TensorFlow 
# and always installs open source TensorFlow

RUN pip3 install --no-cache-dir -U \
    tf-models-official==x.y.z

RUN pip3 uninstall -y tensorflow tensorflow-gpu \
  ; pip3 install --no-cache-dir -U \
    ${TF_URL} \
    tensorflow-io==x.y.z \
    tensorflow-datasets==x.y.z

Compilar e insertar en ECR

Para compilar e insertar el contenedor de Docker en Amazon ECR, siga las instrucciones de los siguientes enlaces:

Ejecute con el estimador del SDK de SageMaker Python

Utilice el estimador de SageMaker TensorFlow marcos como de costumbre. Debe especificar image_uri para usar el nuevo contenedor alojado en Amazon ECR.

import sagemaker, boto3
from sagemaker import get_execution_role
from sagemaker.tensorflow import TensorFlow, TrainingCompilerConfig

account_id = boto3.client('sts').get_caller_identity().get('Account')
ecr_repository = 'tf-custom-container-test'
tag = ':latest'

region = boto3.session.Session().region_name

uri_suffix = 'amazonaws.com'

byoc_image_uri = '{}.dkr.ecr.{}.{}/{}'.format(
    account_id, region, uri_suffix, ecr_repository + tag
)

byoc_image_uri
# This should return something like
# 111122223333.dkr.ecr.us-east-2.amazonaws.com/tf-custom-container-test:latest

estimator = TensorFlow(
    image_uri=image_uri,
    role=get_execution_role(),
    base_job_name='tf-custom-container-test-job',
    instance_count=1,
    instance_type='ml.p3.8xlarge'
    compiler_config=TrainingCompilerConfig(),
    disable_profiler=True,
    debugger_hook_config=False
)

# Start training
estimator.fit()

Habilite el compilador de SageMaker entrenamiento mediante la operación API SageMaker CreateTrainingJob

SageMaker Las opciones de configuración del compilador de entrenamiento deben especificarse mediante el HyperParameters campo AlgorithmSpecification y de la sintaxis de la solicitud para la operación de la CreateTrainingJobAPI.

"AlgorithmSpecification": {
    "TrainingImage": "<sagemaker-training-compiler-enabled-dlc-image>"
},

"HyperParameters": {
    "sagemaker_training_compiler_enabled": "true",
    "sagemaker_training_compiler_debug_mode": "false"
}

Para obtener una lista completa de los URI de imágenes de contenedores de aprendizaje profundo que tienen implementado SageMaker Training Compiler, consulte. Marcos admitidos