Exécuter TensorFlow des tâches de formation avec SageMaker Training Compiler

Vous pouvez utiliser n'importe laquelle des SageMaker interfaces pour exécuter une tâche de formation avec SageMaker Training Compiler : Amazon SageMaker Studio Classic, Amazon SageMaker Notebook instances AWS SDK for Python (Boto3), et AWS Command Line Interface.

Utilisation du SDK SageMaker Python

Pour activer SageMaker Training Compiler, ajoutez le compiler_config paramètre à l' SageMaker TensorFlow estimateur Hugging Face. Importez la classe TrainingCompilerConfig et transmettez-en une instance au paramètre compiler_config. Les exemples de code suivants montrent la structure des classes d' SageMaker estimateurs lorsque le compilateur d' SageMaker entraînement est activé.

Pour obtenir des informations adaptées à votre cas d'utilisation, consultez l'une des options suivantes.

La liste suivante contient l'ensemble minimal de paramètres requis pour exécuter une tâche d' SageMaker entraînement avec le compilateur.

disable_profiler=True,
debugger_hook_config=False

Si la tâche d'entraînement avec le compilateur est lancée avec succès, vous recevez les journaux suivants lors de la phase d'initialisation de la tâche :

Utilisation du SDK SageMaker Python et extension du SageMaker framework Deep Learning Containers

AWS Deep Learning Containers (DLC) à TensorFlow utiliser des versions adaptées TensorFlow qui incluent des modifications en plus du framework open source TensorFlow . Les SageMaker Framework Deep Learning Containers sont optimisés pour l' AWS infrastructure sous-jacente et Amazon SageMaker. Avec l'avantage d'utiliser les DLC, l'intégration de SageMaker Training Compiler améliore davantage les performances par rapport à la version native TensorFlow. En outre, vous pouvez créer un conteneur d'entraînement personnalisé en étendant l'image DLC.

Pour étendre et personnaliser les SageMaker TensorFlow DLC en fonction de votre cas d'utilisation, suivez les instructions suivantes.

Création d'un fichier Dockerfile

Utilisez le modèle Dockerfile suivant pour étendre le SageMaker TensorFlow DLC. Vous devez utiliser l'image du SageMaker TensorFlow DLC comme image de base de votre conteneur Docker. Pour trouver les URI des images du SageMaker TensorFlow DLC, consultez Frameworks pris en charge.

# SageMaker TensorFlow Deep Learning Container image
FROM 763104351884.dkr.ecr.<aws-region>.amazonaws.com/tensorflow-training:<image-tag>

ENV PATH="/opt/ml/code:${PATH}"

# This environment variable is used by the SageMaker container 
# to determine user code directory.
ENV SAGEMAKER_SUBMIT_DIRECTORY /opt/ml/code

# Add more code lines to customize for your use-case
...

Pour plus d'informations, consultez Étape 2 : créer et télécharger le fichier Dockerfile et les scripts d'entraînement Python

Tenez compte des écueils suivants lorsque vous étendez des DLC SageMaker Framework :

Par exemple, il existe un problème connu selon lequel les bibliothèques tensorflow/models et tensorflow/text tentent toujours de réinstaller l'open source. TensorFlow Si vous devez installer ces bibliothèques pour choisir une version spécifique à votre cas d'utilisation, nous vous recommandons de consulter le SageMaker TensorFlow DLC Dockerfiles pour la version 2.9 ou ultérieure. Les chemins d'accès aux fichiers Dockerfile sont généralement au format suivant : tensorflow/training/docker/<tensorflow-version>/py3/<cuda-version>/Dockerfile.gpu. Dans les Dockerfiles, vous devriez trouver les lignes de code pour réinstaller le TensorFlow binaire AWS géré (spécifié dans la variable d'TF_URLenvironnement) et les autres dépendances dans l'ordre. La section de réinstallation doit ressembler à l'exemple suivant :

# tf-models does not respect existing installations of TensorFlow 
# and always installs open source TensorFlow

RUN pip3 install --no-cache-dir -U \
    tf-models-official==x.y.z

RUN pip3 uninstall -y tensorflow tensorflow-gpu \
  ; pip3 install --no-cache-dir -U \
    ${TF_URL} \
    tensorflow-io==x.y.z \
    tensorflow-datasets==x.y.z

Génération et envoi (push) vers ECR

Pour générer et envoyer (push) votre conteneur Docker vers Amazon ECR, suivez les instructions des liens suivants :

Exécuter à l'aide de l' SageMaker estimateur du SDK Python

Utilisez l'estimateur du SageMaker TensorFlow cadre comme d'habitude. Vous devez spécifier image_uri pour utiliser le nouveau conteneur que vous avez hébergé dans Amazon ECR.

import sagemaker, boto3
from sagemaker import get_execution_role
from sagemaker.tensorflow import TensorFlow, TrainingCompilerConfig

account_id = boto3.client('sts').get_caller_identity().get('Account')
ecr_repository = 'tf-custom-container-test'
tag = ':latest'

region = boto3.session.Session().region_name

uri_suffix = 'amazonaws.com'

byoc_image_uri = '{}.dkr.ecr.{}.{}/{}'.format(
    account_id, region, uri_suffix, ecr_repository + tag
)

byoc_image_uri
# This should return something like
# 111122223333.dkr.ecr.us-east-2.amazonaws.com/tf-custom-container-test:latest

estimator = TensorFlow(
    image_uri=image_uri,
    role=get_execution_role(),
    base_job_name='tf-custom-container-test-job',
    instance_count=1,
    instance_type='ml.p3.8xlarge'
    compiler_config=TrainingCompilerConfig(),
    disable_profiler=True,
    debugger_hook_config=False
)

# Start training
estimator.fit()

Activer le compilateur SageMaker d'entraînement à l'aide de SageMaker CreateTrainingJob l'opération API

SageMaker Les options de configuration du compilateur de formation doivent être spécifiées via le HyperParameters champ AlgorithmSpecification et dans la syntaxe de la demande pour l'opération CreateTrainingJob d'API.

"AlgorithmSpecification": {
    "TrainingImage": "<sagemaker-training-compiler-enabled-dlc-image>"
},

"HyperParameters": {
    "sagemaker_training_compiler_enabled": "true",
    "sagemaker_training_compiler_debug_mode": "false"
}

Pour trouver la liste complète des URI d'images de conteneurs de deep learning sur lesquels SageMaker Training Compiler est implémenté, consultezCadres pris en charge.