TensorFlow Trainingsjobs mit dem SageMaker Training Compiler ausführen

Sie können jede der SageMaker KI-Schnittstellen verwenden, um einen Trainingsjob mit SageMaker Training Compiler auszuführen: Amazon SageMaker Studio Classic, Amazon SageMaker Notebook-Instances und AWS Command Line Interface. AWS SDK for Python (Boto3)

Verwenden des SageMaker Python-SDK

Um den SageMaker Training Compiler zu aktivieren, fügen Sie den compiler_config Parameter dem SageMaker KI TensorFlow - oder Hugging Face Face-Schätzer hinzu. Importieren Sie die TrainingCompilerConfig-Klasse und übergeben Sie eine Instance davon an den compiler_config-Parameter. Die folgenden Codebeispiele zeigen die Struktur der SageMaker AI-Estimator-Klassen bei aktiviertem SageMaker Training Compiler.

Weitere Informationen, die zu Ihrem Anwendungsfall passen, finden Sie unter einer der folgenden Optionen.

Die folgende Liste enthält die Mindestanzahl von Parametern, die für die Ausführung eines SageMaker Trainingsjobs mit dem Compiler erforderlich sind.

disable_profiler=True,
debugger_hook_config=False

Wenn der Trainingsjob mit dem Compiler erfolgreich gestartet wurde, erhalten Sie während der Job-Initialisierungsphase die folgenden Protokolle:

Verwenden des SageMaker AI Python SDK und Erweiterung von SageMaker AI Framework Deep Learning Containers

AWS Deep Learning Containers (DLC) zur TensorFlow Verwendung sind angepasste Versionen TensorFlow davon, die zusätzlich zum TensorFlow Open-Source-Framework Änderungen enthalten. Die Deep Learning Containers des SageMaker KI-Frameworks sind für die zugrunde liegende AWS Infrastruktur und Amazon SageMaker AI optimiert. Mit dem Vorteil der Integration von bietet die DLCs SageMaker Training Compiler-Integration weitere Leistungsverbesserungen gegenüber der nativen TensorFlow Version. Darüber hinaus können Sie einen benutzerdefinierten Trainingscontainer erstellen, indem Sie das DLC-Image erweitern.

Verwenden Sie die folgenden Anweisungen, um die SageMaker KI TensorFlow DLCs für Ihren Anwendungsfall zu erweitern und anzupassen.

Erstellen einer Docker-Datei

Verwenden Sie die folgende Dockerfile-Vorlage, um den AI-DLC zu erweitern. SageMaker TensorFlow Sie müssen das SageMaker TensorFlow AI-DLC-Image als Basisimage Ihres Docker-Containers verwenden. Das SageMaker TensorFlow AI-DLC-Image finden Sie unter Unterstützte URIs Frameworks.

# SageMaker AI TensorFlow Deep Learning Container image
FROM 763104351884.dkr.ecr.<aws-region>.amazonaws.com/tensorflow-training:<image-tag>

ENV PATH="/opt/ml/code:${PATH}"

# This environment variable is used by the SageMaker AI container 
# to determine user code directory.
ENV SAGEMAKER_SUBMIT_DIRECTORY /opt/ml/code

# Add more code lines to customize for your use-case
...

Weitere Informationen finden Sie unter Schritt 2: Dockerfile- und Python-Trainingsskripts erstellen und hochladen.

Beachten Sie bei der Erweiterung von SageMaker AI Framework die folgenden Fallstricke: DLCs

Es gibt beispielsweise ein bekanntes Problem, dass die Bibliotheken tensorflow/models und tensorflow/text immer versuchen, Open Source neu zu installieren. TensorFlow Wenn Sie diese Bibliotheken installieren müssen, um eine bestimmte Version für Ihren Anwendungsfall auszuwählen, empfehlen wir Ihnen, sich die AI DLC Dockerfiles für Version 2.9 oder höher anzusehen. SageMaker TensorFlow Die Pfade zu den Dockerfiles haben normalerweise das folgende Format: tensorflow/training/docker/<tensorflow-version>/py3/<cuda-version>/Dockerfile.gpu. In den Dockerfiles sollten Sie die Codezeilen für die Neuinstallation der AWS verwalteten TensorFlow Binärdatei (in der TF_URL Umgebungsvariablen angegeben) und anderer Abhängigkeiten der Reihe nach finden. Der Abschnitt für die Neuinstallation sollte wie das folgende Beispiel aussehen:

# tf-models does not respect existing installations of TensorFlow 
# and always installs open source TensorFlow

RUN pip3 install --no-cache-dir -U \
    tf-models-official==x.y.z

RUN pip3 uninstall -y tensorflow tensorflow-gpu \
  ; pip3 install --no-cache-dir -U \
    ${TF_URL} \
    tensorflow-io==x.y.z \
    tensorflow-datasets==x.y.z

Erstellen und auf ECR übertragen

Folgen Sie den Anweisungen unter den folgenden Links, um Ihren Docker-Container zu erstellen und auf Amazon ECR zu übertragen:

Mit dem SageMaker Python SDK Estimator ausführen

Verwenden Sie den SageMaker AI TensorFlow Framework Estimator wie gewohnt. Sie müssen image_uri angeben, dass Sie den neuen Container verwenden möchten, den Sie in Amazon ECR gehostet haben.

import sagemaker, boto3
from sagemaker import get_execution_role
from sagemaker.tensorflow import TensorFlow, TrainingCompilerConfig

account_id = boto3.client('sts').get_caller_identity().get('Account')
ecr_repository = 'tf-custom-container-test'
tag = ':latest'

region = boto3.session.Session().region_name

uri_suffix = 'amazonaws.com'

byoc_image_uri = '{}.dkr.ecr.{}.{}/{}'.format(
    account_id, region, uri_suffix, ecr_repository + tag
)

byoc_image_uri
# This should return something like
# 111122223333.dkr.ecr.us-east-2.amazonaws.com/tf-custom-container-test:latest

estimator = TensorFlow(
    image_uri=image_uri,
    role=get_execution_role(),
    base_job_name='tf-custom-container-test-job',
    instance_count=1,
    instance_type='ml.p3.8xlarge'
    compiler_config=TrainingCompilerConfig(),
    disable_profiler=True,
    debugger_hook_config=False
)

# Start training
estimator.fit()

Aktivieren Sie den SageMaker Training Compiler mithilfe des SageMaker AI-API-Vorgangs CreateTrainingJob

SageMaker Die Konfigurationsoptionen des Training Compilers müssen im HyperParameters Feld AlgorithmSpecification und in der Anforderungssyntax für den CreateTrainingJobAPI-Vorgang angegeben werden.

"AlgorithmSpecification": {
    "TrainingImage": "<sagemaker-training-compiler-enabled-dlc-image>"
},

"HyperParameters": {
    "sagemaker_training_compiler_enabled": "true",
    "sagemaker_training_compiler_debug_mode": "false"
}

Eine vollständige Liste der Deep-Learning-Container-Images URIs , für die SageMaker Training Compiler implementiert wurde, finden Sie unter. Unterstützte Frameworks