Esegui lavori TensorFlow di formazione con SageMaker Training Compiler

Puoi utilizzare qualsiasi SageMaker interfaccia per eseguire un processo di formazione con SageMaker Training Compiler: Amazon SageMaker Studio Classic, AWS SDK for Python (Boto3) Amazon SageMaker Notebook Instances e. AWS Command Line Interface

Usare l' SageMaker SDK Python

Per attivare SageMaker Training Compiler, aggiungi il compiler_config parametro allo stimatore SageMaker TensorFlow o Hugging Face. Importa la classe TrainingCompilerConfig e passa un'istanza al parametro compiler_config. I seguenti esempi di codice mostrano la struttura delle classi di SageMaker estimazione con SageMaker Training Compiler attivato.

Per informazioni adatte al tuo caso d'uso, consulta una delle seguenti opzioni.

L'elenco seguente è l'insieme minimo di parametri richiesti per eseguire un processo di SageMaker formazione con il compilatore.

disable_profiler=True,
debugger_hook_config=False

Se il processo di addestramento con il compilatore viene avviato correttamente, durante la fase di inizializzazione del processo vengono ricevuti i seguenti log:

Utilizzo dell'SDK SageMaker Python e dell'Extending SageMaker Framework Deep Learning Containers

AWS Deep Learning Containers (DLC) per TensorFlow l'uso, versioni adattate TensorFlow che includono modifiche al framework open source TensorFlow . I SageMaker Framework Deep Learning Containers sono ottimizzati per l' AWS infrastruttura sottostante e Amazon SageMaker. Con il vantaggio dell'utilizzo dei DLC, l'integrazione di SageMaker Training Compiler aggiunge ulteriori miglioramenti delle prestazioni rispetto alla versione nativa. TensorFlow Inoltre, puoi creare un container di addestramento personalizzato estendendo l'immagine DLC.

Per estendere e personalizzare i SageMaker TensorFlow DLC in base al tuo caso d'uso, usa le seguenti istruzioni.

Crea un Dockerfile.

Usa il seguente modello di Dockerfile per estendere il DLC. SageMaker TensorFlow Devi usare l'immagine SageMaker TensorFlow DLC come immagine di base del tuo contenitore Docker. Per trovare gli URI delle immagini SageMaker TensorFlow DLC, consulta Supported Frameworks.

# SageMaker TensorFlow Deep Learning Container image
FROM 763104351884.dkr.ecr.<aws-region>.amazonaws.com/tensorflow-training:<image-tag>

ENV PATH="/opt/ml/code:${PATH}"

# This environment variable is used by the SageMaker container 
# to determine user code directory.
ENV SAGEMAKER_SUBMIT_DIRECTORY /opt/ml/code

# Add more code lines to customize for your use-case
...

Per ulteriori informazioni, consulta Passaggio 2: Creare e caricare gli script di addestramento Dockerfile e Python.

Considerate le seguenti insidie quando estendete i DLC del Framework: SageMaker

Ad esempio, è noto che le librerie tensorflow/models e tensorflow/text tentano sempre di reinstallare l'open source. TensorFlow Se devi installare queste librerie per scegliere una versione specifica per il tuo caso d'uso, ti consigliamo di consultare i Dockerfile DLC per la versione 2.9 o successiva. SageMaker TensorFlow I percorsi dei Dockerfile sono in genere nel seguente formato: tensorflow/training/docker/<tensorflow-version>/py3/<cuda-version>/Dockerfile.gpu. Nei Dockerfile, dovresti trovare le righe di codice per reinstallare il TensorFlow binario AWS gestito (specificato nella variabile di TF_URL ambiente) e altre dipendenze in ordine. La sezione di reinstallazione sarà simile all'esempio seguente:

# tf-models does not respect existing installations of TensorFlow 
# and always installs open source TensorFlow

RUN pip3 install --no-cache-dir -U \
    tf-models-official==x.y.z

RUN pip3 uninstall -y tensorflow tensorflow-gpu \
  ; pip3 install --no-cache-dir -U \
    ${TF_URL} \
    tensorflow-io==x.y.z \
    tensorflow-datasets==x.y.z

Crea e invia a ECR

Per creare e inviare il tuo container Docker ad Amazon ECR, segui le istruzioni nei seguenti link:

Esegui utilizzando SageMaker Python SDK Estimator

Usa lo stimatore del SageMaker TensorFlow framework come al solito. Devi specificare image_uri per utilizzare il nuovo container ospitato in Amazon ECR.

import sagemaker, boto3
from sagemaker import get_execution_role
from sagemaker.tensorflow import TensorFlow, TrainingCompilerConfig

account_id = boto3.client('sts').get_caller_identity().get('Account')
ecr_repository = 'tf-custom-container-test'
tag = ':latest'

region = boto3.session.Session().region_name

uri_suffix = 'amazonaws.com'

byoc_image_uri = '{}.dkr.ecr.{}.{}/{}'.format(
    account_id, region, uri_suffix, ecr_repository + tag
)

byoc_image_uri
# This should return something like
# 111122223333.dkr.ecr.us-east-2.amazonaws.com/tf-custom-container-test:latest

estimator = TensorFlow(
    image_uri=image_uri,
    role=get_execution_role(),
    base_job_name='tf-custom-container-test-job',
    instance_count=1,
    instance_type='ml.p3.8xlarge'
    compiler_config=TrainingCompilerConfig(),
    disable_profiler=True,
    debugger_hook_config=False
)

# Start training
estimator.fit()

Abilita SageMaker Training Compiler utilizzando l'operazione API SageMaker CreateTrainingJob

SageMaker Le opzioni di configurazione di Training Compiler devono essere specificate tramite il HyperParameters campo AlgorithmSpecification and nella sintassi della richiesta per il funzionamento dell'CreateTrainingJobAPI.

"AlgorithmSpecification": {
    "TrainingImage": "<sagemaker-training-compiler-enabled-dlc-image>"
},

"HyperParameters": {
    "sagemaker_training_compiler_enabled": "true",
    "sagemaker_training_compiler_debug_mode": "false"
}

Per trovare un elenco completo degli URI delle immagini dei contenitori di deep learning su cui è implementato SageMaker Training Compiler, consulta. Framework supportati