Execute trabalhos TensorFlow de treinamento com o SageMaker Training Compiler

Você pode usar qualquer uma das interfaces de SageMaker IA para executar um trabalho de treinamento com o SageMaker Training Compiler: Amazon SageMaker Studio Classic, Amazon SageMaker Notebook Instances e. AWS SDK for Python (Boto3) AWS Command Line Interface

Usando o SDK do SageMaker Python

Para ativar o SageMaker Training Compiler, adicione o compiler_config parâmetro ao estimador SageMaker AI TensorFlow ou Hugging Face. Importe a classe TrainingCompilerConfig e passe uma instância dela para o parâmetro compiler_config. Os exemplos de código a seguir mostram a estrutura das classes de estimadores de SageMaker IA com o SageMaker Training Compiler ativado.

Para obter informações adequadas ao seu caso de uso, consulte uma das opções a seguir.

A lista a seguir é o conjunto mínimo de parâmetros necessários para executar um trabalho de SageMaker treinamento com o compilador.

disable_profiler=True,
debugger_hook_config=False

Se o trabalho de treinamento com o compilador for iniciado com êxito, você receberá os seguintes logs durante a fase de inicialização do trabalho:

Usando o SDK SageMaker AI Python e estendendo os contêineres de Deep Learning do SageMaker AI Framework

AWS Deep Learning Containers (DLC) para TensorFlow uso em versões adaptadas TensorFlow que incluem mudanças na estrutura de código aberto TensorFlow . Os SageMaker AI Framework Deep Learning Containers são otimizados para a AWS infraestrutura subjacente e a Amazon SageMaker AI. Com a vantagem de usar o DLCs, a integração do SageMaker Training Compiler adiciona mais melhorias de desempenho em relação à nativa TensorFlow. Além disso, você pode criar um contêiner de treinamento personalizado estendendo a imagem do DLC.

Para estender e personalizar a SageMaker IA TensorFlow DLCs para seu caso de uso, use as instruções a seguir.

Crie um Dockerfile.

Use o modelo Dockerfile a seguir para estender o DLC SageMaker AI TensorFlow . Você deve usar a imagem SageMaker AI TensorFlow DLC como imagem base do seu contêiner Docker. Para encontrar a imagem do TensorFlow DLC SageMaker AI URIs, consulte Estruturas suportadas.

# SageMaker AI TensorFlow Deep Learning Container image
FROM 763104351884.dkr.ecr.<aws-region>.amazonaws.com/tensorflow-training:<image-tag>

ENV PATH="/opt/ml/code:${PATH}"

# This environment variable is used by the SageMaker AI container 
# to determine user code directory.
ENV SAGEMAKER_SUBMIT_DIRECTORY /opt/ml/code

# Add more code lines to customize for your use-case
...

Para mais informações, consulte Etapa 2: Como criar e fazer upload dos scripts de treinamento do Dockerfile e do Python.

Considere as seguintes armadilhas ao estender o SageMaker AI Framework: DLCs

Por exemplo, há um problema conhecido de que as bibliotecas tensorflow/models e tensorflow/text sempre tentam reinstalar o código aberto. TensorFlow Se você precisar instalar essas bibliotecas para escolher uma versão específica para seu caso de uso, recomendamos que você consulte os Dockerfiles do SageMaker AI TensorFlow DLC para v2.9 ou posterior. Os caminhos para os Dockerfiles geralmente estão no seguinte formato: tensorflow/training/docker/<tensorflow-version>/py3/<cuda-version>/Dockerfile.gpu. Nos Dockerfiles, você deve encontrar as linhas de código para reinstalar o TensorFlow binário AWS gerenciado (especificado para a variável de TF_URL ambiente) e outras dependências em ordem. A seção de Reinstalar deve se parecer com o seguinte exemplo:

# tf-models does not respect existing installations of TensorFlow 
# and always installs open source TensorFlow

RUN pip3 install --no-cache-dir -U \
    tf-models-official==x.y.z

RUN pip3 uninstall -y tensorflow tensorflow-gpu \
  ; pip3 install --no-cache-dir -U \
    ${TF_URL} \
    tensorflow-io==x.y.z \
    tensorflow-datasets==x.y.z

Compile e envie para o ECR

Para compilar e enviar seu contêiner do Docker para o Amazon ECR, siga as instruções nos links a seguir.

Execute usando o SageMaker Python SDK Estimator

Use o estimador da TensorFlow estrutura de SageMaker IA como de costume. Você deve especificar image_uri para usar o novo contêiner que você hospedou no Amazon ECR.

import sagemaker, boto3
from sagemaker import get_execution_role
from sagemaker.tensorflow import TensorFlow, TrainingCompilerConfig

account_id = boto3.client('sts').get_caller_identity().get('Account')
ecr_repository = 'tf-custom-container-test'
tag = ':latest'

region = boto3.session.Session().region_name

uri_suffix = 'amazonaws.com'

byoc_image_uri = '{}.dkr.ecr.{}.{}/{}'.format(
    account_id, region, uri_suffix, ecr_repository + tag
)

byoc_image_uri
# This should return something like
# 111122223333.dkr.ecr.us-east-2.amazonaws.com/tf-custom-container-test:latest

estimator = TensorFlow(
    image_uri=image_uri,
    role=get_execution_role(),
    base_job_name='tf-custom-container-test-job',
    instance_count=1,
    instance_type='ml.p3.8xlarge'
    compiler_config=TrainingCompilerConfig(),
    disable_profiler=True,
    debugger_hook_config=False
)

# Start training
estimator.fit()

Ativar o compilador de SageMaker treinamento usando a operação da CreateTrainingJob API SageMaker AI

SageMaker As opções de configuração do Training Compiler devem ser especificadas por meio do HyperParameters campo AlgorithmSpecification e na sintaxe da solicitação para a operação da CreateTrainingJobAPI.

"AlgorithmSpecification": {
    "TrainingImage": "<sagemaker-training-compiler-enabled-dlc-image>"
},

"HyperParameters": {
    "sagemaker_training_compiler_enabled": "true",
    "sagemaker_training_compiler_debug_mode": "false"
}

Para encontrar uma lista completa de imagens de contêiner de aprendizado profundo URIs que têm o SageMaker Training Compiler implementado, consulteEstruturas compatíveis.