View a markdown version of this page

Habilitar pontos de verificação - SageMaker IA da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Habilitar pontos de verificação

Depois de ativar o checkpoint, a SageMaker IA salva os pontos de verificação no Amazon S3 e sincroniza seu trabalho de treinamento com o bucket do checkpoint S3. Você pode usar buckets de uso geral do S3 ou de diretório do S3 para o ponto de verificação do bucket do S3.

Diagrama de arquitetura dos pontos de verificação de escrita durante o treinamento.

O exemplo a seguir mostra como configurar caminhos de pontos de verificação ao criar um objeto de treinamento de SageMaker IA.

Para ativar o checkpoint, adicione o checkpoint_config parâmetro ao seuModelTrainer. O modelo de exemplo a seguir mostra como criar uma SageMaker IA ModelTrainer e ativar o checkpoint. Você pode usar esse modelo para qualquer algoritmo compatível especificando o training_image parâmetro. Para encontrar URIs de imagem do Docker para algoritmos com pontos de verificação suportados pela SageMaker IA, consulte Caminhos de registro e código de exemplo do Docker. Na V3, a ModelTrainer classe unificada substitui todas as classes de estimadores específicas da estrutura (TensorFlow,,, XGBoost PyTorch, HuggingFace etc.).

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import Compute, CheckpointConfig
from sagemaker.core.helper.session_helper import Session

bucket = Session().default_bucket()
base_job_name = "sagemaker-checkpoint-test"
checkpoint_in_bucket = "checkpoints"

# The S3 URI to store the checkpoints
checkpoint_s3_bucket = "s3://{}/{}/{}".format(bucket, base_job_name, checkpoint_in_bucket)

model_trainer = ModelTrainer(
    training_image="<ecr_path>/<algorithm-name>:<tag>",
    role=role,
    compute=Compute(instance_type="ml.m5.xlarge", instance_count=1),
    base_job_name=base_job_name,
    checkpoint_config=CheckpointConfig(
        s3_uri=checkpoint_s3_bucket,
        local_path="/opt/ml/checkpoints"
    )
)

O checkpoint_config parâmetro aceita um CheckpointConfig objeto com os seguintes campos:

  • local_path— O caminho local em que o modelo salva os pontos de verificação periodicamente em um contêiner de treinamento. O caminho padrão é definido como '/opt/ml/checkpoints'. Se você estiver usando outros frameworks ou trazendo seu próprio contêiner de treinamento, certifique-se de que a configuração do ponto de verificação do seu script de treinamento especifique o caminho para '/opt/ml/checkpoints'.

    nota

    Recomendamos especificar os caminhos locais '/opt/ml/checkpoints' para serem consistentes com as configurações padrão do ponto de verificação de SageMaker IA. Se você preferir especificar seu próprio caminho local, certifique-se de combinar o caminho de salvamento do ponto de verificação em seu roteiro de treinamento e o local_path em seuCheckpointConfig.

  • s3_uri: URI para um bucket do S3 em que os pontos de verificação são armazenados em tempo real. Você pode especificar um bucket de uso geral do S3 ou de diretório do S3 para armazenar os pontos de verificação. Para mais informações sobre os buckets do diretório do S3, consulte Buckets de diretório no Guia do usuário do Amazon Simple Storage Service.

Para encontrar uma lista completa dos ModelTrainer parâmetros de SageMaker IA, consulte a ModelTrainer API na documentação do Amazon SageMaker Python SDK.