View a markdown version of this page

Abilitazione del checkpointing - Amazon SageMaker AI

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Abilitazione del checkpointing

Dopo aver abilitato il checkpoint, SageMaker AI salva i checkpoint su Amazon S3 e sincronizza il tuo lavoro di formazione con il bucket checkpoint S3. Puoi utilizzare i bucket di directory S3 generici o i bucket di directory S3 per il tuo bucket S3 di checkpoint.

Diagramma architettonico della scrittura dei checkpoint durante l’addestramento.

L'esempio seguente mostra come configurare i percorsi dei checkpoint quando si costruisce un oggetto di addestramento AI. SageMaker

Per abilitare il checkpoint, aggiungi il parametro al checkpoint_config tuo. ModelTrainer Il seguente modello di esempio mostra come creare un' SageMaker IA ModelTrainer e abilitare il checkpoint. È possibile utilizzare questo modello per qualsiasi algoritmo supportato specificando il parametro. training_image Per trovare gli URI delle immagini Docker per algoritmi con checkpoint supportati dall' SageMaker intelligenza artificiale, vedi Docker Registry Paths and Example Code. Nella V3, la classe unificata sostituisce tutte le ModelTrainer classi di stimatore specifiche del framework (,,, XGBoost, ecc.). TensorFlow PyTorch HuggingFace

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import Compute, CheckpointConfig
from sagemaker.core.helper.session_helper import Session

bucket = Session().default_bucket()
base_job_name = "sagemaker-checkpoint-test"
checkpoint_in_bucket = "checkpoints"

# The S3 URI to store the checkpoints
checkpoint_s3_bucket = "s3://{}/{}/{}".format(bucket, base_job_name, checkpoint_in_bucket)

model_trainer = ModelTrainer(
    training_image="<ecr_path>/<algorithm-name>:<tag>",
    role=role,
    compute=Compute(instance_type="ml.m5.xlarge", instance_count=1),
    base_job_name=base_job_name,
    checkpoint_config=CheckpointConfig(
        s3_uri=checkpoint_s3_bucket,
        local_path="/opt/ml/checkpoints"
    )
)

Il parametro accetta un oggetto con i seguenti campi: checkpoint_config CheckpointConfig

  • local_path— Il percorso locale in cui il modello salva periodicamente i checkpoint in un contenitore di formazione. Il percorso predefinito è '/opt/ml/checkpoints'. Se stai utilizzando altri framework o state utilizzando un container di addestramento personale, assicurati che la configurazione del checkpoint dello script di addestramento specifichi il percorso verso '/opt/ml/checkpoints'.

    Nota

    Consigliamo di specificare i percorsi locali in '/opt/ml/checkpoints' modo che siano coerenti con le impostazioni predefinite dei checkpoint SageMaker AI. Se preferisci specificare il tuo percorso locale, assicurati di far corrispondere il percorso di salvataggio del checkpoint nello script di formazione e quello local_path nel tuo. CheckpointConfig

  • s3_uri— L'URI di un bucket S3 in cui i checkpoint sono memorizzati in tempo reale. È possibile specificare un bucket S3 generico o di directory per archiviare i checkpoint. Per ulteriori informazioni sui bucket di directory S3, consulta Bucket di directory nella Guida per l’utente di Amazon Simple Storage Service.

Per trovare un elenco completo dei ModelTrainer parametri SageMaker AI, consulta l'ModelTrainer API nella documentazione dell'SDK https://sagemaker.readthedocs.io/en/stable Amazon SageMaker Python.