View a markdown version of this page

Aktivieren von Checkpointing - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Aktivieren von Checkpointing

Nachdem Sie Checkpointing aktiviert haben, speichert SageMaker AI Checkpoints in Amazon S3 und synchronisiert Ihren Trainingsjob mit dem Checkpoint S3-Bucket. Sie können entweder S3-Allzweck-Buckets oder S3-Verzeichnis-Buckets für Ihren Checkpoint-S3-Bucket verwenden.

Architekturdiagramm des Schreibens von Checkpoints während des Trainings.

Das folgende Beispiel zeigt, wie Sie Checkpoint-Pfade konfigurieren, wenn Sie ein KI-Trainingsobjekt erstellen. SageMaker

Um Checkpointing zu aktivieren, fügen Sie den checkpoint_config Parameter zu Ihrem hinzu. ModelTrainer Die folgende Beispielvorlage zeigt, wie Sie eine SageMaker KI erstellen ModelTrainer und Checkpointing aktivieren. Sie können diese Vorlage für jeden unterstützten Algorithmus verwenden, indem Sie den training_image Parameter angeben. Informationen zu Docker-Image-URIs für Algorithmen mit von SageMaker KI unterstütztem Checkpointing finden Sie unter Docker-Registrierungspfade und Beispielcode. In V3 ersetzt die vereinheitlichte ModelTrainer Klasse alle Framework-spezifischen Schätzklassen (TensorFlow,,, XGBoost PyTorch usw. HuggingFace).

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import Compute, CheckpointConfig
from sagemaker.core.helper.session_helper import Session

bucket = Session().default_bucket()
base_job_name = "sagemaker-checkpoint-test"
checkpoint_in_bucket = "checkpoints"

# The S3 URI to store the checkpoints
checkpoint_s3_bucket = "s3://{}/{}/{}".format(bucket, base_job_name, checkpoint_in_bucket)

model_trainer = ModelTrainer(
    training_image="<ecr_path>/<algorithm-name>:<tag>",
    role=role,
    compute=Compute(instance_type="ml.m5.xlarge", instance_count=1),
    base_job_name=base_job_name,
    checkpoint_config=CheckpointConfig(
        s3_uri=checkpoint_s3_bucket,
        local_path="/opt/ml/checkpoints"
    )
)

Der checkpoint_config Parameter akzeptiert ein CheckpointConfig Objekt mit den folgenden Feldern:

  • local_path— Der lokale Pfad, in dem das Modell die Checkpoints regelmäßig in einem Trainingscontainer speichert. Der Standardpfad ist auf '/opt/ml/checkpoints' gesetzt. Wenn Sie andere Frameworks verwenden oder Ihren eigenen Trainingscontainer mitbringen, stellen Sie sicher, dass die Checkpoint-Konfiguration Ihres Trainingsskripts den Pfad zu '/opt/ml/checkpoints' angibt.

    Anmerkung

    Wir empfehlen, die lokalen Pfade so anzugeben'/opt/ml/checkpoints', dass sie mit den standardmäßigen SageMaker AI-Checkpoint-Einstellungen übereinstimmen. Wenn Sie es vorziehen, Ihren eigenen lokalen Pfad anzugeben, stellen Sie sicher, dass Sie dem Checkpoint-Speicherpfad in Ihrem Trainingsskript und dem local_path in Ihrem entsprechen. CheckpointConfig

  • s3_uri – Der URI zu einem S3-Bucket, in dem die Checkpoints in Echtzeit gespeichert werden. Sie können entweder einen S3-Allzweck-Bucket oder einen S3-Verzeichnis-Bucket zum Speichern Ihrer Checkpoints angeben. Weitere Informationen über S3-Verzeichnis-Buckets finden Sie unter Verzeichnis-Buckets im Benutzerhandbuch für Amazon Simple Storage Service.

Eine vollständige Liste der SageMaker ModelTrainer AI-Parameter finden Sie in der ModelTrainer API in der Amazon SageMaker Python SDK-Dokumentation.