Schulung ohne Checkpoint bei Amazon SageMaker HyperPod

Checkpointless-Schulungen bei Amazon SageMaker HyperPod ermöglichen eine schnellere Wiederherstellung nach Störungen der Trainingsinfrastruktur. Die folgende Dokumentation hilft Ihnen beim Einstieg in das Training und die Feinabstimmung von Modellen ohne Checkpoints. NeMo-supported

Für das Training ohne Checkpointless gelten die folgenden Voraussetzungen:

Checkpointless Training on SageMaker HyperPod baut auf dem NVIDIA NeMo Framework-Benutzerhandbuch auf. Sie können Checkpointless-Training mit vorgefertigten Rezepten durchführen. SageMaker HyperPod Wenn du damit vertraut bist NeMo, ist der Prozess der Verwendung der Checkpoint-less-Trainingsrezepte ähnlich. Mit geringfügigen Änderungen können Sie mit dem Training eines Modells beginnen, indem Sie Trainingsfunktionen ohne Checkpoints verwenden, mit denen Sie sich schnell von Trainingsfehlern erholen können.

Die folgenden HyperPod Rezepte sind mit Trainingsoptimierungen ohne Checkpoints vorkonfiguriert. Sie können Ihre Datenpfade als Teil des Rezepts angeben und das zugehörige Startskript verwenden, um das Training auszuführen (siehe die Schnellstartanleitung unten):

Die folgende Schnellstartanleitung enthält Tutorials zur Verwendung von Checkpointless-Trainingsrezepten:

Beispiele für den Einstieg

Wenn Sie benutzerdefinierte Modelle vorab trainieren oder eine Feinabstimmung vornehmen möchten, finden Sie unter. Tutorials — Amazon SageMaker HyperPod Checkpointless Pretraining oder Feinabstimmung benutzerdefinierter Modelle

Um mehr über die Integration bestimmter Trainingskomponenten ohne Checkpoint zu erfahren,. HyperPod Funktionen für Checkpointless-Training