Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Cluster-Reparaturen bei GPU-Fehlern
Wenn Sie einen Trainingsjob ausführen, der auf einer GPU fehlschlägt, führt SageMaker AI eine GPU-Zustandsprüfung durch, um festzustellen, ob der Fehler mit einem GPU-Problem zusammenhängt. SageMaker Die KI ergreift auf der Grundlage der Ergebnisse der Integritätsprüfung die folgenden Maßnahmen:
Wenn der Fehler behebbar ist und durch einen Neustart der Instance oder durch Zurücksetzen der GPU behoben werden kann, SageMaker startet AI die Instance neu.
Wenn der Fehler nicht behebbar ist und durch eine GPU verursacht wird, die ausgetauscht werden muss, ersetzt AI die Instance. SageMaker
Die Instanz wird im Rahmen eines SageMaker AI-Cluster-Reparaturprozesses entweder ersetzt oder neu gestartet. Während dieses Vorgangs wird die folgende Nachricht in Ihrem Trainingsjobstatus angezeigt:
Repairing training cluster due to hardware failure
SageMaker AI wird bis zu 5 Mal versuchen, den Cluster zu 10 reparieren. Wenn die Cluster-Reparatur erfolgreich ist, startet die SageMaker KI den Trainingsjob automatisch vom vorherigen Checkpoint aus neu. Wenn die Cluster-Reparatur fehlschlägt, schlägt auch der Trainingsjob fehl. Der Clusterreparaturprozess wird Ihnen nicht in Rechnung gestellt. Clusterreparaturen werden erst eingeleitet, wenn Ihr Trainingsjob fehlschlägt. Wenn bei einem Warmpool-Cluster ein GPU-Problem festgestellt wird, wechselt der Cluster in den Reparaturmodus, um die fehlerhafte Instance entweder neu zu starten oder zu ersetzen. Nach der Reparatur kann der Cluster weiterhin als Warmpool-Cluster verwendet werden.
Der zuvor beschriebene Reparaturprozess für Cluster und Instances ist im folgenden Diagramm dargestellt:
