Passen Sie Ihr PyTorch Trainingsskript an

Erstellen Sie einen Hook.

(Empfohlen) Für Ausbildungsjobs innerhalb SageMaker

import smdebug.pytorch as smd
hook=smd.get_hook(create_if_not_exists=True)

Wenn Sie einen Trainingsjob Starten Sie Trainingsjobs mit dem Debugger mithilfe von Python SageMaker SDK mit einer der Regeln DebuggerHookConfig TensorBoardConfig, oder in Ihrem Kalkulator starten, wird Ihrer Trainingsinstanz eine JSON Konfigurationsdatei SageMaker hinzugefügt, die von der get_hook Funktion übernommen wird. Beachten Sie, dass der Hook keine Konfigurationsdatei finden kann, wenn Sie keine Konfiguration APIs in Ihren Schätzer aufnehmen, und die Funktion zurückkehrt. None

(Optional) Für Trainingsjobs im Freien SageMaker

Wenn Sie Trainingsjobs im lokalen Modus, direkt auf SageMaker Notebook-Instances, EC2 Amazon-Instances oder Ihren eigenen lokalen Geräten ausführen, verwenden Sie smd.Hook class, um einen Hook zu erstellen. Bei diesem Ansatz können jedoch nur die Tensorsammlungen gespeichert und zur TensorBoard Visualisierung verwendet werden. SageMaker Die integrierten Regeln des Debuggers funktionieren nicht im lokalen Modus, da die Regeln SageMaker ML-Trainingsinstanzen und S3 benötigen, um die Ausgaben der Remote-Instanzen in Echtzeit zu speichern. Die smd.get_hook API Renditen None in diesem Fall.

Wenn Sie einen manuellen Hook erstellen möchten, um Tensoren im lokalen Modus zu speichern, verwenden Sie den folgenden Codeausschnitt mit der Logik, um zu überprüfen, ob der smd.get_hook API zurückkehrt, None und erstellen Sie einen manuellen Hook mithilfe der Klasse. smd.Hook Beachten Sie, dass Sie ein beliebiges Ausgabeverzeichnis auf Ihrem lokalen Computer angeben können.

import smdebug.pytorch as smd
hook=smd.get_hook(create_if_not_exists=True)

if hook is None:
    hook=smd.Hook(
        out_dir='/path/to/your/local/output/',
        export_tensorboard=True
    )

Verpacken Sie Ihr Modell mit den Klassenmethoden des Hooks.

Die hook.register_module() Methode verwendet Ihr Modell und durchläuft jede Ebene. Dabei wird nach Tensoren gesucht, die mit den regulären Ausdrücken übereinstimmen, die Sie in der Konfiguration in Starten Sie Trainingsjobs mit dem Debugger mithilfe von Python SageMaker SDK angeben. Die Tensoren, die mit dieser Hook-Methode gesammelt werden können, sind Gewichtungen, Verzerrungen, Aktivierungen, Gradienten, Eingaben und Ausgaben.

hook.register_module(model)

Verzerren Sie die Verlustfunktion mit den Klassenmethoden des Hooks.

Die hook.register_loss Methode besteht darin, die Verlustfunktion zu umschließen. Sie extrahiert alle Verlustwertesave_interval, die Sie bei der Konfiguration in Starten Sie Trainingsjobs mit dem Debugger mithilfe von Python SageMaker SDK festlegen, und speichert sie in der "losses" Sammlung.

hook.register_loss(loss_function)

Fügen Sie hook.set_mode(ModeKeys.TRAIN) den Zugblock hinzu. Dies bedeutet, dass die Tensorsammlung während der Trainingsphase extrahiert wurde.

def train():
    ...
    hook.set_mode(ModeKeys.TRAIN)

Fügen Sie hook.set_mode(ModeKeys.EVAL) den Validierungsblock hinzu. Dies bedeutet, dass die Tensorsammlung während der Validierungsphase extrahiert wurde.

def validation():
    ...
    hook.set_mode(ModeKeys.EVAL)

Verwenden Sie hook.save_scalar(), um benutzerdefinierte Skalare zu speichern. Sie können Skalarwerte speichern, die nicht in Ihrem Modell enthalten sind. Wenn Sie beispielsweise die bei der Auswertung berechneten Genauigkeitswerte aufzeichnen möchten, fügen Sie unter der Zeile, in der Sie die Genauigkeit berechnen, die folgende Codezeile hinzu.

hook.save_scalar("accuracy", accuracy)

Beachten Sie, dass Sie eine Zeichenfolge als erstes Argument angeben müssen, um die benutzerdefinierte Skalarsammlung zu benennen. Dies ist der Name, der für die Visualisierung der Skalarwerte verwendet wird. Er kann eine TensorBoard beliebige Zeichenfolge sein.

Verwenden Sie hook.save_tensor(), um benutzerdefinierte Tensoren zu speichern. Ähnlich wie bei hook.save_scalar() können Sie weitere Tensoren speichern und so Ihre eigene Tensorsammlung definieren. Sie können beispielsweise Eingabe-Image-Daten, die an das Modell übergeben werden, extrahieren und als benutzerdefinierten Tensor speichern, indem Sie die folgende Codezeile hinzufügen, in "images" der ein Beispielname des benutzerdefinierten Tensors steht, image_inputs eine Beispielvariable für die Eingabe-Image-Daten ist.

hook.save_tensor("images", image_inputs)

Beachten Sie, dass Sie für das erste Argument eine Zeichenfolge angeben müssen, um den benutzerdefinierten Tensor zu benennen. hook.save_tensor() hat das dritte Argument collections_to_write, um die Tensorsammlung zum Speichern des benutzerdefinierten Tensors anzugeben. Der Standardwert ist collections_to_write="default". Wenn Sie das dritte Argument nicht explizit angeben, wird der benutzerdefinierte Tensor in der "default"-Tensorsammlung gespeichert.