Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Vorzeitiges Beenden von Trainingsaufträgen
Beenden Sie die Trainingsaufträge, die ein Hyperparameter-Optimierungsauftrag startet, vorzeitig, wenn diese keine signifikanten Verbesserungen erzielen, was Sie an der objektiven Metrik ablesen können. Durch das vorzeitige Beenden von Trainingsaufträgen wird die Datenverarbeitungszeit reduziert und eine Überanpassung Ihres Modells vermieden. Gehen Sie wie folgt vor, um einen Hyperparameter-Optimierungsauftrag so zu konfigurieren, dass Trainingsaufträge vorzeitig beendet werden:
-
Wenn Sie das AWS SDK für Python (Boto3) verwenden, legen Sie das
TrainingJobEarlyStoppingTypeFeld desHyperParameterTuningJobConfigObjekts, das Sie für die Konfiguration des Tuning-Jobs verwenden, fest.AUTO -
Wenn Sie das Amazon SageMaker Python SDK verwenden
, setzen Sie den early_stopping_typeParameter des HyperParameterTunerObjekts auf. Auto -
Wählen Sie in der Amazon SageMaker AI-Konsole im Workflow „Hyperparameter-Tuning-Job erstellen“ unter Frühzeitiges Stoppen die Option Auto aus.
Ein Beispiel-Notebook, das die Verwendung von Early Stopping demonstriert, finden Sie im Abschnitt Hyperparameter Tuning der SageMaker AI-Beispiele in einer hpo_image_classification_early_stopping.ipynb Notebook-Instance https://github.com/awslabs/amazon-sagemaker-examples/blob/master/hyperparameter_tuning/image_classification_early_stopping/hpo_image_classification_early_stopping.ipynb
Funktionsweise des vorzeitigen Beendens
Wenn Sie das Early Stopping für einen Hyperparameter-Tuning-Job aktivieren, wertet SageMaker AI jeden Trainingsjob, den der Hyperparameter-Tuning-Job startet, wie folgt aus:
-
Nach jeder Trainingsepoche wird der Wert der objektiven Metrik ermittelt.
-
Der aktuelle Durchschnitt der objektiven Metrik wird für alle vorherigen Trainingsaufträge bis zur selben Epoche berechnet, anschließend wird der Mittelwert aller aktuellen Durchschnittswerte berechnet.
-
Wenn der Wert der Zielmetrik für den aktuellen Trainingsjob schlechter ist (höher, wenn die Zielmetrik minimiert wird, oder niedriger, wenn die Zielmetrik maximiert wird) als der Medianwert der laufenden Durchschnittswerte der Zielmetrik für frühere Trainingsjobs bis zur gleichen Epoche, SageMaker stoppt die KI den aktuellen Trainingsjob.
Algorithmen, die das vorzeitige Beenden unterstützen
Um das vorzeitige Beenden zu unterstützen, muss ein Algorithmus objektive Metriken für jede Epoche ausgeben. Die folgenden integrierten SageMaker KI-Algorithmen unterstützen ein frühzeitiges Beenden:
-
Algorithmus für lineares Lernen– Wird nur unterstützt, wenn Sie
objective_lossals Zielmetrik verwenden.
Anmerkung
Diese Liste der integrierten Algorithmen, die das vorzeitige Beenden unterstützen, ist auf dem Stand vom 13. Dezember 2018. Andere integrierte Algorithmen unterstützen möglicherweise in Zukunft das vorzeitige Beenden. Wenn ein Algorithmus eine Metrik ausgibt, die als objektive Metrik für einen Hyperparameter-Optimierungsauftrag verwendet werden kann (vorzugsweise eine Validierungsmetrik), unterstützt er das vorzeitige Beenden.
Um das vorzeitige Beenden mit Ihrem eigenen Algorithmus zu verwenden, müssen Sie Ihre Algorithmen so entwickeln, dass sie den Wert der objektiven Metrik nach jeder Epoche ausgeben. Die folgende Liste zeigt, wie Sie dies in verschiedenen Frameworks erreichen können:
- TensorFlow
-
Verwenden Sie die
tf.keras.callbacks.ProgbarLogger-Klasse. Informationen finden Sie in den tf.keras.callbacks. ProgbarLogger API. - MXNet
-
Verwenden Sie die
mxnet.callback.LogValidationMetricsCallback. Informationen finden Sie in den mxnet.callback-APIs. - Chainer
-
Erweitern Sie den Chainer durch Verwendung der
extensions.Evaluator-Klasse. Informationen finden Sie in der Chainer.Training.Extensions.Evaluator-API. - PyTorch und Spark
-
Es gibt keine High-Level-Unterstützung. Sie müssen Ihren Trainingscode explizit so entwickeln, dass er objektive Metriken berechnet und sie nach jeder Epoche in Protokolle schreibt.
