Optimieren Sie ein Modell NTM - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Optimieren Sie ein Modell NTM

Die automatische Modelloptimierung, auch bekannt als Hyperparameteroptimierung, sucht die beste Version eines Modells, indem viele Aufträge ausgeführt werden, die einen Bereich von Hyperparametern in Ihrem Datensatz testen. Sie wählen die optimierbaren Hyperparameter, eine Reihe von Werten für jeden Parameter und eine objektive Metrik aus. Sie wählen die objektive Metrik aus den Metriken aus, die der Algorithmus berechnet. Die automatische Modelloptimierung durchsucht die ausgewählten Hyperparameter nach der Kombination von Werten, die das Modell ergeben, das die objektive Metrik optimiert.

Amazon SageMaker NTM ist ein Algorithmus für unbeaufsichtigtes Lernen, der latente Repräsentationen großer Sammlungen diskreter Daten, wie z. B. eines Korpus von Dokumenten, lernt. Latente Darstellungen verwenden abgeleitete Variablen, die nicht direkt gemessen werden, um die Beobachtungen in einem Datensatz zu modellieren. Die automatische Modelloptimierung NTM hilft Ihnen dabei, das Modell zu finden, das den Verlust von Trainings- oder Validierungsdaten minimiert. Mit dem Trainingsverlust wird gemessen, wie gut das Modell zu den Trainingsdaten passt. Anhand des Validierungsverlusts wird gemessen, wie gut das Modell im Hinblick auf Daten verallgemeinern kann, die nicht Bestandteil des Trainings sind. Ein niedriger Trainingsverlust gibt an, dass ein Modell für das Trainingsdaten gut passt. Geringe Validierungsverluste zeigen an, dass ein Modell die Trainingsdaten nicht übermäßig angepasst hat und daher in der Lage sein sollte, Dokumente erfolgreich zu modellieren, für die es nicht trainiert wurde. Normalerweise ist es am besten, wenn beide Verluste klein sind. Ein zu starkes Minimieren des Trainingsverlusts kann jedoch zur Überanpassung führen und den Validierungsverlust erhöhen. Dies würde die Allgemeingültigkeit des Modells reduzieren.

Mehr Informationen über die Modelloptimierung finden Sie unter Automatische Modelloptimierung mit SageMaker.

Vom Algorithmus berechnete Metriken NTM

Der NTM Algorithmus meldet eine einzelne Metrik, die während des Trainings berechnet wird:. validation:total_loss Der gesamte Verlust ist die Summe aus Rekonstruktionsverlust und Kullback-Leibler-Divergenz. Wenn Sie die Hyperparameterwerte optimieren, wählen Sie diese Metrik als objektive Metrik aus.

Metrikname Beschreibung Optimierungsrichtung
validation:total_loss

Gesamter Verlust im Validierungsdatensatz

Minimieren

Einstellbare Hyperparameter NTM

Sie können die folgenden Hyperparameter für den Algorithmus einstellen. NTM Mit niedrigen – mini_batch_sizeund kleinen learning_rate-Werten entstehen geringere Validierungsverluste, allerdings kann das Training länger dauern. Niedrige Validierungsverluste produzieren nicht unbedingt kohärente Themen nach Auslegung durch Menschen. Die Wirkung anderer Hyperparameter auf Trainings und Validierungsverlust kann von Datensatz zu Datensatz variieren. Informationen dazu, welche Werte kompatibel sind, finden Sie unter NTMHyperparameter.

Name des Parameters Parametertyp Empfohlene Bereiche
encoder_layers_activation

CategoricalParameterRanges

['sigmoid', 'tanh', 'relu']

learning_rate

ContinuousParameterRange

MinValue: 1e-4,: 0.1 MaxValue

mini_batch_size

IntegerParameterRanges

MinValue: 16, :2048 MaxValue

optimizer

CategoricalParameterRanges

['sgd', 'adam', 'adadelta']

rescale_gradient

ContinuousParameterRange

MinValue: 0,1,: 1,0 MaxValue

weight_decay

ContinuousParameterRange

MinValue: 0,0, MaxValue: 1,0