Optimieren eines NTM-Modells - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Optimieren eines NTM-Modells

Die automatische Modelloptimierung, auch bekannt als Hyperparameter-Optimierung, sucht die beste Version eines Modells, indem viele Aufträge ausgeführt werden, die einen Bereich von Hyperparametern in Ihrem Dataset testen. Sie wählen die optimierbaren Hyperparameter, eine Reihe von Werten für jeden Parameter und eine objektive Metrik aus. Sie wählen die objektive Metrik aus den Metriken aus, die der Algorithmus berechnet. Die automatische Modelloptimierung durchsucht die ausgewählten Hyperparameter nach der Kombination von Werten, die das Modell ergeben, das die objektive Metrik optimiert.

Amazon SageMaker NTM ist ein Algorithmus für unüberwachtes Lernen, der Bol-Darstellungen großer Sammlungen diskreter Daten lernt, z. B. ein Korpus von Dokumenten. Latente Darstellungen verwenden abgeleitete Variablen, die nicht direkt gemessen werden, um die Beobachtungen in einem Dataset zu modellieren. Mithilfe der automatischen Modelloptimierung im NTM finden Sie das Modell, das den Verlust von Schulungs- oder Validierungsdaten minimiert. Mit dem Schulungsverlust wird gemessen, wie gut das Modell zu den Schulungsdaten passt. Anhand des Validierungsverlusts wird gemessen, wie gut das Modell im Hinblick auf Daten verallgemeinern kann, die nicht Bestandteil der Schulung sind. Ein niedriger Schulungsverlust gibt an, dass ein Modell für die Schulungsdaten gut passt. Geringe Validierungsverluste zeigen an, dass ein Modell die Trainingsdaten nicht übermäßig angepasst hat und daher in der Lage sein sollte, Dokumente erfolgreich zu modellieren, für die es nicht trainiert wurde. Normalerweise ist es am besten, wenn beide Verluste klein sind. Ein zu starkes Minimieren des Schulungsverlusts kann jedoch zur Überanpassung führen und den Validierungsverlust erhöhen. Dies würde die Allgemeingültigkeit des Modells reduzieren.

Mehr Informationen über die Modelloptimierung finden Sie unter Führen Sie eine automatische Modelloptimierung durch mit SageMaker.

Vom NTM-Algorithmus berechnete Metriken

Der NTM-Algorithmus meldet eine einzelne Metrik, die während der Schulung berechnet wird: validation:total_loss. Der gesamte Verlust ist die Summe aus Rekonstruktionsverlust und Kullback-Leibler-Divergenz. Wenn Sie die Hyperparameterwerte optimieren, wählen Sie diese Metrik als objektive Metrik aus.

Metrikname Beschreibung Optimierungsrichtung
validation:total_loss

Gesamter Verlust im Validierungsdataset

Minimieren

Optimierbare NTM-Hyperparameter

Sie können die folgenden Hyperparameter für den NTM-Algorithmus optimieren. Mit niedrigen mini_batch_size- und kleinen learning_rate-Werten entstehen geringere Validierungsverluste, allerdings kann die Schulung länger dauern. Niedrige Validierungsverluste produzieren nicht unbedingt kohärente Themen nach Auslegung durch Menschen. Die Wirkung anderer Hyperparameter auf Schulungen und Validierungsverlust kann von Dataset zu Dataset variieren. Informationen dazu, welche Werte kompatibel sind, finden Sie unter NTM-Hyperparameter.

Name des Parameters Parametertyp Empfohlene Bereiche
encoder_layers_activation

CategoricalParameterRanges

['sigmoid', 'tanh', 'relu']

learning_rate

ContinuousParameterRange

MinValue: 1e-4, MaxValue: 0,1

mini_batch_size

IntegerParameterRanges

MinValue: 16. MaxValue:2048

optimizer

CategoricalParameterRanges

['sgd', 'adam', 'adadelta']

rescale_gradient

ContinuousParameterRange

MinValue: 0,1, MaxValue1,0

weight_decay

ContinuousParameterRange

MinValue: 0,0, MaxValue1,0