Optimieren eines LDA-Modells - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Optimieren eines LDA-Modells

Die automatische Modelloptimierung, auch bekannt als Hyperparameteroptimierung, sucht die beste Version eines Modells, indem viele Aufträge ausgeführt werden, die einen Bereich von Hyperparametern in Ihrem Datensatz testen. Sie wählen die optimierbaren Hyperparameter, eine Reihe von Werten für jeden Parameter und eine objektive Metrik aus. Sie wählen die objektive Metrik aus den Metriken aus, die der Algorithmus berechnet. Die automatische Modelloptimierung durchsucht die ausgewählten Hyperparameter nach der Kombination von Werten, die das Modell ergeben, das die objektive Metrik optimiert.

LDA ist ein unüberwachter Themenmodellierungsalgorithmus, der versucht, eine Reihe von Beobachtungen (Dokumente) als Mischung unterschiedlicher Kategorien (Themen) zu beschreiben. Die "per-word log-likelihood" (PWLL)-Metrik misst die Wahrscheinlichkeit, dass eine gelernte Reihe von Themen (ein LDA-Modell) ein Testdokument-Datensatz genau beschreibt. Größere PWLL-Werte weisen darauf hin, dass die Testdaten mit größerer Wahrscheinlichkeit vom LDA-Modell beschrieben werden.

Mehr Informationen über die Modelloptimierung finden Sie unter Automatische Modelloptimierung mit SageMaker.

Vom LDA-Algorithmus berechnete Metriken

Der LDA-Algorithmus meldet eine einzelnen Metrik während des Trainings: test:pwll. Wählen Sie beim Optimieren eines Modells diese Metrik als objektive Metrik aus.

Metrikname Beschreibung Optimierungsrichtung
test:pwll

Per-word log-likelihood des Testdatensatzes. Die Wahrscheinlichkeit, dass der Testdatensatz vom gelernten LDA-Modell genau beschrieben wird.

Maximieren

Optimierbare LDA-Hyperparameter

Sie können die folgenden Hyperparameter für den LDA-Algorithmus optimieren. Beide Hyperparameter, alpha0 und num_topics, können die objektive LDA-Metrik (test:pwll) beeinflussen. Wenn Sie die optimalen Werte für diese Hyperparameter, die die per-word log-likelihood maximieren und ein präzises LDA-Modell erzeugen, noch nicht kennen, kann die automatische Modelloptimierung weiterhelfen.

Name des Parameters Parametertyp Empfohlene Bereiche
alpha0

ContinuousParameterRanges

MinValue: 0,1,: 10 MaxValue

num_topics

IntegerParameterRanges

MinValue: 1, MaxValue: 150