LDA モデルを調整する - Amazon SageMaker AI

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

LDA モデルを調整する

自動モデル調整は、ハイパーパラメータ調整とも呼ばれ、データセットのさまざまなハイパーパラメータをテストする多数のジョブを実行して、モデルの最適なバージョンを見つけます。調整可能なハイパーパラメータ、それぞれの値の範囲、および目標メトリクスを選択します。アルゴリズムが計算するメトリクスから目標メトリクスを選択します。自動モデル調整は、選択されたハイパーパラメータを検索して、目標メトリクスを最適化するモデルになる値の組み合わせを見つけます。

LDA は、一連の観測値 (ドキュメント) を異なるカテゴリ (トピック) の混在として記述しようとする、教師なしのトピックモデリングアルゴリズムです。「単語ごとの対数尤度」 (PWLL) メトリクスは、学習した一連のトピック (LDAモデル) がテストドキュメントデータセットを正確に記述する可能性を測定します。の値が大きいほどPWLL、テストデータがLDAモデルによって記述される可能性が高くなります。

モデル調整の詳細については、「 SageMaker AI による自動モデル調整」を参照してください。

LDA アルゴリズムによって計算されるメトリクス

LDA アルゴリズムは、トレーニング中に 1 つのメトリクスをレポートします: test:pwll。モデルを調整するときに、このメトリクスを目標メトリクスとして選択します。

メトリクス名 説明 最適化の方向
test:pwll

テストデータセットの単語ごとの対数尤度。テストデータセットが学習したLDAモデルによって正確に記述される可能性。

最大化

調整可能なLDAハイパーパラメータ

LDA アルゴリズムの次のハイパーパラメータを調整できます。ハイパーパラメータ alpha0と の両方がLDA目標メトリクス () に影響を与えるnum_topics可能性がありますtest:pwll。これらのハイパーパラメータの最適な値がわからない場合、単語ごとのログの可能性を最大化し、正確なLDAモデルを生成すると、自動モデル調整がハイパーパラメータを見つけるのに役立ちます。

パラメータ名 パラメータタイプ 推奨範囲
alpha0

ContinuousParameterRanges

MinValue: 0.1、 MaxValue: 10

num_topics

IntegerParameterRanges

MinValue: 1、 MaxValue: 150