LDA モデルを調整する

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

自動モデル調整は、ハイパーパラメータ調整とも呼ばれ、データセットのさまざまなハイパーパラメータをテストする多数のジョブを実行して、モデルの最適なバージョンを見つけます。調整可能なハイパーパラメータ、それぞれの値の範囲、および目標メトリクスを選択します。アルゴリズムが計算するメトリクスから目標メトリクスを選択します。自動モデル調整は、選択されたハイパーパラメータを検索して、目標メトリクスを最適化するモデルになる値の組み合わせを見つけます。

LDA は、一連の観測 (ドキュメント) を異なるのカテゴリ (トピック) の混在として記述しようとする、親なしトピックモデリングアルゴリズムです。「単語ごとの対数尤度」 (PWLL) メトリクスは、学習したトピックのセット (LDA モデル) がテストドキュメントデータセットを正確に記述している可能性を測定します。PWLL の値が大きいほど、テストデータが LDA モデルによって記述される可能性が高いことを示します。

モデル調整の詳細については、「SageMaker AI による自動モデル調整」を参照してください。

LDA アルゴリズムによって計算されたメトリクス

LDA アルゴリズムは、トレーニング中に単一のメトリクス test:pwll について報告します。モデルを調整するときに、このメトリクスを目標メトリクスとして選択します。

調整可能な LDA ハイパーパラメータ

LDA アルゴリズムの以下のハイパーパラメータを調整できます。ハイパーパラメータ alpha0 と num_topics はどちらも、LDA 目標メトリクス (test:pwll) に影響を与える可能性があります。単語ごとの対数尤度を最大化し、正確な LDA モデルを生成する、これらのハイパーパラメータの最適値がまだわからない場合は、自動モデル調整で見つけることができます。