BlazingText モデルのチューニング - Amazon SageMaker

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

BlazingText モデルのチューニング

自動モデル調整は、ハイパーパラメータ調整とも呼ばれ、データセットのさまざまなハイパーパラメータをテストする多数のジョブを実行して、モデルの最適なバージョンを見つけます。調整可能なハイパーパラメータ、それぞれの値の範囲、および目標メトリクスを選択します。アルゴリズムが計算するメトリクスから目標メトリクスを選択します。自動モデル調整は、選択されたハイパーパラメータを検索して、目標メトリクスを最適化するモデルになる値の組み合わせを見つけます。

モデル調整の詳細については、「を使用した自動モデル調整 SageMaker」を参照してください。

アルゴリズムによって BlazingText計算されたメトリクス

BlazingText Word2Vec アルゴリズム (skipgramcbow、および batch_skipgram モード) は、トレーニング中に 1 つのメトリクスについてレポートします: train:mean_rho。このメトリクスは、WS-353 単語類似度データセットについて計算されます。Word2Vec アルゴリズムのハイパーパラメータ値を調整するときには、このメトリクスを目標として使用してください。

BlazingText テキスト分類アルゴリズム (supervised モード) は、トレーニング中に 1 つのメトリクス も報告しますvalidation:accuracy。テキスト分類アルゴリズムのハイパーパラメータ値を調整するときには、これらのメトリクスを目標として使用してください。

メトリクス名 説明 最適化の方向
train:mean_rho

WS‐353 単語類似度データセットの平均 rho (スピアマンの順位相関係数)

最大化

validation:accuracy

ユーザー指定の検証データセットの分類精度

最大化

調整可能な BlazingTextハイパーパラメータ

Word2Vec アルゴリズムの調整可能なハイパーパラメータ

次のハイパーパラメータを使用して Amazon SageMaker BlazingText Word2Vec モデルを調整します。Word2Vec の目標メトリクスに最も大きな影響を与えるハイパーパラメータは、mode learning_ratewindow_sizevector_dimnegative_samples です。

Parameter Name パラメータタイプ 推奨範囲または値
batch_size

IntegerParameterRange

[8-32]

epochs

IntegerParameterRange

[5-15]

learning_rate

ContinuousParameterRange

MinValue: 0.005、 MaxValue: 0.01

min_count

IntegerParameterRange

[0~100]

mode

CategoricalParameterRange

['batch_skipgram', 'skipgram', 'cbow']

negative_samples

IntegerParameterRange

[5-25]

sampling_threshold

ContinuousParameterRange

MinValue: 0.0001、 MaxValue0.001

vector_dim

IntegerParameterRange

[32-300]

window_size

IntegerParameterRange

[1-10]

テキスト分類アルゴリズムの調整可能なハイパーパラメータ

次のハイパーパラメータを使用して Amazon SageMaker BlazingText テキスト分類モデルを調整します。

Parameter Name パラメータタイプ 推奨範囲または値
buckets

IntegerParameterRange

[1000000-10000000]

epochs

IntegerParameterRange

[5-15]

learning_rate

ContinuousParameterRange

MinValue: 0.005、 MaxValue: 0.01

min_count

IntegerParameterRange

[0~100]

vector_dim

IntegerParameterRange

[32-300]

word_ngrams

IntegerParameterRange

[1-3]