モデルのチューニング Sequence-to-Sequence

自動モデル調整は、ハイパーパラメータ調整とも呼ばれ、データセットのさまざまなハイパーパラメータをテストする多数のジョブを実行して、モデルの最適なバージョンを見つけます。調整可能なハイパーパラメータ、それぞれの値の範囲、および目標メトリクスを選択します。アルゴリズムが計算するメトリクスから目標メトリクスを選択します。自動モデル調整は、選択されたハイパーパラメータを検索して、目標メトリクスを最適化するモデルになる値の組み合わせを見つけます。

モデル調整の詳細については、「を使用した自動モデル調整 SageMaker」を参照してください。

アルゴリズムによって Sequence-to-Sequence計算されたメトリクス

Sequence to Sequence アルゴリズムは、トレーニング中に計算される 3 つのメトリクスを報告します。ハイパーパラメータ値を調整するときに最適化する目標として、いずれか 1 つを選択します。

メトリクス名	説明	最適化の方向
`validation:accuracy`	検証データセットで計算される精度。	最大化
`validation:bleu`	検証データセットで計算される BLEU スコア。BLEU 計算にはコストがかかるため、検証データセットのランダムなサブサンプルBLEUで計算して、トレーニングプロセス全体を高速化できます。サブサンプルを指定するには、`bleu_sample_size` パラメータを使用します。	最大化
`validation:perplexity`	Perplexity は、検証データセットで計算される損失関数です。Perplexity は、経験的サンプルとモデル予測の分布との間の交差エントロピーを測定するため、モデルがサンプル値をどの程度予測できるかの尺度を提供します。サンプルの予測に優れたモデルは、Perplexity が低くなります。	最小化

調整可能な Sequence-to-Sequenceハイパーパラメータ

Sequence to SageMaker Sequence アルゴリズムでは、次のハイパーパラメータをチューニングできます。Sequence to Sequence の目標メトリクスに最も大きな影響を与えるハイパーパラメータは、batch_size、optimizer_type、learning_rate、num_layers_encoder、および num_layers_decoder です。

Parameter Name	パラメータタイプ	推奨範囲
`num_layers_encoder`	IntegerParameterRange	[1-10]
`num_layers_decoder`	IntegerParameterRange	[1-10]
`batch_size`	CategoricalParameterRange	[16,32,64,128,256,512,1024,2048]
`optimizer_type`	CategoricalParameterRange	['adam', 'sgd', 'rmsprop']
`weight_init_type`	CategoricalParameterRange	['xavier', 'uniform']
`weight_init_scale`	ContinuousParameterRange	xavier タイプの場合： MinValue: 2.0、 MaxValue: 3.0 ユニフォームタイプの場合 MinValue:: -1.0、 MaxValue: 1.0
`learning_rate`	ContinuousParameterRange	MinValue: 0.00005、 MaxValue: 0.2
`weight_decay`	ContinuousParameterRange	MinValue: 0.0、 MaxValue: 0.1
`momentum`	ContinuousParameterRange	MinValue: 0.5、 MaxValue: 0.9
`clip_gradient`	ContinuousParameterRange	MinValue: 1.0、 MaxValue: 5.0
`rnn_num_hidden`	CategoricalParameterRange	反復ニューラルネットワーク () にのみ適用されますRNNs。[128,256,512,1024,2048]
`cnn_num_hidden`	CategoricalParameterRange	畳み込みニューラルネットワーク () にのみ適用されますCNNs。[128,256,512,1024,2048]
`num_embed_source`	IntegerParameterRange	[256-512]
`num_embed_target`	IntegerParameterRange	[256-512]
`embed_dropout_source`	ContinuousParameterRange	MinValue: 0.0、 MaxValue: 0.5
`embed_dropout_target`	ContinuousParameterRange	MinValue: 0.0、 MaxValue: 0.5
`rnn_decoder_hidden_dropout`	ContinuousParameterRange	MinValue: 0.0、 MaxValue: 0.5
`cnn_hidden_dropout`	ContinuousParameterRange	MinValue: 0.0、 MaxValue: 0.5
`lr_scheduler_type`	CategoricalParameterRange	['plateau_reduce', 'fixed_rate_inv_t', 'fixed_rate_inv_sqrt_t']
`plateau_reduce_lr_factor`	ContinuousParameterRange	MinValue: 0.1、 MaxValue: 0.5
`plateau_reduce_lr_threshold`	IntegerParameterRange	[1-5]
`fixed_rate_lr_half_life`	IntegerParameterRange	[10-30]

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

ハイパーパラメータ

テキスト分類 - TensorFlow