例: トレーニングおよび検証の曲線の表示
一般的には、モデルのトレーニングに使うデータをトレーニングデータセットと検証データセットに分割します。パラメータを使用して、モデルのトレーニングに設定されているトレーニングを予測するために使用されるトレーニングデータセットを選択します。次に、検証セットの予測を計算して、モデルでどの程度予測できるかをテストします。トレーニングジョブのパフォーマンスを分析するには通常、検証の曲線に対してトレーニング曲線をプロットします。
継続したトレーニングおよび検証セット両方の精度を示すグラフを表示することによって、モデルのパフォーマンス向上につながります。例えば、トレーニングの精度が時間の経過とともに継続して高まっているが、ある時点で検証精度が下がり始める場合、モデルを過剰適合している可能性が高くなります。このような状況に対応するには、正規化の向上など、モデルの調整を行います。
この例では、SageMaker ノートブックインスタンスの [ノートブックの例] セクションの [Image-classification-full-training] の例を使用できます。SageMaker ノートブックインスタンスがない場合は、「チュートリアル用 Amazon SageMaker ノートブックインスタンスを作成する」にある手順に従って作成できます。必要に応じて、GitHub のサンプルノートブックの「エンドツーエンドの複数クラスイメージ分類のサンプル
トレーニングおよび検証エラー曲線を表示するには
-
https://console.aws.amazon.com/sagemaker
で SageMaker コンソールを開きます。 -
[ノートブック] を選択し、次に [ノートブックインスタンス] を選択します。
-
使用するノートブックインスタンスを選択し、[開く] を選択します。
-
ノートブックインスタンスのダッシュボードで、[SageMaker の例] を選択します。
-
[Introduction to Amazon Algorithms] (Amazon アルゴリズムの概要) セクションを展開した後、Image-classification-fulltraining.ipynb の横にある [Use] (使用) を選択します。
-
[Create copy] (コピーを作成) を選択します。SageMaker は、ノートブックインスタンスに Image-classification-fulltraining.ipynb ノートブックの編集可能なコピーを作成します。
-
ノートブックのすべてのセルを Inference セクションまで実行します。エンドポイントをデプロイしたり、この例の推論を取得したりする必要はありません。
-
トレーニングジョブが開始したら、CloudWatch コンソール (https://console.aws.amazon.com/cloudwatch
) を開きます。 -
[メトリクス] を選択し、次に [/aws/sagemaker/TrainingJobs] を選択します。
-
[TrainingJobName] を選択します。
-
[すべてのメトリクス] タブで、ノートブックで作成したトレーニングジョブ用に、train:accuracy と validation:accuracy のメトリクスを選択します。
-
グラフで、メトリクスの値によって拡大するエリアを選択します。次のような例が表示されます。
