モデルトレーニング

データの準備： トレーニングの前に、データ準備段階でデータクリーニングと機能エンジニアリングを完了しておく必要があります。 SageMaker には、役立つラベル付けツールと機能エンジニアリングツールがいくつかあります。詳細については、「データにラベルを付ける」、「データセットを準備して分析する」、「データを処理する」、「特徴を作成、保存、共有する」を参照してください。

アルゴリズムまたはフレームワークを選択する: 必要なカスタマイズの程度に応じて、アルゴリズムとフレームワークのオプションは異なります。

データストレージの管理： データストレージ (Amazon S3、Amazon EFS、Amazon などFSx) と Amazon EC2コンピューティングインスタンスで実行されるトレーニングコンテナ間のマッピングを理解します。 SageMaker は、トレーニングコンテナ内のストレージパスとローカルパスをマッピングします。手動で指定することもできます。マッピングが完了したら、ファイル、パイプ、 FastFile モードのいずれかのデータ送信モードの使用を検討してください。がストレージパスをマッピングする SageMaker方法については、「トレーニングストレージフォルダ」を参照してください。

トレーニングデータへのアクセスをセットアップする： Amazon SageMaker ドメイン、ドメインユーザープロファイル、、IAMAmazon 、および を使用してVPC、最もセキュリティに敏感な組織の AWS KMS 要件を満たします。

入力データをストリーミングする： SageMaker ファイル 、パイプ 、 の 3 つのデータ入力モードを提供しますFastFile。 デフォルトの入力モードはファイルモードで、トレーニングジョブの初期化中にデータセット全体が読み込まれます。データストレージからトレーニングコンテナにデータをストリーミングする一般的なベストプラクティスについては、「トレーニングデータにアクセスする」を参照してください。

パイプモードの場合は、拡張マニフェストファイルを使用して Amazon Simple Storage Service (Amazon S3) から直接データをストリーミングし、モデルをトレーニングすることもできます。パイプモードを使用すると、Amazon Elastic Block Store では最終的なモデルアーティファクトのみが保存され、トレーニングデータセット全体を保存する必要はないため、ディスク容量を削減できます。詳細については、「拡張マニフェストファイルを使用してトレーニングジョブにデータセットメタデータを提供する」を参照してください。

データのバイアスの分析： トレーニングの前に、データセットとモデルを不利なグループに対するバイアスを分析して、モデルが SageMaker Clarify を使用してバイアスのないデータセットを学習したことを確認できます。

使用するもの SageMaker SDKを選択します。トレーニングジョブを で起動するには、高レベルの SageMaker Python SageMakerを使用する方法とSDK、SDKPython (Boto3) 用の の低レベルの SageMaker APIs を使用する方法または を使用する方法の 2 つの方法があります AWS CLI。 SageMaker Python は低レベル SageMaker APIをSDK抽象化して、便利なツールを提供します。で前述したように SageMaker トレーニングの基本アーキテクチャ、JumpStart SageMaker Studio Classic または SageMaker Autopilot 内で SageMaker Canvas を使用してノーコードまたはミニマルコードオプションを追求することもできます。

インフラストラクチャの設定: ユースケースに適したインスタンスタイプとインフラストラクチャ管理ツールを選択します。小規模なインスタンスから始めて、ワークロードに応じてスケールアップできます。表形式のデータセットでモデルをトレーニングするには、C4 または C5 CPUインスタンスファミリーの最小インスタンスから始めます。コンピュータビジョンまたは自然言語処理用の大規模なモデルをトレーニングするには、P2, P3, G4dnまたは G5 GPUインスタンスファミリーの最小インスタンスから始めます。また、 が提供する次のインスタンス管理ツールを使用して、クラスター内のさまざまなインスタンスタイプを混在させたり、インスタンスをウォームプールに保持したりすることもできます SageMaker。さらに、永続キャッシュを使用すると、ウォームプールのみによるレイテンシーの削減よりも、反復的なトレーニングジョブのレイテンシーと課金対象時間を削減できます。詳細については、以下のトピックを参照してください。

トレーニングジョブを実行するには十分なクォータが必要です。クォータが不足しているインスタンスでトレーニングジョブを実行すると、ResourceLimitExceeded エラーが表示されます。アカウントで現在利用可能なクォータを確認するには、Service Quotas コンソールを使用します。クォータの増加を要求する方法については、「サポートされているリージョンおよびクォータ」を参照してください。また、 に応じて料金情報と使用可能なインスタンスタイプを検索するには AWS リージョン、Amazon SageMaker 料金ページでテーブルを検索します。

ローカルコードからトレーニングジョブを実行する： ローカルコードをリモートデコレータで注釈付けして、Amazon SageMaker Studio Classic、Amazon SageMaker ノートブック内、またはローカル統合開発環境から SageMaker トレーニングジョブとしてコードを実行できます。詳細については、「ローカルコードを SageMaker トレーニングジョブとして実行する」を参照してください。

トレーニングジョブの追跡： SageMaker Experiments、 SageMaker Debugger、または Amazon を使用して、トレーニングジョブをモニタリングおよび追跡します CloudWatch。Experiments を使用して SageMaker、精度と収束の観点からモデルのパフォーマンスを監視し、複数のトレーニングジョブ間のメトリクスの比較分析を実行できます。コンピューティングリソース使用率は、 SageMaker デバッガーのプロファイリングツールまたは Amazon を使用して確認できます CloudWatch。詳細については、以下のトピックを参照してください。

さらに、深層学習タスクでは、Amazon SageMaker Debugger モデルデバッグツールと組み込みルールを使用して、モデル収束と重み更新プロセスにおけるより複雑な問題を特定します。

分散トレーニング： トレーニングインフラストラクチャの設定ミスや out-of-memory問題が原因で、トレーニングジョブが中断することなく安定したステージに進んでいる場合は、ジョブをスケーリングし、数日から数か月にわたって長期間実行するオプションをさらに見つけることをお勧めします。スケールアップの準備ができたら、分散トレーニングを検討してください。 は、軽い ML ワークロードから大規模な深層学習ワークロードまで、分散計算のためのさまざまなオプション SageMaker を提供します。

非常に大規模なデータセットで非常に大規模なモデルをトレーニングする深層学習タスクでは、SageMaker 分散トレーニング戦略のいずれかを使用して、データ並列処理、モデル並列処理、またはこれら 2 つの組み合わせをスケールアップして実現することを検討してください。SageMaker Training Compiler を使用して、GPUインスタンスのモデルグラフをコンパイルおよび最適化することもできます。これらの SageMaker 機能は、 PyTorch、 TensorFlow、Hugging Face Transformers などの深層学習フレームワークをサポートしています。

モデルハイパーパラメータチューニング： で自動モデルチューニング SageMakerを使用してモデルハイパーパラメータをチューニングします。グリッド検索やベイズ検索などのハイパーパラメータチューニングメソッド SageMaker を提供し、改善されていないハイパーパラメータチューニングジョブの早期停止機能を備えた並列ハイパーパラメータチューニングジョブを起動します。

スポットインスタンスによるチェックポイントとコスト削減: トレーニング時間がそれほど大きな懸念事項でない場合は、マネージドスポットインスタンスによるモデルトレーニングコストの最適化を検討します。スポットインスタンスの交換による断続的なジョブの休止からの復元を継続するには、スポットトレーニングのチェックポイントを有効にする必要があることに注意してください。また、トレーニングジョブが予期せず終了した場合に備えて、チェックポイント機能を使用してモデルをバックアップすることもできます。詳細については、以下のトピックを参照してください。

ベースラインモデルを取得する: モデルアーティファクトを取得したら、それをベースラインモデルとして設定できます。モデルデプロイを本番稼働に移行する前に、以下のトレーニング後のアクションと SageMaker 機能の使用を検討してください。

モデルのパフォーマンスを調べてバイアスをチェックする： Amazon CloudWatch Metrics と SageMaker Clarify を使用してトレーニング後のバイアスを検出し、ベースラインに対する受信データとモデルのバイアスを経時的に検出します。新しいデータを評価し、定期的またはリアルタイムで新しいデータに対してモデル予測を評価する必要があります。これらの機能を使用すると、データやモデルの急激な変化や異常のほか、漸進的な変化またはドリフトに関するアラートを受け取ることができます。

のインクリメンタルトレーニング機能を使用して SageMaker 、拡張データセットを使用してモデルをロードおよび更新 (または微調整) することもできます。

モデルトレーニングは、SageMakerパイプラインのステップとして、または が提供する他のワークフロー機能の一部として登録 SageMaker して、ML ライフサイクル全体をオーケストレーションできます。