Amazon によってオーケストレーションされた SageMaker HyperPod クラスターのストレージを設定する EKS

データアクセスと管理: データサイエンティストは、機械学習モデルのトレーニングに必要な大規模なデータセットを使用することが多いです。ジョブ送信でストレージパラメータを指定すると、これらのデータセットの場所 (Amazon S3 バケット、Kubernetes の永続ボリュームなど) と、ジョブの実行中にそれらにアクセスする方法を定義できます。

パフォーマンスの最適化: 入力データにアクセスする効率は、トレーニングジョブのパフォーマンスに大きな影響を与える可能性があります。ストレージパラメータを最適化することで、データサイエンティストはデータの読み取りと書き込みを効率的に行うことができ、I/O のボトルネックを軽減できます。

トレーニングのチェックポイント: 長時間実行されるトレーニングジョブでは、モデルの中間状態であるチェックポイントを保存することが一般的な方法です。これにより、データサイエンティストは、障害が発生した場合にゼロから開始するのではなく、特定の時点からトレーニングを再開できます。

データ復旧と実験 : データサイエンティストは、チェックポイントのストレージ場所を指定することで、これらのチェックポイントが冗長性と高可用性を提供する分散ストレージシステムに安全に保存されるようにできます。これは、中断からの復旧やさまざまなトレーニング戦略の実験に不可欠です。