さまざまなタイプのインスタンスローカルストレージのストレージパスの管理

分散トレーニングのトレーニングアーティファクトを /opt/ml/output/data ディレクトリに保存する場合は、サブディレクトリを正しく追加するか、モデル定義またはトレーニングスクリプトを介してアーティファクト固有のファイル名を使用する必要があります。サブディレクトリとファイル名が正しく設定されていない場合、すべての分散トレーニングワーカーが Amazon S3 の同じ出力パスの同じファイル名に出力を書き込む可能性があります。

カスタムトレーニングコンテナを使用する場合は、 SageMaker トレーニングジョブの環境を設定するのに役立つ SageMaker Training Toolkit をインストールしてください。それ以外の場合は、Dockerfile の環境変数を明示的に指定する必要があります。詳細については、「Create a container with your own algorithms and models」を参照してください。

NVMe SSD ボリュームで ML インスタンスを使用する場合、 SageMaker AI は Amazon gp2 EBS ストレージをプロビジョニングしません。使用可能なストレージは、 NVMeタイプのインスタンスのストレージ容量に固定されます。 SageMaker AI は、トレーニングデータセット、チェックポイント、モデルアーティファクト、出力のストレージパスを設定して、インスタンスストレージの容量全体を使用します。例えば、 NVMeタイプのインスタンスストレージを持つ ML インスタンスファミリーにはml.p4d、、ml.g4dn、および が含まれますml.g5。EBSのみのストレージオプションでインスタンスストレージを使用せずに ML インスタンスを使用する場合は、 SageMaker AI 推定器クラスの volume_sizeパラメータを使用してEBSボリュームのサイズを定義する必要があります ( VolumeSizeInGB を使用している場合は ResourceConfig API）。たとえば、EBSボリュームを使用する ML インスタンスファミリーには、 ml.c5と が含まれますml.p2。インスタンスタイプとそのインスタンスストレージタイプとボリュームを検索するには、「Amazon EC2 インスタンスタイプ」を参照してください。

SageMaker トレーニングジョブのデフォルトパスは、ML インスタンスの Amazon EBSボリュームまたは NVMeSSDボリュームにマウントされます。トレーニングスクリプトを SageMaker AI に適応させるときは、 に関する前のトピックにリストされているデフォルトのパスを使用していることを確認してくださいSageMaker AI 環境変数とトレーニングストレージの場所のデフォルトパス。トレーニング中に一時的に大きなオブジェクトを保存するためのスクラッチスペースとして、/tmp ディレクトリを使用することをお勧めします。つまり、エラーを回避 out-of-spaceするために、 /userや など/home、システムに割り当てられた小さなディスク領域にマウントされたディレクトリを使用しないでください。