View a markdown version of this page

SageMaker HyperPod EKS クラスターで Amazon EBS CSI ドライバーを使用する - Amazon SageMaker AI
主な特徴考慮事項ユースケース設定API の使用

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

SageMaker HyperPod EKS クラスターで Amazon EBS CSI ドライバーを使用する

SageMaker HyperPod は、Amazon Elastic Block Store (Amazon EBS) Container Storage Interface (CSI) ドライバーをサポートしています。このドライバーは、作成した Kubernetes ボリュームのストレージとして Amazon EBS ボリュームのライフサイクルを管理します。Amazon EBS CSI ドライバーを使用すると、Amazon EKS オーケストレーションを使用して SageMaker HyperPod クラスターで実行される機械学習ワークロード用の Amazon EBS ボリュームを作成、アタッチ、管理できます。

キーストレージ機能

SageMaker HyperPod の Amazon EBS CSI ドライバーは、次のストレージ機能をサポートしています。

  • 静的プロビジョニング: ポッドで使用できるように、事前に作成された Amazon EBS ボリュームを Kubernetes の永続ボリュームに関連付けます。

  • 動的プロビジョニング: PersistentVolumeClaims から Amazon EBS ボリュームと関連する永続ボリュームを自動的に作成します。パラメータは、ボリューム作成をきめ細かく制御するために StorageClass を介して渡すことができます。

  • ボリュームのサイズ変更: 実行中のワークロードを中断することなく PersistentVolumeClaims のサイズ仕様を更新することで、既存のボリュームを拡張します。これは、増大するモデルリポジトリを処理したり、サービスを中断することなくより大規模なノードに適応したりするために不可欠です。

  • ボリュームスナップショット: バックアップ、リカバリ、データバージョニング用のボリュームのポイントインタイムスナップショットを作成します。

  • ブロックボリューム: ストレージへの直接アクセスを必要とする高パフォーマンスアプリケーションに、raw ブロックデバイスアクセスを提供します。

  • ボリュームの変更: ボリューム属性クラスを使用して、タイプ、1 秒あたりの入出力操作数 (IOPS)、スループットなどのボリュームプロパティを変更します。

Amazon EBS CSI ドライバーの詳細については、「Amazon EKS ユーザーガイド」の「Amazon EBS で Kubernetes ボリュームストレージを使用する」を参照してください。

クラスター内のポッドへのストレージの詳細については、「Kubernetes ドキュメント」の「ストレージ」を参照してください。

考慮事項

SageMaker HyperPod AMI は、すべてのノードでローカル NVMe インスタンスストレージを既に管理しています。起動時に、ノードのすべての NVMe ドライブを単一の LVM ボリュームグループ (vg.01) に結合し、結果を にマウントします/opt/sagemaker。ローカル NVMe ストレージを使用するには、他のものをインストールする必要はありません。ノードが起動するとすぐに使用できます。

重要

NVMe インスタンスストレージをターゲットとする 2 番目の CSI ドライバー (ローカルインスタンスストレージ CSI ドライバーと呼ばれることもあります) をインストールしないでください。2 番目のストレージマネージャーは と競合vg.01し、NVMe I/O の障害、マウントの障害、およびノードの再起動や交換後も存続するデバイス状態の破損を引き起こします。

この制限は、ローカル NVMe インスタンスストレージを管理するドライバーにのみ適用されます。Network-backed CSI ドライバー (Amazon EBS、Amazon FSx、Amazon EFS、Mountpoint for Amazon S3) は、ローカル NVMe ディスクにアクセスしないため、影響を受けません。

このページで説明されている Amazon EBS CSI ドライバーは Amazon EBS ボリュームのみを管理し、この競合の影響を受けません。競合は、ノード上のローカル NVMe インスタンスストレージを管理する CSI ドライバーにのみ適用されます。

NVMe インスタンスストレージをターゲットとする CSI ドライバーを既にインストールしていて、NVMe I/O エラーが表示されている場合は、次の手順に従います。

  1. local-instance-storage CSI ドライバーアドオンをアンインストールします。

  2. 影響を受けるノードを置き換えます (一度に約 3 つのノードを置き換えることをお勧めします）。

  3. NVMe インスタンスストレージが復元されていることを確認します。復元された状態は、それ以降の再起動と置き換えによって維持されます。

重要

アドオンをアンインストールする前にノードを置き換えないでください。競合は新しいノードで繰り返し発生し、I/O エラーは続行されます。

HyperPod で NVMe インスタンスストレージを使用するには、標準のマウントパス () を介して AMI の組み込み LVM 設定を使用します/opt/sagemaker。動的にプロビジョニングされたポッドレベルのブロックストレージの場合は、このページの残りの部分で説明されているように、Amazon EBS CSI ドライバーを使用します。

ユースケース

Amazon EBS CSI ドライバー統合により、SageMaker HyperPod EKS クラスターでのトレーニングワークロードと推論ワークロードの両方で、いくつかの主要なユースケースが可能になります。

トレーニングワークロード

  • データセットストレージ: ポッドの再起動後も保持されるトレーニングデータセットのボリュームをプロビジョンする。

  • チェックポイントストレージ: モデルのチェックポイントと中間トレーニング結果を保存する。

  • 共有アーティファクト: 複数のトレーニングジョブで共通のデータセットとモデルアーティファクトにアクセスする。

推論ワークロード

  • モデルストレージ: モデルの要件に基づいて適切なサイズのボリュームを動的にプロビジョンする。

  • コンテナキャッシュ: 推論パフォーマンスを向上させるエフェメラルストレージを作成する。

  • イベントログ: 推論結果とログを永続的ストレージに保存する。

SageMaker HyperPod EKS クラスターで Amazon EBS CSI ドライバーを設定する

Amazon Elastic Block Store (Amazon EBS) Container Storage Interface (CSI) ドライバーを使用すると、EKS オーケストレーションを備えた SageMaker HyperPod クラスターで実行されているコンテナ化されたワークロードの Amazon EBS ボリュームを動的にプロビジョンして管理できます。このセクションでは、Amazon EBS CSI ドライバーをインストールして設定し、機械学習ワークロードの永続的ストレージを有効にする方法について説明します。

前提条件

開始する前に、以下を実行します。

追加のアクセス許可

Amazon EBS CSI ドライバーアドオンを設定するには、「Amazon EKS ユーザーガイド」の「Amazon EBS で Kubernetes ボリュームストレージを使用する」の手順に従ってください。ドライバーアドオンの実行に使用される IAM ロールに次のアクセス許可を追加する必要もあります。これは、HyperPod クラスター実行ロールではなく、ドライバーアドオンのサービスアカウント設定で指定された IAM ロールであることに注意が必要です。

JSON
{
    "Version":"2012-10-17",
    "Statement":
    [
        {
            "Effect": "Allow",
            "Action":
            [
                "sagemaker:AttachClusterNodeVolume",
                "sagemaker:DetachClusterNodeVolume"
            ],
            "Resource": "arn:aws:sagemaker:us-east-1:111122223333:cluster/*"
        },
        {
            "Effect": "Allow",
            "Action":
            [
                "eks:DescribeCluster"
            ],
            "Resource": "arn:aws:eks:us-east-1:111122223333:cluster/my-cluster-name"
        }
    ]
}

API の使用

別の方法として、AttachClusterNodeVolume API オペレーションと DetachClusterNodeVolume API オペレーションを使用して、Amazon EBS ボリュームを SageMaker HyperPod EKS クラスターインスタンスにアタッチしてデタッチできます。

これらの API を使用するための主な要件は、次のとおりです。

  • Amazon EBS ボリュームと SageMaker HyperPod EKS クラスターの両方が同じ AWS アカウントによって所有されている必要があります。

  • 呼び出し元プリンシパルには、アタッチまたはデタッチのオペレーションを正常に実行するための特定の最小アクセス許可が必要です。最小権限のアクセス許可の詳細については、以降のトピックを参照してください。

  • HyperPod ノードにボリュームをアタッチしたら、「SageMaker HyperPod クラスターノードへのアクセス」の手順に従ってクラスターノードにアクセスし、アタッチされたボリュームをマウントするためにボリュームを使用できるようにします。

sagemaker:AttachClusterNodeVolumeに必要なアクセス許可

JSON
{
    "Version":"2012-10-17",
    "Statement":
    [
        {
            "Effect": "Allow",
            "Action":
            [
                "sagemaker:AttachClusterNodeVolume"
            ],
            "Resource": "arn:aws:sagemaker:us-east-1:111122223333:cluster/*"
        },
        {
            "Effect": "Allow",
            "Action":
            [
                "eks:DescribeCluster"
            ],
            "Resource": "arn:aws:eks:us-east-1:111122223333:cluster/my-cluster-name"
        },
        {
            "Effect": "Allow",
            "Action":
            [
                "ec2:AttachVolume",
                "ec2:DescribeVolumes"
            ],
            "Resource": "arn:aws:ec2:us-east-1:111122223333:volume/*"
        }
    ]
}

sagemaker:DetachClusterNodeVolumeに必要なアクセス許可

JSON
{
    "Version":"2012-10-17",
    "Statement":
    [
        {
            "Effect": "Allow",
            "Action":
            [
                "sagemaker:DetachClusterNodeVolume"
            ],
            "Resource": "arn:aws:sagemaker:us-east-1:111122223333:cluster/*"
        },
        {
            "Effect": "Allow",
            "Action":
            [
                "eks:DescribeCluster"
            ],
            "Resource": "arn:aws:eks:us-east-1:111122223333:cluster/my-cluster-name"
        },
        {
            "Effect": "Allow",
            "Action":
            [
                "ec2:DetachVolume",
                "ec2:DescribeVolumes"
            ],
            "Resource": "arn:aws:ec2:us-east-1:111122223333:volume/*"
        }
    ]
}

AWS KMS キーに必要なアクセス許可

カスタマーマネージド KMS キーを使用して HyperPod クラスターノードにアタッチされた Amazon EBS ボリュームを暗号化している場合にのみ、次の AWS KMS アクセス許可を追加します。 AWSマネージド KMS キー (デフォルトの暗号化オプション) を使用している場合、これらのアクセス許可は必要ありません。

JSON
{
    "Version":"2012-10-17",
    "Id": "key-default-1",
    "Statement":
    [
        {
            "Effect": "Allow",
            "Principal":
            {
                "AWS": "arn:aws:iam::111122223333:role/caller-role"
            },
            "Action": "kms:DescribeKey",
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Principal":
            {
                "AWS": "arn:aws:iam::111122223333:role/caller-role"
            },
            "Action": "kms:CreateGrant",
            "Resource": "*",
            "Condition":
            {
                "StringEquals":
                {
                    "kms:CallerAccount": "111122223333",
                    "kms:ViaService": "ec2.us-east-1.amazonaws.com"
                },
                "ForAnyValue:StringEquals":
                {
                    "kms:EncryptionContextKeys": "aws:ebs:id"
                },
                "Bool":
                {
                    "kms:GrantIsForAWSResource": true
                },
                "ForAllValues:StringEquals":
                {
                    "kms:GrantOperations":
                    [
                        "Decrypt"
                    ]
                }
            }
        }
    ]
}
注記

これらの AWS KMS アクセス許可は、カスタマーマネージド KMS キーで暗号化された Cluster Auto Volume Attachment (CAVA) ボリュームをデタッチsagemaker:DetachClusterNodeVolumeする場合には必要ありません。