SageMaker HyperPod を使用するための前提条件 - Amazon SageMaker

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

SageMaker HyperPod を使用するための前提条件

以下のセクションでは、 の使用を開始する前に前提条件について説明します SageMaker HyperPod。

SageMaker HyperPod クォータ

の SageMaker HyperPod クラスター使用量のクォータを指定してクラスターを作成できます。 AWS アカウント。

重要

SageMaker HyperPod 料金の詳細については、SageMaker HyperPod 料金「」および「Amazon の SageMaker 料金」を参照してください。

を使用して Amazon SageMaker HyperPod クォータを表示する AWS 「マネジメントコンソール」

クォータ のデフォルト値と適用された値を検索します。クォータ は制限 とも呼ばれ、 に使用されるクラスターの使用状況 について検索します SageMaker HyperPod。

  1. を開きますService Quotas コンソール

  2. 左側のナビゲーションペインで、 を選択します。 AWS のサービス

  3. からAWS サービスのリスト、検索、Amazon SageMakerを選択します。

  4. サービスクォータリストには、サービスクォータ名、適用された値 (使用可能な場合)、 AWS デフォルトのクォータ、およびクォータ値が調整可能かどうか。

  5. 検索バーに、クラスターの使用状況 と入力します。これは、クラスターの使用状況のクォータ、適用されたクォータ、およびデフォルトのクォータを示します。

を使用した Amazon SageMaker HyperPod クォータのリクエスト AWS 「マネジメントコンソール」

アカウントまたはリソースレベルでクォータを増やします。

  1. クラスター使用量 のインスタンスのクォータを増やすには、引き上げるクォータを選択します。

  2. クォータが調整可能な場合は、調整可能性列にリストされている値に基づいて、アカウントレベルまたはリソースレベルでクォータの引き上げをリクエストできます。

  3. クォータ値の増加 に、新しい値を入力します。新しい値は現在値よりも大きい値である必要があります。

  4. [リクエスト] を選択します。

  5. コンソールで保留中または最近解決されたリクエストを表示するには、サービスの詳細ページからリクエスト履歴タブに移動するか、ナビゲーションペインからダッシュボードを選択します。保留中のリクエストの場合は、リクエストのステータスを選択してリクエストの受信をオープンします。リクエストの初期ステータスは [Pending] (保留中) です。ステータスがクォータリクエスト に変わると、 のケース番号が表示されます。 AWS Support。 ケース番号を選択して、リクエストのチケットを開きます。

クォータの引き上げの一般的なリクエストの詳細については、「」の「クォータの引き上げのリクエスト」を参照してください。 AWS Service Quotas ユーザーガイド

Amazon でのセットアップ SageMaker HyperPod VPC

Amazon で SageMaker HyperPod クラスターを設定するにはVPC、次の項目を確認します。

注記

これは とオーケストレーションするために必要でありEKS、 HyperPod clutser VPCにも同じ を使用する必要があります。Slurm でオーケストレーションする場合、独自の の設定VPCはオプションです。

  • 独自の を使用して SageMaker HyperPod VPCに接続する場合 AWS の リソースではVPC、VPC名前、ID、 AWS リージョンの作成時に、、サブネット ID、およびセキュリティグループ ID SageMaker HyperPod。新しい を作成する場合はVPC、Amazon Virtual Private Cloud ユーザーガイド」の「デフォルトVPCを作成するVPC」または「 を作成する」を参照してください。

  • すべてのリソースを同じ に作成することが重要です。 AWS リージョン とアベイラビリティーゾーン、および 内のリソース間の接続を許可するようにセキュリティグループルールを設定しますVPC。例えば、 VPCで を作成するとしますus-west-2。アベイラビリティーゾーン でこの VPC にサブネットを作成しus-west-2a、セキュリティグループ内からのすべての受信 (インバウンド) トラフィックとすべてのアウトバウンドトラフィックを許可するセキュリティグループを作成する必要があります。

  • また、 VPCが に接続されていることを確認する必要があります。 Amazon Simple Storage Service (Amazon S3)。を設定するとVPC、 SageMaker HyperPod インスタンスグループはインターネットにアクセスできないため、ライフサイクルスクリプト、トレーニングデータ、モデルアーティファクトなどのファイルにアクセスまたは保存するために Amazon S3 に接続できません。の使用中に Amazon S3 との接続を確立するにはVPC、VPCエンドポイントを作成する必要があります。VPC エンドポイントを作成することで、 SageMaker HyperPod インスタンスグループが同じ 内の Amazon S3 バケットにアクセスすることを許可できますVPC。また、プライベートからのリクエストのみが Amazon S3 バケットVPCにアクセスできるようにするカスタムポリシーを作成することをお勧めします。詳細については、「」のAmazon S3のエンドポイント」を参照してください。 AWS PrivateLink ガイド

  • EFAが有効なインスタンスで HyperPod クラスターを作成する場合は、セキュリティグループ自体との間のすべてのインバウンドトラフィックとアウトバウンドトラフィックを許可するようにセキュリティグループを設定してください。詳細については、「Amazon ユーザーガイド」の「ステップ 1: EFAが有効なセキュリティグループを準備する」を参照してください。 EC2

設定 AWS Systems Manager クラスターユーザーアクセスコントロールの および Run As

SageMaker HyperPod DLAMI に付属 AWS Systems Manager (SSM) すぐに使用できるので、 SageMaker HyperPod クラスターインスタンスグループへのアクセスを管理できます。このセクションでは、 SageMaker HyperPod クラスターにオペレーティングシステム (OS) ユーザーを作成し、ユーザーIAMとロールに関連付ける方法について説明します。これは、OS ユーザーアカウントの認証情報を使用してSSMセッションを認証する場合に便利です。

で Run As を有効にする AWS アカウント

として AWS アカウント管理者またはクラウド管理者は、 の Run As 機能SSMを使用して、 IAMロールまたはユーザーレベルで SageMaker HyperPod クラスターへのアクセスを管理できます。この機能を使用すると、IAMロールまたはユーザーに関連付けられた OS ユーザーを使用して各SSMセッションを開始できます。

で Run As を有効にするには AWS アカウントで、「Linux および macOS マネージドノード の Run As サポートを有効にする」の手順に従います。クラスターで既に OS ユーザーを作成している場合は、「Linux および macOS マネージドノード の Run As サポートを有効にするには」のステップ 5 のオプション 2 で説明されているように、ロールまたはユーザーをタグ付けして、それらをIAMロールまたはユーザーに関連付けるようにしてください。

(Slurm) にアタッチされた Amazon FSx ファイルシステムを共有スペース SageMaker HyperPod として使用して Linux ユーザーを設定する

SSM および共有スペースを介してクラスターにアクセスするための HyperPod クラスターユーザーのセットアップを完了するには、 HyperPod クラスターを作成するためのライフサイクル設定スクリプトを準備する際に、ユーザーを追加するためのスクリプトを設定する必要があります。セクション で導入された GitHub リポジトリにはが提供する基本ライフサイクルスクリプトから開始する HyperPod、 からユーザーデータを読みadd_users.sh取る という名前のスクリプトがありますshared_users.txt。ライフサイクルスクリプトの準備と Amazon S3 バケットへのアップロードの一環として、2 つのファイルをアップロードする必要があることに注意してください。これは、 セクションSlurm を使用したオーケストレーション SageMaker HyperPodの開始方法と セクションで学習しますAmazon FSx 共有スペースを使用してマルチユーザー環境を設定する

(オプション) Amazon FSx for Lustre SageMaker HyperPod でのセットアップ

クラスター SageMaker HyperPod と FSx for Lustre ファイルシステム間のデータパスの使用とマッピングを開始するには、 AWS リージョン は でサポートされています SageMaker HyperPod。を選択した後 AWS リージョン 必要に応じて、使用するアベイラビリティーゾーン (AZ) も決定する必要があります。for FSx Lustre ファイルシステムが同じ 内でセットアップAZsされている AZsとは異なる で SageMaker HyperPod コンピューティングノードを使用する場合 AWS リージョン、通信とネットワークのオーバーヘッドが発生する可能性があります。 SageMaker HyperPod クラスターと FSx for Lustre ファイルシステム間のクロス AZ トラフィックを避けるため、 SageMaker HyperPod サービスアカウントと同じ物理 AZ を使用することをお勧めします。また、 で設定していることを確認しますVPC。Amazon をストレージのメインファイルシステムFSxとして使用する場合は、 で SageMaker HyperPod クラスターを設定する必要がありますVPC。