Amazon EC2 の HPC ワークロードに対して EFA と MPI の使用を開始する

Amazon EC2 コンソールの https://console.aws.amazon.com/ec2/ を開いてください。

ナビゲーションペインで [Security Groups] (セキュリティグループ) を選択して、[Create security group] (セキュリティグループの作成) を選択してください。

[Create security group] (セキュリティグループの作成) ウィンドウで、以下を行います。

1. [セキュリティグループ名] に、EFA-enabled security group のような、分かりやすいセキュリティグループ名を入力してください。

2. (オプション) [説明] に、セキュリティグループの簡単な説明を入力してください。

3. [VPC] で、EFA 対応のインスタンスを起動する VPC を選択してください。

4. [セキュリティグループの作成] を選択してください。

作成したセキュリティグループを選択し、[Details] (詳細) タブで [Security group ID] (セキュリティグループ ID) をコピーします。

セキュリティグループが選択された状態で、[Actions] (アクション)、[Edit inbound rules] (インバウンドルールの編集) の順に選択し、次の手順を実行します。

1. [Add rule] を選択してください。

2. [Type] で、[All traffic] を選択してください。

3. [Source type] (送信元タイプ) で、[Custom] (カスタム) を選択し、コピーしたセキュリティグループ ID をフィールドに貼り付けます。

4. [ルールを追加] を選択してください。

5. [タイプ] で SSH] を選択してください。

6. [Source type] (ソースタイプ) で、[Anywhere-IPv4] を選択してください。

7. [Save Rules] (ルールの保存) を選択してください。

セキュリティグループが選択された状態で、[Actions] (アクション)、[Edit outbound rules] (アウトバウンドルールの編集) の順に選択し、次の手順を実行します。

1. [Add rule] を選択してください。

2. [Type] で、[All traffic] を選択してください。

3. [Destination type] (送信先タイプ) で、[Custom] (カスタム) を選択し、コピーしたセキュリティグループ ID をフィールドに貼り付けます。

4. [Save Rules] (ルールの保存) を選択してください。

Amazon EC2 コンソールの https://console.aws.amazon.com/ec2/ を開いてください。

ナビゲーションペインで、[Instances] (インスタンス) を選択し、[Launch Instances] (インスタンスの起動) を選択して、新しいインスタンス起動ウィザードを開きます。

(オプション) [Name and tags] (名前とタグ) セクションで、EFA-instance などのインスタンス名を指定します。指定した名前はリソースタグとしてインスタンスに割り当てられます (Name=EFA-instance)。

[Application and OS Images] (アプリケーションと OS イメージ) セクションで、サポートされるオペレーティングシステムを選択してください。

[Instance type] (インスタンスタイプ) セクションで、サポートされているインスタンスタイプを選択してください。

[Key pair] (キーペア) セクションで、インスタンスに使用するキーペアを選択してください。

[Network settings] (ネットワーク設定) セクションで、[Edit] (編集) を選択し、次の操作を行います。

1. [サブネット] で、インスタンスを起動するサブネットを選択してください。サブネットを選択しない場合、EFA のインスタンスを有効にすることはできません。

2. [Firewall (security groups)] (ファイアウォール (セキュリティグループ)) の場合、[Select existing security group] (既存のセキュリティグループの選択) を選択し、前のステップで作成したセキュリティグループを選択してください。

3. [高度な設定] セクションを展開します。

   ネットワークインターフェイス 1 では[ネットワークカードインデックス = 0]、[デバイスインデックス = 0]、[インターフェイスタイプ = EFA と ENA の組み合わせ] を選択してください。

   (オプション) p4d.24xlarge または p5.48xlarge などのマルチカードインスタンスタイプを、必要な追加のネットワークインターフェイスごとに使用する場合は[ネットワークインターフェイスの追加] を選択し、ネットワークカードインデックスの場合は次の未使用インデックスを選択してから、[デバイスインデックス = 1]、[インターフェイスタイプ = EFA と ENA の組み合わせ] または [EFA のみ] を選択してください。

[Storage] (ストレージ) セクションで、必要に応じてボリュームを設定します。

右側の [合計mary] (サマリー) パネルで、[Launch instance] (インスタンスの起動) を選択してください。

起動したインスタンスに接続します。詳細については「SSH を使用した Linux インスタンスへの接続」を参照してください。

すべてのソフトウェアパッケージが最新の状態であることを確認するため、インスタンスでソフトウェアの更新を実行します。このプロセスには数分かかることがあります。

インスタンスを再起動して、そのインスタンスに再接続します。

EFA ソフトウェアのインストールファイルをダウンロードします。ソフトウェアのインストールファイルは圧縮された tar (.tar.gz) ファイルにパッケージ化されています。次のコマンドを使用して、安定している最新バージョンをダウンロードします。

$ curl -O https://efa-installer.amazonaws.com/aws-efa-installer-1.38.0.tar.gz

前述のコマンドのバージョン番号を latest に置き換えることで最新バージョンを取得することもできます。

圧縮された .tar.gz ファイルからファイルを展開し、展開されたディレクトリに移動します。

$ tar -xf aws-efa-installer-1.38.0.tar.gz && cd aws-efa-installer

EFA ソフトウェアをインストールします。使用するユースケースに応じて、以下のいずれかを実行します。

EFA インストーラーでインスタンスの再起動を求めるメッセージが表示された場合は再起動してからインスタンスに再接続します。それ以外の場合はインスタンスからログアウトし、再度ログインしてインストールを完了します。

非圧縮 tarball と tarball 自体を削除してください。そうしないと、これらが作成する EFA 対応 AMI に含まれてしまい、サイズが増加します。

Open MPI 5 を PATH 環境変数に追加します。

$ module load openmpi5

Open MPI 5 の使用が有効になっていることを確認します。

$ which mpicc

このコマンドは Open MPI 5 のインストールディレクトリ - /opt/amazon/openmpi5 を返すはずです。

(オプション) インスタンスが起動するたびに Open MPI 5 が PATH 環境変数に追加されるようにするには次の操作を行います。

インテル MPI のインストールスクリプトをダウンロードするには次の手順を実行します。

1. インテルのウェブサイトにアクセスします。

2. ウェブページの「Intel MPI Library」(インテル MPI ライブラリ) セクションで、Intel MPI Library for Linux Offline インストーラのリンクを選択してください。

前のステップでダウンロードしたインストールスクリプトを実行します。

$ sudo bash installation_script_name.sh

インストーラで、[Accept & install] (承諾してインストール) を選択してください。

インテル Improvement Program を読み、適切なオプションを選択してから、[Begin Installation] (インストールを開始) を選択してください。

インストールが完了したら、[Close] を選択してください。

デフォルトではインテル MPI は埋め込まれている (内部) Libfabric を使用します。代わりに、EFA インストーラに同梱されている Libfabric を使用するようにインテル MPI を設定できます。通常、EFA インストーラにはインテル MPI よりも新しいバージョンの Libfabric が同梱されています。場合によってはEFA インストーラに同梱されている Libfabric はインテル MPI よりもパフォーマンスが高い場合があります。EFA インストーラに同梱されている Libfabric を使用するようにインテル MPI を設定するにはシェルに応じて次のいずれかを実行します。

次のソースコマンドをシェルスクリプトに追加して、インストールディレクトリから vars.sh スクリプトを読み込み、インスタンスが開始するたびにコンパイラ環境をセットアップします。使用するシェルに応じて、以下のいずれかを実行します。

デフォルトでは設定ミスにより EFA が使用できない場合、インテル MPI はデフォルトで TCP/IP ネットワークスタックを使用するため、アプリケーションのパフォーマンスが低下する可能性があります。I_MPI_OFI_PROVIDER を efa に設定することでこれを防ぐことができます。これにより、EFA が利用できない場合、インテル MPI は次のエラーで失敗します。

Abort (XXXXXX) on node 0 (rank 0 in comm 0): Fatal error in PMPI_Init: OtherMPI error,
MPIR_Init_thread (XXX)........:	
MPID_Init (XXXX)..............:
MPIDI_OFI_mpi_init_hook (XXXX):
open_fabric (XXXX)............:
find_provider (XXXX)..........:
OFI fi_getinfo() failed (ofi_init.c:2684:find_provider:

使用するシェルに応じて、以下のいずれかを実行します。

デフォルトではインテル MPI はデバッグ情報を出力しません。さまざまな詳細レベルを指定して、デバッグ情報を制御できます。可能な値は次のとおりです (提供される詳細の量の順): 0 (デフォルト)、1、2、3、4、5。レベル 1 以上は libfabric version と libfabric provider を出力します。インテル MPI が内部 Libfabric を使用しているか、または EFA インストーラに同梱されている Libfabric を使用しているかを確認するために libfabric version を使用します。内部 Libfabric を使用している場合、バージョンのサフィックスは impi です。インテル MPI が EFA または TCP/IP ネットワークを使用しているかどうかを確認するために libfabric provider を使用します。EFA を使用している場合、値は efa です。TCP/IP を使用している場合、値は tcp;ofi_rxm です。

デバッグ情報を有効にするには使用するシェルに応じて、次のいずれかを実行します。

デフォルトではインテル MPI はノード内通信にオペレーティングシステムの共有メモリ (shm) を使用し、ノード間通信にのみ Libfabric (ofi) を使用します。通常、この設定は最高のパフォーマンスを提供します。ただし、場合によってはインテル MPI shm ファブリックによって特定のアプリケーションが無期限にハングすることがあります。

この問題を解決するために、インテル MPI がノード内通信とノード間通信の両方に Libfabric を使用するように強制できます。これを実行するには使用するシェルに応じて、次のいずれかを実行します。

インスタンスからログアウトしてからログインし直します。

MPI が正常にインストールされていることを確認するには次のコマンドを実行します。

$ which mpicc

EFA ソフトウェアコンポーネントと Libfabric が正常にインストールされたことを確認するには以下のコマンドを実行します。

$ fi_info -p efa -t FI_EP_RDM

コマンドによって、Libfabric の EFA インターフェイスに関する情報が返ります。以下の例はコマンド出力を示しています。

provider: efa
    fabric: EFA-fe80::94:3dff:fe89:1b70
    domain: efa_0-rdm
    version: 2.0
    type: FI_EP_RDM
    protocol: FI_PROTO_EFA

Amazon EC2 コンソールの https://console.aws.amazon.com/ec2/ を開いてください。

ナビゲーションペインで、[インスタンス] を選択してください。

作成した一時インスタンスを選択し、[アクション]、[イメージ]、[イメージの作成] の順に選択してください。

[イメージの作成] で、次を行います。

1. [イメージ名] に、の分かりやすい AMI 名を入力してください。

2. (オプション) [イメージの説明] に、AMI の簡単な説明を入力してください。

3. [イメージを作成] を選択してください。

ナビゲーションペインで [AMI] を選択してください。

リストで作成した AMI を探します。ステータスが pending から available に変わるまで待ってから、次のステップに進みます。

Amazon EC2 コンソールの https://console.aws.amazon.com/ec2/ を開いてください。

ナビゲーションペインで、[Instances] (インスタンス) を選択し、[Launch Instances] (インスタンスの起動) を選択して、新しいインスタンス起動ウィザードを開きます。

(オプション) [Name and tags] (名前とタグ) セクションで、EFA-instance などのインスタンス名を指定します。指定した名前はリソースタグとしてインスタンスに割り当てられます (Name=EFA-instance)。

[Application and OS Images] (アプリケーションと OS イメージ) セクションで、[My AMI] (マイ AMI) をクリックし、前のステップで作成した AMI を選択してください。

[Instance type] (インスタンスタイプ) セクションで、サポートされているインスタンスタイプを選択してください。

[Key pair] (キーペア) セクションで、インスタンスに使用するキーペアを選択してください。

[Network settings] (ネットワーク設定) セクションで、[Edit] (編集) を選択し、次の操作を行います。

1. [サブネット] で、インスタンスを起動するサブネットを選択してください。サブネットを選択しない場合、EFA のインスタンスを有効にすることはできません。

2. [Firewall (security groups)] (ファイアウォール (セキュリティグループ)) の場合、[Select existing security group] (既存のセキュリティグループの選択) を選択し、前のステップで作成したセキュリティグループを選択してください。

3. [高度な設定] セクションを展開します。

   ネットワークインターフェイス 1 では[ネットワークカードインデックス = 0]、[デバイスインデックス = 0]、[インターフェイスタイプ = EFA と ENA の組み合わせ] を選択してください。

   (オプション) p4d.24xlarge または p5.48xlarge などのマルチカードインスタンスタイプを、必要な追加のネットワークインターフェイスごとに使用する場合は[ネットワークインターフェイスの追加] を選択し、ネットワークカードインデックスの場合は次の未使用インデックスを選択してから、[デバイスインデックス = 1]、[インターフェイスタイプ = EFA と ENA の組み合わせ] または [EFA のみ] を選択してください。

(オプション) [Storage] (ストレージ) セクションで、必要に応じてボリュームを設定します。

[Advanced details] (高度な詳細) セクションの [Placement group name] (プレイスメントグループ名) で、インスタンスを起動するクラスタープレイスメントグループを選択してください。新しいクラスタープレイスメントグループを作成する必要がある場合は[Create new placement group] (新しいプレイスメントグループの作成) を選択してください。

右側の [合計mary] (サマリー) パネルで、[Number of instances] (インスタンス数) に、起動する EFA 対応のインスタンスの数を入力し、[Launch Instance] (インスタンスの起動) を選択してください。

Amazon EC2 コンソールの https://console.aws.amazon.com/ec2/ を開いてください。

ナビゲーションペインで、[インスタンス] を選択してください。

作成した一時インスタンスを選択し、[アクション]、[インスタンスの状態]、[インスタンスの終了 (削除)] の順に選択してください。

確認を求めるメッセージが表示されたら、[終了 (削除)] を選択してください。

クラスター内の 1 つのインスタンスをリーダーノードとして選択し、それに接続します。

リーダーノード上で strictHostKeyChecking を無効にし ForwardAgent を有効にします。任意のテキストエディタを使用して ~/.ssh/config ファイルを開き、以下を追加します。

Host *
    ForwardAgent yes
Host *
    StrictHostKeyChecking no

RSA キーペアを生成します。

$ ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa

キーペアは$HOME/.ssh/ ディレクトリで作成されます。

リーダーノードのプライベートキーの許可を変更します。

$ chmod 600 ~/.ssh/id_rsa
chmod 600 ~/.ssh/config

任意のテキストエディタで ~/.ssh/id_rsa.pub を開き、キーをコピーします。

クラスター内の各メンバーノードについて、次の操作を行います。

1. インスタンスに接続します。

2. 任意のテキストエディタで ~/.ssh/authorized_keys を開き、前にコピーしたパブリックキーを追加します。

パスワードレス SSH が正常に機能していることをテストするにはリーダーノードに接続して、次のコマンドを実行します。

$ ssh member_node_private_ip

キーまたはパスワードの入力を求められずに、メンバーノードに接続できるはずです。