Amazon 上的MPIHPC工作負載入門 EFA和 EC2

在 開啟 Amazon EC2主控台https://console.aws.amazon.com/ec2/。

在導覽窗格中，選擇 Security Groups (安全群組)，然後選擇 Create Security Group (建立安全群組)。

在 Create Security Group (建立安全群組) 視窗中，執行下列動作：

1. 對於 Security group name (安全群組名稱)，輸入安全群組的描述性名稱，例如 EFA-enabled security group。

2. (選用) 對於 Description (描述)，輸入安全群組的簡短描述。

3. 針對 VPC，選取您要VPC在其中啟動EFA已啟用 之執行個體的 。

4. 選擇 Create Security Group (建立安全群組)。

選取您建立的安全群組，在 Details (詳細資料) 索引標籤上，複製 Security group ID (安全群組 ID)。

在仍然選取安全群組的情況下，依序選取 Actions (動作) 和 Edit inbound rules (編輯傳入規則)，然後執行下列動作。

1. 選擇新增規則。

2. 針對類型，選擇所有流量。

3. 若為 Source type (來源類型)，選擇 Custom (自訂)，然後將您複製的安全群組 ID 貼到欄位中。

4. 選擇新增規則。

5. 針對類型 ，選擇 SSH。

6. 對於來源類型 ，選擇 Anywhere-IPv4。

7. 選擇儲存規則。

在仍然選取安全群組的情況下，依序選取 Actions (動作) 和 Edit outbound rules (編輯傳出規則)，然後執行下列動作。

1. 選擇新增規則。

2. 針對類型，選擇所有流量。

3. 若為 Destination type (目的地類型)，選擇 Custom (自訂)，然後將您複製的安全群組 ID 貼到欄位中。

4. 選擇儲存規則。

在 開啟 Amazon EC2主控台https://console.aws.amazon.com/ec2/。

在導覽窗格中，選擇 Instances (執行個體)，接著選擇 Launch Instances (啟動執行個體) 來開啟新的啟動執行個體精靈。

(選用) 在 Name and tags (名稱和標籤) 區段中，為執行個體命名，例如，EFA-instance。該名稱將指派作為執行個體的資源標籤 (Name=EFA-instance)。

在應用程式和作業系統映像區段中，AMI為其中一個支援的作業系統選取 。

在 Instance type (執行個體類型) 區段中，選取支援的執行個體類型。

在 Key pair (金鑰對) 區段中，選取要用於執行個體的金鑰對。

在 Network settings (網路設定) 區段，選擇 Edit (編輯)，接著執行下列動作：

1. 對於 Subnet (子網)，請選擇要在其中啟動執行個體的子網。如果您未選取子網路，則無法為 啟用執行個體EFA。

2. 針對 Firewall (security groups) (防火牆 (安全群組))，選取 Select existing security group (選取現有的安全群組)，接著選取您在前一個步驟中建立的安全群組。

3. 展開 Advanced network configuration (進階網路組態) 區段，並針對 Elastic Fabric Adapter，選取 Enable (啟用)。

在 儲存 區段中，根據需求設定磁碟區。

在右邊的 Summary (摘要) 面板中，選擇 Launch instance (啟動執行個體)。

連接至您啟動的執行個體。如需詳細資訊，請參閱使用 Connect 到您的 Linux 執行個體 SSH。

為確保所有軟體套件皆為最新版本，請對您的執行個體執行快速軟體更新。此程序可能需要幾分鐘的時間。

重新啟動執行個體並重新連線至其中。

下載 EFA 軟體安裝檔案。軟體安裝檔案已封裝成壓縮 tarball (.tar.gz) 檔案。若要下載最新穩定版本，請使用下列命令：

$ curl -O https://efa-installer.amazonaws.com/aws-efa-installer-1.35.0.tar.gz

您也可以在之前的命令中以 latest 取代版本號碼，以取得最新版本。

從壓縮的 .tar.gz 檔案中解壓縮檔案，然後導覽至解壓縮的目錄。

$ tar -xf aws-efa-installer-1.35.0.tar.gz && cd aws-efa-installer

安裝 EFA 軟體。根據使用案例而定，執行以下其中一個命令。

如果EFA安裝程式提示您重新啟動執行個體，請執行此操作，然後重新連線至執行個體。否則，請登出執行個體，然後重新登入以完成安裝。

將 Open MPI 5 新增至PATH環境變數。

$ module load openmpi5

確認 Open MPI 5 已啟用以供使用。

$ which mpicc

命令應傳回 Open MPI 5 安裝目錄 - /opt/amazon/openmpi5。

（選用 ） 若要確保 Open MPI 5 在每次執行個體啟動時都新增至PATH環境變數，請執行下列動作：

若要下載 Intel MPI 安裝指令碼，請執行下列動作

1. 請造訪 Intel 網站。

2. 在網頁的 Intel MPI Library 區段中，選擇 Intel MPI Library for Linux 離線安裝程式的連結。

執行您在上一個步驟中下載的安裝指令碼。

$ sudo bash installation_script_name.sh

在安裝程式中，選擇 Accept & install (接受並安裝)。

閱讀 Intel 改進計畫，選擇適當的選項，然後選擇 Begin Installation (開始安裝)。

完成安裝時，請選擇 Close (關閉)。

根據預設，Intel MPI會使用其內嵌 （內部） Libfabric。您可以設定 Intel MPI 使用安裝程式隨附的 LibfabricEFA。一般而言，EFA安裝程式隨附比 Intel 更新的 Libfabric 版本MPI。在某些情況下，隨附於EFA安裝程式的 Libfabric 比 Intel 的 Libfabric 效能更高MPI。若要設定 Intel MPI 使用安裝程式隨附的 LibfabricEFA，請根據您的 Shell 執行下列其中一項操作。

新增下列 source 命令到您的 shell 指令碼，從安裝目錄中獲取 vars.sh 的指令碼，從而在每次啟動執行個體時設定編譯器環境。根據 shell 而定，執行以下其中一個命令。

根據預設，如果 因設定錯誤而EFA無法使用，Intel MPI會預設為 TCP/IP 網路堆疊，這可能會導致應用程式效能降低。透過將 I_MPI_OFI_PROVIDER 設定為 efa，可防止此情況發生。如果EFA無法使用，這會導致 Intel MPI 失敗並出現下列錯誤：

Abort (XXXXXX) on node 0 (rank 0 in comm 0): Fatal error in PMPI_Init: OtherMPI error,
MPIR_Init_thread (XXX)........:	
MPID_Init (XXXX)..............:
MPIDI_OFI_mpi_init_hook (XXXX):
open_fabric (XXXX)............:
find_provider (XXXX)..........:
OFI fi_getinfo() failed (ofi_init.c:2684:find_provider:

根據 shell 而定，執行以下其中一個命令。

根據預設，Intel MPI不會列印偵錯資訊。您可以指定不同的詳細資訊等級來控制偵錯資訊。可能的值 (依提供的詳細資訊量排序) 為：0 (預設)、1、2、3、4、5。等級 1 和更高等級會列印 libfabric version 和 libfabric provider。使用 libfabric version檢查 Intel MPI 是否使用內部 Libfabric 或隨EFA安裝程式一起提供的 Libfabric。如果它使用的是內部 Libfabric，則版本字尾為 impi。使用 libfabric provider 檢查 Intel MPI 是否正在使用 EFA或 TCP/IP 網路。如果它使用 EFA，則值為 efa。如果它使用 TCP/IP，則值為 tcp;ofi_rxm。

若要啟用偵錯資訊，請根據您的 shell 執行以下其中一個命令。

依預設，Intel MPI會使用作業系統的共用記憶體 （shm） 進行節點內通訊，且僅使用 Libfabric （ofi） 進行節點間通訊。通常，此組態可提供最佳效能。不過，在某些情況下，Intel MPI shm 結構可能會導致某些應用程式無限期掛起。

若要解決此問題，您可以強制 Intel MPI使用 Libfabric 進行節點內和節點間通訊。為此，請根據您的 shell，執行以下其中一個命令。

登出執行個體，然後重新登入。

若要確認 MPI 已成功安裝，請執行下列命令：

$ which mpicc

若要確認EFA軟體元件和 Libfabric 已成功安裝，請執行下列命令。

$ fi_info -p efa -t FI_EP_RDM

命令應傳回 Libfabric EFA 介面的相關資訊。以下範例顯示命令輸出。

provider: efa
    fabric: EFA-fe80::94:3dff:fe89:1b70
    domain: efa_0-rdm
    version: 2.0
    type: FI_EP_RDM
    protocol: FI_PROTO_EFA

在 開啟 Amazon EC2主控台https://console.aws.amazon.com/ec2/。

在導覽窗格中，選擇 Instances (執行個體)。

選取您建立的暫時執行個體，然後選取 Actions (動作)、Image (映像)、Create image (建立映像)。

對於 Create image (建立映像)，執行下列動作：

1. 針對映像名稱 ，輸入 的描述性名稱AMI。

2. （選用） 針對影像描述 ，輸入 目的的簡短描述AMI。

3. 選擇 Create image (建立映像)。

在導覽窗格中，選擇 AMIs。

找出您在清單中建立的 AMI tht。等待狀態從 pending 變為 available，再繼續進行下一個步驟。

在 開啟 Amazon EC2主控台https://console.aws.amazon.com/ec2/。

在導覽窗格中，選擇 Instances (執行個體)，接著選擇 Launch Instances (啟動執行個體) 來開啟新的啟動執行個體精靈。

(選用) 在 Name and tags (名稱和標籤) 區段中，為執行個體命名，例如，EFA-instance。該名稱將指派作為執行個體的資源標籤 (Name=EFA-instance)。

在應用程式和作業系統映像區段中，選擇我的 AMIs，然後選擇您在上一個步驟中建立AMI的 。

在 Instance type (執行個體類型) 區段中，選取支援的執行個體類型。

在 Key pair (金鑰對) 區段中，選取要用於執行個體的金鑰對。

在 Network settings (網路設定) 區段，選擇 Edit (編輯)，接著執行下列動作：

1. 對於 Subnet (子網)，請選擇要在其中啟動執行個體的子網。如果您未選取子網路，則無法為 啟用執行個體EFA。

2. 針對 Firewall (security groups) (防火牆 (安全群組))，選取 Select existing security group (選取現有的安全群組)，接著選取您在前一個步驟中建立的安全群組。

3. 展開 Advanced network configuration (進階網路組態) 區段，並針對 Elastic Fabric Adapter，選取 Enable (啟用)。

（選用）在 儲存 區段中，根據需求設定磁碟區。

在 進階詳細資訊 區段中，針對 配置群組名稱，選取要在其中啟動執行個體的集群放置群組。如果您需要建立新的集群放置群組，請選取 建立新的配置群組。

在右側的摘要面板中，針對執行個體數量 ，輸入您要啟動的已啟用 EFA的執行個體數量，然後選擇啟動執行個體 。

在 開啟 Amazon EC2主控台https://console.aws.amazon.com/ec2/。

在導覽窗格中，選擇 Instances (執行個體)。

選取您建立的暫時執行個體，然後選擇動作 、執行個體狀態 、終止 （刪除） 執行個體 。

提示確認時，選擇終止 （刪除）。

選取叢集中的一個執行個體作為領導節點，並與它連線。

在領導節點上停用 strictHostKeyChecking 並啟用 ForwardAgent。使用您偏好的文字編輯器開啟 ~/.ssh/config，然後新增下列命令。

Host *
    ForwardAgent yes
Host *
    StrictHostKeyChecking no

產生RSA金鑰對。

$ ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa

在 $HOME/.ssh/ 目錄中建立金鑰對。

變更領導節點上私有金鑰的許可。

$ chmod 600 ~/.ssh/id_rsa
chmod 600 ~/.ssh/config

使用您偏好的文字編輯器開啟 ~/.ssh/id_rsa.pub 並複製該金鑰。

對於叢集中的每個成員節點，執行以下操作：

1. 連線到執行個體。

2. 使用您偏好的文字編輯器開啟 ~/.ssh/authorized_keys，然後新增您先前複製的公有金鑰。

若要測試無密碼功能SSH是否如預期運作，請連線至您的領導節點並執行下列命令。

$ ssh member_node_private_ip

您應該連線至成員節點，而不會提示您輸入金鑰或密碼。