开始使用 EFA 和 MPI 处理 Amazon EC2 上的 HPC 工作负载

通过以下网址打开 Amazon EC2 控制台：https://console.aws.amazon.com/ec2/。

在导航窗格中，选择 Security Groups (安全组)，然后选择 Create Security Group (创建安全组)。

在 Create security group（创建安全组）窗口中，执行以下操作：

1. 对于安全组名称，请输入一个描述性的安全组名称，例如 EFA-enabled security group。

2. （可选）对于描述，请输入安全组的简要描述。

3. 对于 VPC，请选择要在其中启动启用了 EFA 的实例的 VPC。

4. 选择创建安全组。

选择您创建的安全组，然后在 Details（详细信息）选项卡上复制 Security group ID（安全组 ID）。

在安全组仍然选中的情况下，依次选择 Actions（操作）、Edit inbound rules（编辑入站规则），然后执行以下操作：

1. 选择 Add rule。

2. 对于 Type (类型)，请选择 All traffic (所有流量)。

3. 对于 Source type（源类型），请选择 Custom（自定义）并将您复制的安全组 ID 粘贴到该字段中。

4. 选择 添加规则。

5. 对于 Type，选择 SSH。

6. 对于 Source type（源类型），请选择 Anywhere-IPv4。

7. 选择保存规则。

在安全组仍然选中的情况下，依次选择 Actions（操作）、Edit outbound rules（编辑出站规则），然后执行以下操作：

1. 选择 Add rule。

2. 对于 Type (类型)，请选择 All traffic (所有流量)。

3. 对于 Destination type（目标类型），请选择 Custom（自定义）并将您复制的安全组 ID 粘贴到该字段中。

4. 选择保存规则。

通过以下网址打开 Amazon EC2 控制台：https://console.aws.amazon.com/ec2/。

在导航窗格中，请选择 Instances（实例），然后选择 Launch Instances（启动实例）以打开新的启动实例向导。

（可选）在 Name and tags（名称和标签）部分中，提供实例的名称，例如 EFA-instance。名称作为资源标签（Name=EFA-instance）分配给实例。

在 Application and OS Images（应用程序和操作系统映像）部分中，为其中一个支持的操作系统选择 AMI。

在 Instance type（实例类型）部分中，选择 supported instance type（支持的实例类型）。

在 Key pair（密钥对）部分中，选择要用于实例的密钥对。

在 Network settings（网络设置）部分中，请选择 Edit（编辑），然后执行以下操作：

1. 对于子网，选择要在其中启动实例的子网。如果您未选择子网，则不能启用 EFA 的实例。

2. 对于 Firewall（security groups）（防火墙（安全组）），请选择 Select existing security group（选择现有安全组），然后选择您在上一步中创建的安全组。

3. 展开高级网络配置部分。

   对于网络接口 1，选择网卡索引 = 0、设备索引 = 0、接口类型 = 带 ENA 的 EFA。

   （可选）如果您使用的是多卡实例类型，例如 p4d.24xlarge 或 p5.48xlarge，则对于每个额外的网络接口，选择添加网络接口；对于网卡索引，选择下一个未使用的索引，然后选择设备索引 = 1 和接口类型 = 带 ENA 的 EFA 或仅限 EFA。

在 Storage（存储）部分中，根据需要配置卷。

在右侧的 Summary（摘要）面板中，选择 Launch instance（启动实例）。

连接到您启动的实例。有关更多信息，请参阅 使用 SSH 连接到 Linux 实例。

为确保您的所有软件包都处于最新状态，请对您的实例执行快速软件更新。此过程可能需要几分钟时间。

重启实例并重新连接到它。

下载 EFA 软件安装文件。软件安装文件将打包为压缩的 tarball（.tar.gz）文件。要下载最新的稳定 版本，请使用以下命令。

$ curl -O https://efa-installer.amazonaws.com/aws-efa-installer-1.35.0.tar.gz

您也可以通过将上面命令中的版本号替换为 latest 来获取最新版本。

从压缩的 .tar.gz 文件中提取文件，并导航到提取的目录。

$ tar -xf aws-efa-installer-1.35.0.tar.gz && cd aws-efa-installer

安装 EFA 软件。根据您的使用案例执行以下某种操作。

如果 EFA 安装程序提示您重启实例，请执行此操作，然后重新连接到实例。否则，请注销实例，然后重新登录以完成安装。

将 Open MPI 5 添加到 PATH 环境变量中。

$ module load openmpi5

确认已启用 Open MPI 5 以供使用。

$ which mpicc

命令应返回 Open MPI 5 安装目录：/opt/amazon/openmpi5。

（可选）要确保每次启动实例时都将 Open MPI 5 添加到 PATH 环境变量中，请执行以下操作：

要下载 Intel MPI 安装脚本，请执行以下操作

1. 访问 Intel 网站。

2. 在网页的 Intel MPI Library 部分，选择 Intel MPI Library for Linux Offline 安装程序的链接。

运行您在上一个步骤中下载的安装脚本。

$ sudo bash installation_script_name.sh

在安装程序中，选择 Accept & install（接受并安装）。

阅读 Intel 改进计划，选择适当的选项，然后选择 Begin Installation（开始安装）。

安装完成后，选择关闭。

默认情况下，Intel MPI 使用其嵌入式（内部）Libfabric。您可以将 Intel MPI 配置为使用 EFA 安装程序附带的 Libfabric。通常，EFA 安装程序附带的 Libfabric 版本高于 Intel MPI。在某些情况下，EFA 安装程序附带的 Libfabric 比 Intel MPI 性能更强。要将 Intel MPI 配置为使用 EFA 安装程序附带的 Libfabric，请根据您的 Shell 执行以下操作之一。

将以下 source 命令添加到 Shell 脚本中，以从安装目录获取 vars.sh 脚本，以便在每次启动实例时设置编译器环境。根据您的 Shell 执行下列操作之一。

默认情况下，如果 EFA 因配置错误而不可用，Intel MPI 将默认为 TCP/IP 网络堆栈，这可能会导致应用程序性能下降。您可以通过将 I_MPI_OFI_PROVIDER 设置为 efa 来防止这种情况。如果 EFA 不可用，这将导致 Intel MPI 出现以下错误：

Abort (XXXXXX) on node 0 (rank 0 in comm 0): Fatal error in PMPI_Init: OtherMPI error,
MPIR_Init_thread (XXX)........:	
MPID_Init (XXXX)..............:
MPIDI_OFI_mpi_init_hook (XXXX):
open_fabric (XXXX)............:
find_provider (XXXX)..........:
OFI fi_getinfo() failed (ofi_init.c:2684:find_provider:

根据您的 Shell 执行下列操作之一。

默认情况下，Intel MPI 不会输出调试信息。您可以指定不同的详细程度来控制调试信息。可能的值（按提供的详细信息量排列）包括：0（默认值）、1、2、3、4、5。1 级及以上将输出 libfabric version 和 libfabric provider。使用 libfabric version 查看 Intel MPI 使用的是内部 Libfabric，还是 EFA 安装程序附带的 Libfabric。如果使用的是内部 Libfabric，则该版本的后缀为 impi。使用 libfabric provider 查看 Intel MPI 使用的是 EFA，还是 TCP/IP 网络。如果使用的是 EFA，则值为 efa。如果使用的是 TCP/IP，则值为 tcp;ofi_rxm。

要启用调试信息，请根据您的 Shell 执行以下操作之一。

默认情况下，Intel MPI 使用操作系统的共享内存 (shm) 进行节点内通信，且仅使用 Libfabric (ofi) 进行节点间通信。通常，此配置可提供最佳性能。但是，在某些情况下，Intel MPI shm 结构可能会导致某些应用程序无限期挂起。

要解决此问题，您可以强制 Intel MPI 使用 Libfabric 进行节点内和节点间通信。为此，请根据您的 Shell 执行下列操作之一。

注销实例，然后重新登录。

要确认 MPI 已成功安装，请运行以下命令：

$ which mpicc

要确认已成功安装 EFA 软件组件和 Libfabric，请运行以下命令。

$ fi_info -p efa -t FI_EP_RDM

该命令应返回有关 Libfabric EFA 接口的信息。以下示例显示了命令输出。

provider: efa
    fabric: EFA-fe80::94:3dff:fe89:1b70
    domain: efa_0-rdm
    version: 2.0
    type: FI_EP_RDM
    protocol: FI_PROTO_EFA

通过以下网址打开 Amazon EC2 控制台：https://console.aws.amazon.com/ec2/。

在导航窗格中，选择实例。

选择您创建的临时实例，然后依次选择 Actions (操作)、Image (映像)、Create image (创建映像)。

对于 Create image (创建映像)，请执行以下操作：

1. 对于 Image name (映像名称)，为 AMI 输入一个描述性名称。

2. （可选）对于 Image description (映像描述)，输入 AMI 用途的简要描述。

3. 选择创建映像。

在导航窗格中，选择 AMIs。

在列表中找到您创建的 AMI。等待状态从 pending 更改为 available，然后继续下一步。

通过以下网址打开 Amazon EC2 控制台：https://console.aws.amazon.com/ec2/。

在导航窗格中，请选择 Instances（实例），然后选择 Launch Instances（启动实例）以打开新的启动实例向导。

（可选）在 Name and tags（名称和标签）部分中，提供实例的名称，例如 EFA-instance。名称作为资源标签（Name=EFA-instance）分配给实例。

在 Application and OS Images（应用程序和操作系统映像）部分中，请选择 My AMIs（我的 AMI），然后选择您在上一步骤创建的 AMI。

在 Instance type（实例类型）部分中，选择 supported instance type（支持的实例类型）。

在 Key pair（密钥对）部分中，选择要用于实例的密钥对。

在 Network settings（网络设置）部分中，请选择 Edit（编辑），然后执行以下操作：

1. 对于子网，选择要在其中启动实例的子网。如果您未选择子网，则不能启用 EFA 的实例。

2. 对于 Firewall（security groups）（防火墙（安全组）），请选择 Select existing security group（选择现有安全组），然后选择您在上一步中创建的安全组。

3. 展开高级网络配置部分。

   对于网络接口 1，选择网卡索引 = 0、设备索引 = 0、接口类型 = 带 ENA 的 EFA。

   （可选）如果您使用的是多卡实例类型，例如 p4d.24xlarge 或 p5.48xlarge，则对于每个额外的网络接口，选择添加网络接口；对于网卡索引，选择下一个未使用的索引，然后选择设备索引 1 和接口类型 = 带 ENA 的 EFA 或仅限 EFA。

（可选）在 Storage（存储）部分中，根据需要配置卷。

在 Advanced details（高级详细信息）部分中，对于置放群组名称，选择要在其中启动实例的集群置放群组。如果您需要创建新的集群置放群组，请选择 Create new placement group（创建新置放群组）。

在右侧的 Summary（摘要）面板中，为 Number of instances（实例数量）输入您要启动的启用了 EAA 的实例数量，然后选择 Launch instance（启动实例）。

通过以下网址打开 Amazon EC2 控制台：https://console.aws.amazon.com/ec2/。

在导航窗格中，选择实例。

选择您创建的临时实例，然后依次选择操作、实例状态、终止（删除）实例。

当系统提示您确认时，选择终止（删除）。

在集群中选择一个实例作为领导节点，然后连接到该实例。

在领导节点上禁用 strictHostKeyChecking 并启用 ForwardAgent。使用首选文本编辑器打开 ~/.ssh/config，并添加以下内容。

Host *
    ForwardAgent yes
Host *
    StrictHostKeyChecking no

生成 RSA 密钥对。

$ ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa

密钥对在 $HOME/.ssh/ 目录中创建。

更改领导节点上私有密钥的权限。

$ chmod 600 ~/.ssh/id_rsa
chmod 600 ~/.ssh/config

使用首选文本编辑器打开 ~/.ssh/id_rsa.pub 并复制密钥。

对于集群中的每个成员节点，请执行以下操作：

1. 连接到实例。

2. 使用首选文本编辑器打开 ~/.ssh/authorized_keys，并添加之前复制的公有密钥。

要测试无密码 SSH 是否按预期运行，请连接到领导节点并运行以下命令。

$ ssh member_node_private_ip

您应该连接到成员节点，而不会收到输入密钥或密码的提示。