Introducción a EFA y MPI para cargas de trabajo de HPC en Amazon EC2

Abra la consola de Amazon EC2 en https://console.aws.amazon.com/ec2/.

En el panel de navegación, elija Grupos de seguridad y, a continuación, elija Crear grupo de seguridad.

En la ventana Crear grupo de seguridad, haga lo siguiente:

1. En Nombre del grupo de seguridad, ingrese un nombre descriptivo para el grupo de seguridad, como, por ejemplo, EFA-enabled security group.

2. (Opcional) En Descripción, ingrese una breve descripción del grupo de seguridad.

3. En VPC, seleccione la VPC en la que desea iniciar sus instancias habilitadas para EFA.

4. Elija Creación de grupo de seguridad.

Seleccione el grupo de seguridad que creó y, en la pestaña Detalles, copie el ID del grupo de seguridad.

Con el grupo de seguridad todavía seleccionado, elija Acciones, Editar reglas de entrada y, luego, haga lo siguiente:

1. Seleccione Agregar regla.

2. En Tipo, seleccione Todo el tráfico.

3. En Tipo de origen, elija Personalizar y pegue el ID del grupo de seguridad que copió en el campo.

4. Seleccione Agregar regla.

5. En Tipo, seleccione SSH.

6. En Tipo de origen, elija Cualquiera de IPv4.

7. Seleccione Guardar reglas.

Con el grupo de seguridad todavía seleccionado, elija Acciones, Editar reglas de salida y, luego, haga lo siguiente:

1. Seleccione Agregar regla.

2. En Tipo, seleccione Todo el tráfico.

3. En Tipo de destino, elija Personalizar y pegue el ID del grupo de seguridad que copió en el campo.

4. Seleccione Guardar reglas.

Abra la consola de Amazon EC2 en https://console.aws.amazon.com/ec2/.

En el panel de navegación, elija Instancias y, a continuación, Iniciar instancias para abrir el nuevo asistente de inicialización de instancias.

(Opcional) En la sección Nombre y etiquetas, proporcione un nombre para la instancia, como EFA-instance. El nombre se asigna a la instancia como etiqueta de recurso (Name=EFA-instance).

En la sección Application and OS Images (Imágenes de aplicaciones y sistema operativo), seleccione una AMI para uno de los sistemas operativos compatibles.

En la sección Tipo de instancia, seleccione el tipo de instancia admitida.

En la sección Par de claves, seleccione el par de claves que desea utilizar en la instancia.

En la sección Configuración de red, elija Editar y realice lo siguiente:

1. En Subred, elija la subred en la que desea iniciar la instancia. Si no selecciona una subred, no puede habilitar la instancia para EFA.

2. En Firewall (grupos de seguridad), elija Seleccionar grupo de seguridad existente y, a continuación, seleccione el grupo de seguridad que creó en el paso anterior.

3. Amplíe la sección Configuración de red avanzada.

   Para la interfaz de red 1, seleccione Índice de tarjeta de red = 0, Índice de dispositivo = 0 y Tipo de interfaz = EFA con ENA.

   (Opcional) Si utiliza un tipo de instancia con varias tarjetas, por ejemplo, p4d.24xlarge o p5.48xlarge, para cada interfaz de red adicional necesaria, elija Agregar interfaz de red; en Índice de tarjetas de red, seleccione el siguiente índice no utilizado y, a continuación, seleccione Índice de dispositivo = 1 y Tipo de interfaz = EFA con ENA o solo EFA.

En la sección Almacenamiento, configure los volúmenes según sea necesario.

En el panel Resumen que se encuentra a la derecha, elija Iniciar instancia.

Conéctese a la instancia que lanzó. Para obtener más información, consulte Conexión a la instancia de Linux con SSH.

Para asegurarse de que todos los paquetes de software están actualizados, realice una actualización rápida del software en la instancia. Este proceso puede demorar unos minutos.

Reinicie la instancia y vuelva a conectarse a ella.

Descargue los archivos de instalación de software de EFA. Los archivos de instalación de software están empaquetados en un archivo tarball comprimido (.tar.gz). Para descargar la última versión estable, utilice el comando siguiente.

$ curl -O https://efa-installer.amazonaws.com/aws-efa-installer-1.38.0.tar.gz

También puede obtener la última versión reemplazando el número de versión por latest en el comando anterior.

Extraiga los archivos desde el archivo .tar.gz comprimido y acceda al directorio extraído.

$ tar -xf aws-efa-installer-1.38.0.tar.gz && cd aws-efa-installer

Instale el software EFA. Realice una de las siguientes acciones en función de su caso de uso.

Si el instalador de EFA le pide que reinicie la instancia, hágalo y vuelva a conectarse a la instancia. De lo contrario, cierre la sesión de la instancia y vuelva a iniciar sesión para completar la instalación.

Elimine el archivo tarball sin comprimir y el propio tarball. De lo contrario, se incluirán en la AMI habilitada para EFA que cree, lo que aumentará su tamaño.

Agregue Open MPI 5 a la variable de entorno PATH.

$ module load openmpi5

Compruebe que Open MPI 5 esté habilitado para su uso.

$ which mpicc

El comando debería devolver el directorio de instalación de Open MPI 5: /opt/amazon/openmpi5.

(Opcional) Para asegurarse de que Open MPI 5 se agregue a la variable de entorno PATH cada vez que se inicie la instancia, haga lo siguiente:

Para descargar el script de instalación de Intel MPI, haga lo siguiente:

1. Visite el sitio web de Intel.

2. En la sección Biblioteca de Intel MPI de la página web, elija el enlace para el instalador de la Biblioteca de Intel MPI para Linux sin conexión.

Ejecute el script de instalación que descargó en el paso anterior.

$ sudo bash installation_script_name.sh

En el instalador, elija Aceptar e instalar.

Lea el programa de mejora de Intel, elija la opción correspondiente y, a continuación, Comenzar la instalación.

Cuando finalice la instalación, elija Cerrar.

De forma predeterminada, Intel MPI utiliza su Libfabric integrada (interna). En cambio, puede configurar Intel MPI para que use la Libfabric que se incluye con el instalador de EFA. Por lo general, el instalador de EFA incluye una versión de Libfabric posterior a la de Intel MPI. En algunos casos, la Libfabric que se incluye con el instalador de EFA es más eficaz que la de Intel MPI. Para configurar Intel MPI de modo que use la Libfabric que se incluye con el instalador de EFA, realice alguna de las siguientes acciones en función de su shell.

Agregue el siguiente comando de origen al script de intérprete de comandos para obtener el script vars.sh desde el directorio de instalación para configurar el entorno del compilador cada vez que se inicie la instancia. Haga lo siguiente en función del shell.

De forma predeterminada, si el EFA no está disponible debido a una configuración incorrecta, Intel MPI utilizará la pila de red TCP/IP, lo que puede provocar un rendimiento más lento de la aplicación. Puede evitar que esto suceda configurando I_MPI_OFI_PROVIDER en efa. Esto hace que Intel MPI falle con el siguiente error si el EFA no está disponible:

Abort (XXXXXX) on node 0 (rank 0 in comm 0): Fatal error in PMPI_Init: OtherMPI error,
MPIR_Init_thread (XXX)........:	
MPID_Init (XXXX)..............:
MPIDI_OFI_mpi_init_hook (XXXX):
open_fabric (XXXX)............:
find_provider (XXXX)..........:
OFI fi_getinfo() failed (ofi_init.c:2684:find_provider:

Haga lo siguiente en función del shell.

De forma predeterminada, Intel MPI no imprime la información de depuración. Puede especificar diferentes niveles de detalle para controlar la información de depuración. Los valores posibles (ordenados en función de la cantidad de información que proporcionan) son los siguientes: 0 (predeterminado), 1, 2, 3, 4, 5. El nivel 1 y los niveles superiores imprimen la libfabric version y el libfabric provider. Use la libfabric version para comprobar si Intel MPI utiliza la Libfabric interna o la Libfabric que se incluye con el instalador de EFA. Si utiliza la Libfabric interna, la versión llevará el sufijo impi. Use el libfabric provider para comprobar si Intel MPI utiliza el EFA o la red TCP/IP. Si utiliza el EFA, el valor será efa. Si utiliza la red TCP/IP, el valor será tcp;ofi_rxm.

Para habilitar la información de depuración, realice alguna de las siguientes acciones en función del shell.

De forma predeterminada, Intel MPI utiliza la memoria compartida del sistema operativo (shm) para la comunicación dentro del nodo y, por otro lado, usa la Libfabric (ofi) solo para la comunicación entre nodos. Por lo general, esta configuración proporciona el mejor rendimiento. Sin embargo, en algunos casos, la estructura shm de Intel MPI puede provocar el bloqueo de ciertas aplicaciones de forma indefinida.

Para resolver este problema, puede forzar que Intel MPI use Libfabric para la comunicación tanto dentro del nodo como entre nodos. Para ello, realice alguna de las siguientes acciones en función del shell.

Cierre la sesión de la instancia y, a continuación, vuelva a iniciar sesión.

Para confirmar que MPI se instaló correctamente, ejecute el comando siguiente:

$ which mpicc

Para confirmar que los componentes de software de EFA y Libfabric se instalaron correctamente, ejecute el siguiente comando.

$ fi_info -p efa -t FI_EP_RDM

El comando debe devolver información acerca de las interfaces de EFA de Libfabric. En el siguiente ejemplo, se muestra el comando de salida.

provider: efa
    fabric: EFA-fe80::94:3dff:fe89:1b70
    domain: efa_0-rdm
    version: 2.0
    type: FI_EP_RDM
    protocol: FI_PROTO_EFA

Abra la consola de Amazon EC2 en https://console.aws.amazon.com/ec2/.

En el panel de navegación, seleccione Instances (Instancias).

Seleccione la instancia temporal que creó y elija Acciones, Imagen, Crear imagen.

En Crear imagen, realice lo siguiente:

1. En Nombre de imagen, ingrese un nombre descriptivo para la AMI.

2. (Opcional) En Descripción de imagen, ingrese una breve descripción del propósito la AMI.

3. Elija Crear imagen.

En el panel de navegación, elija AMI.

Localice la AMI que creó en la lista. Espere a que el estado pase de pending a available antes de continuar con el paso siguiente.

Abra la consola de Amazon EC2 en https://console.aws.amazon.com/ec2/.

En el panel de navegación, elija Instancias y, a continuación, Iniciar instancias para abrir el nuevo asistente de inicialización de instancias.

(Opcional) En la sección Nombre y etiquetas, proporcione un nombre para la instancia, como EFA-instance. El nombre se asigna a la instancia como etiqueta de recurso (Name=EFA-instance).

En la sección Imágenes de aplicaciones y sistema operativo, elija Mis AMI y, a continuación, seleccione la AMI que creó en el paso anterior.

En la sección Tipo de instancia, seleccione el tipo de instancia admitida.

En la sección Par de claves, seleccione el par de claves que desea utilizar en la instancia.

En la sección Configuración de red, elija Editar y realice lo siguiente:

1. En Subred, elija la subred en la que desea iniciar la instancia. Si no selecciona una subred, no puede habilitar la instancia para EFA.

2. En Firewall (grupos de seguridad), elija Seleccionar grupo de seguridad existente y, a continuación, seleccione el grupo de seguridad que creó en el paso anterior.

3. Amplíe la sección Configuración de red avanzada.

   Para la interfaz de red 1, seleccione Índice de tarjeta de red = 0, Índice de dispositivo = 0 y Tipo de interfaz = EFA con ENA.

   (Opcional) Si utiliza un tipo de instancia con varias tarjetas, por ejemplo, p4d.24xlarge o p5.48xlarge, para cada interfaz de red adicional necesaria, elija Agregar interfaz de red; en Índice de tarjetas de red, seleccione el siguiente índice no utilizado y, a continuación, seleccione Índice de dispositivo = 1 y Tipo de interfaz = EFA con ENA o solo EFA.

(Opcional) En la sección Almacenamiento, configure los volúmenes según sea necesario.

En la sección Detalles avanzados, para Nombre del grupo de ubicación, seleccione el grupo con ubicación en clúster en el que se iniciarán las instancias. Si necesita crear un nuevo grupo con ubicación en clúster, elija Crear nuevo grupo de ubicación.

En el panel Resumenque se encuentra a la derecha, en Cantidad de instancias, ingrese la cantidad de instancias habilitadas para EFA que desea iniciar y, a continuación, elija Iniciar instancias.

Abra la consola de Amazon EC2 en https://console.aws.amazon.com/ec2/.

En el panel de navegación, seleccione Instances (Instancia[s]).

Seleccione la instancia temporal que creó y, a continuación, elija Acciones, Estado de la instancia, Finalizar (eliminar) instancia.

Cuando se le pida confirmación, elija Finalizar (eliminar).

Seleccione una instancia del clúster como nodo principal y conéctese a ella.

Desactive strictHostKeyChecking y habilite ForwardAgent en el nodo principal. Abra ~/.ssh/config con su editor de texto preferido y agregue lo siguiente.

Host *
    ForwardAgent yes
Host *
    StrictHostKeyChecking no

Genere un par de claves de RSA.

$ ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa

El par de claves se crea en el directorio $HOME/.ssh/.

Cambie los permisos de la clave privada en el nodo principal.

$ chmod 600 ~/.ssh/id_rsa
chmod 600 ~/.ssh/config

Abra ~/.ssh/id_rsa.pub con su editor de texto preferido y copie la clave.

Para cada nodo miembro del clúster, realice lo siguiente:

1. Conéctese a la instancia.

2. Abra ~/.ssh/authorized_keys con su editor de texto preferido y agregue la clave pública que copió anteriormente.

Para probar que SSH sin contraseña funciona como se esperaba, conecte al nodo principal y ejecute el siguiente comando.

$ ssh member_node_private_ip

Debe conectarse al nodo miembro sin que se le pida una clave o una contraseña.