Elastic Fabric Adapter para cargas de trabajo de HPC y ML en Amazon EC2

Elastic Fabric Adapter (EFA) es un dispositivo de red que puede adjuntar a su instancia de Amazon EC2 para acelerar las aplicaciones de informática de alto rendimiento (HPC) y de machine learning. Un EFA le permite obtener el rendimiento de la aplicación de un clúster de HPC en las instalaciones, con la escalabilidad, la flexibilidad y la elasticidad que proporciona la nube de AWS.

Los adaptadores elásticos de estructura (EFA) proporcionan una latencia menor y más constante y un rendimiento superior que el transporte TCP que se utiliza tradicionalmente en los sistemas HPC basados en la nube. Mejora el rendimiento de una comunicación entre instancias que es crítico para el escalado de aplicaciones HCP y de machine learning. Está optimizado para trabajar en la infraestructura de red de AWS existente y se puede escalar en función de los requisitos de aplicaciones.

Los EFA se integran con Libfabric 1.7.0 y versiones posteriores, y son compatibles con Open MPI 5 y versiones posteriores, con la actualización 5 de Intel MPI 2019 para las aplicaciones HPC y con Nvidia Collective Communications Library (NCCL) para las aplicaciones de machine learning.

Conceptos básicos de EFA

Un EFA es un Elastic Network Adapter (ENA) con capacidades añadidas. Proporciona toda la funcionalidad de un ENA, con funcionalidad adicional de omisión del sistema operativo. La omisión del sistema operativo es un modelo de acceso que permite a las aplicaciones HPC y de machine learning comunicarse directamente con el hardware de interfaz de red para proporcionar una funcionalidad de transporte de confianza y de baja latencia.

Tradicionalmente, las aplicaciones HPC utilizan Message Passing Interface (MPI) para interaccionar con el transporte de red del sistema. En la nube de AWS, esto ha significado que las aplicaciones interaccionan con MPI que, a continuación, utiliza la pila TCP/IP del sistema y el controlador de dispositivo de ENA para permitir la comunicación de red entre instancias.

Con un EFA, las aplicaciones HPC utilizan MPI o NCCL para interaccionar con la API de Libfabric. La API Libfabric omite el kernel del sistema operativo y se comunica directamente con el dispositivo EFA para poner paquetes en la red. Esto reduce la sobrecarga y permite que la aplicación HPC se ejecute de forma más eficiente.

Diferencias entre los EFAs e instancias reservadas

Los Elastic Network Adapters (ENA) proporcionan características de redes de IP tradicionales que son requeridas para admitir las redes de VPC. Los EFA proporcionan las mismas características de redes de IP tradicionales que los ENA y también son compatibles con capacidades de omisión del sistema operativo. La omisión del sistema operativo habilita a las aplicaciones HPC y de machine learning para omitir el kernel del sistema operativo y comunicarse directamente con el dispositivo de EFA.

Interfaces y bibliotecas admitidas

Los EFA admiten las siguientes interfaces y bibliotecas:

Tipos de instancias admitidos

Para ver los tipos de instancias disponibles que son compatibles con los EFA en una región específica

Los tipos de instancia disponibles varían según la región. Para ver los tipos de instancias disponibles que son compatibles con los EFA en una región, utilice el comando describe-instance-types con el parámetro --region. Incluya el parámetro --filters para limitar los resultados a los tipos de instancia que admiten EFA y el parámetro --query para limitar la salida al valor de InstanceType.

aws ec2 describe-instance-types  --region us-east-1  --filters Name=network-info.efa-supported,Values=true  --query "InstanceTypes[*].[InstanceType]"  --output text | sort

Sistemas operativos compatibles

La compatibilidad del sistema operativo varía según el tipo de procesador. En la tabla siguiente se muestran los sistemas operativos compatibles.

Limitaciones de EFA

Los EFA presentan las siguientes limitaciones:

Precios de EFA

EFA está disponible como una función de red opcional de Amazon EC2 que puede habilitar en cualquier instancia compatible sin costo adicional.