Elastic Fabric Adapter

O Elastic Fabric Adapter (EFA) é um dispositivo de rede que é possível anexar à instância do Amazon EC2 para acelerar as aplicações de machine learning e de Computação de Alta Performance (HPC). O EFA permite que você atinja a performance da aplicação de um cluster HPC on-premises, com a escalabilidade, a flexibilidade e a elasticidade fornecidas pela Nuvem AWS.

Os EFAs fornecem latência mais baixa e mais consistente e maior throughput que o transporte de TCP tradicionalmente usado em sistemas HPC baseados em nuvem. Ele aprimora a performance da comunicação entre instâncias, que é essencial para o dimensionamento de aplicações de machine learning e de HPC. Ele é otimizado para funcionar na infraestrutura de rede da AWS existente e pode ser dimensionado dependendo dos requisitos da aplicação.

Os EFAs se integram ao Libfabric 1.7.0 e versões posteriores, sendo compatíveis com Open MPI 5 e versões posteriores e Intel MPI 2019 Update 5 e versões posteriores para aplicações de HPC, além de Nvidia Collective Communications Library (NCCL) para aplicativos de machine learning.

Conceitos básicos de EFA

Um EFA é um Elastic Network Adapter (ENA) com recursos adicionais. Ele fornece todas as funcionalidades de um ENA, com uma funcionalidade adicional de desvio de sistema operacional. O desvio de sistema operacional é um modelo de acesso que permite que as aplicações de machine learning e de HPC se comuniquem diretamente com o hardware da interface de rede para fornecer funcionalidade de transporte confiável e de baixa latência.

Tradicionalmente, as aplicações HPC usam a Message Passing Interface (MPI) para fazer interface com o transporte de rede do sistema. Na Nuvem AWS, isso significa que as aplicações fazem interface com a MPI, que usa a pilha TCP/IP do sistema operacional e o driver de dispositivo ENA para habilitar a comunicação de rede entre as instâncias.

Com um EFA, aplicações HPC usam a MPI ou a NCCL para fazer interface com a API Libfabric. A API Libfabric ignora o kernel do sistema operacional e se comunica diretamente com o dispositivo EFA para colocar pacotes na rede. Isso reduz a sobrecarga e permite que a aplicação HPC seja executado com mais eficiência.

Diferenças entre EFAs e RIs

Elastic Network Adapters (ENAs) fornecem recursos tradicionais de rede IP que são necessários para permitir as redes da VPC. Os EFAs fornecem todos os mesmos recursos de rede IP tradicionais que os ENAs e também oferecem suporte a recursos de desvio do sistema operacional. O desvio de sistema operacional permite que as aplicações de machine learning e de HPC ignorem o kernel do sistema operacional e se comuniquem diretamente com o dispositivo EFA.

Interfaces e bibliotecas compatíveis

Os EFAs oferecem suporte às seguintes interfaces e bibliotecas:

Tipos de instâncias compatíveis

Para ver os tipos de instância disponíveis com suporte a EFAs em uma região específica

Os tipos de instância disponíveis variam de acordo com a região. Para ver os tipos de instâncias disponíveis com suporte a EFAs em uma região, use o comando describe-instance-types com o parâmetro --region. Inclua o parâmetro --filters para definir o escopo dos resultados para os tipos de instância com suporte a EFA e o parâmetro --query para definir o escopo da saída para o valor de InstanceType.

aws ec2 describe-instance-types  --region us-east-1  --filters Name=network-info.efa-supported,Values=true  --query "InstanceTypes[*].[InstanceType]"  --output text | sort

Sistemas operacionais compatíveis

O suporte ao sistema operacional varia dependendo do tipo de processador. A tabela a seguir mostra os sistemas operacionais compatíveis.

Limitações de EFA

Os EFAs têm as seguintes limitações:

Preços do EFA

O EFA está disponível como um recurso de rede opcional do Amazon EC2 que pode ser habilitado em qualquer instância compatível sem nenhum custo adicional.