Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Elastic Fabric Adapter für HPC und ML-Workloads bei Amazon EC2

Ein Elastic Fabric Adapter (EFA) ist ein Netzwerkgerät, das Sie an Ihre EC2 Amazon-Instance anschließen können, um High Performance Computing (HPC) und Machine-Learning-Anwendungen zu beschleunigen. EFAermöglicht es Ihnen, die Anwendungsleistung eines lokalen HPC Clusters mit der Skalierbarkeit, Flexibilität und Elastizität der AWS Cloud zu erreichen.

EFAsbieten eine geringere und konsistentere Latenz und einen höheren Durchsatz als der TCP Transport, der traditionell in cloudbasierten HPC Systemen verwendet wird. Es verbessert die Leistung der Kommunikation zwischen Instanzen, was für Skalierung HPC und maschinelles Lernen von entscheidender Bedeutung ist. Es ist für die Verwendung in der vorhandenen AWS Netzwerkinfrastruktur optimiert und kann je nach Anwendungsanforderungen skaliert werden.

EFAslässt sich in Libfabric 1.7.0 und höher integrieren und unterstützt Open MPI 5 und höher sowie Intel MPI 2019 Update 5 und höher für HPC Anwendungen sowie Nvidia Collective Communications Library (NCCL) für maschinelles Lernen.

EFAGrundlagen

An EFA ist ein Elastic Network Adapter (ENA) mit zusätzlichen Funktionen. Er bietet die gesamte Funktionalität einesENA, mit einer zusätzlichen Betriebssystem-Bypass-Funktionalität. OS-Bypass ist ein Zugriffsmodell, mit dem Anwendungen für maschinelles Lernen direkt mit der Netzwerkschnittstellen-Hardware kommunizieren könnenHPC, um zuverlässige Transportfunktionen mit niedriger Latenz bereitzustellen.

Traditionell verwenden HPC Anwendungen das Message Passing Interface (MPI) als Schnittstelle zum Netzwerktransport des Systems. In der AWS Cloud bedeutete dies, dass Anwendungen eine Schnittstelle mit MPI dem TCP /IP-Stack des Betriebssystems und dem ENA Gerätetreiber herstellen, um die Netzwerkkommunikation zwischen Instanzen zu ermöglichen.

Mit einem verwenden HPC Anwendungen MPI oder EFA, um eine Schnittstelle NCCL zur APILibfabric herzustellen. Die Libfabric API umgeht den Betriebssystem-Kernel und kommuniziert direkt mit dem EFA Gerät, um Pakete in das Netzwerk zu stellen. Dadurch wird der Overhead reduziert und die HPC Anwendung kann effizienter ausgeführt werden.

Unterschiede zwischen und EFAs ENAs

Elastic Network Adapters (ENAs) bieten herkömmliche IP-Netzwerkfunktionen, die zur Unterstützung von VPC Netzwerken erforderlich sind. EFAsbieten dieselben traditionellen IP-Netzwerkfunktionen wie ENAs und unterstützen auch Betriebssystem-Bypass-Funktionen. OS-Bypass ermöglicht es HPC Anwendungen für maschinelles Lernen, den Betriebssystemkern zu umgehen und direkt mit dem EFA Gerät zu kommunizieren.

Unterstützte Schnittstellen und Bibliotheken

EFAsunterstützt die folgenden Schnittstellen und Bibliotheken:

Unterstützte Instance-Typen

Um die verfügbaren Instance-Typen zu sehen, die EFAs in einer bestimmten Region unterstützt werden

Die verfügbaren Instance-Typen variieren je nach Region. Um die verfügbaren Instance-Typen zu sehen, die EFAs in einer Region unterstützt werden, verwenden Sie den describe-instance-typesBefehl mit dem --region Parameter. Fügen Sie den --filters Parameter ein, um die Ergebnisse auf die unterstützten Instance-Typen zu beschränken, EFA und den --query Parameter, um die Ausgabe auf den Wert von zu beschränkenInstanceType.

aws ec2 describe-instance-types  --region us-east-1  --filters Name=network-info.efa-supported,Values=true  --query "InstanceTypes[*].[InstanceType]"  --output text | sort

Unterstützte Betriebssysteme

Die Betriebssystemunterstützung ist je nach Prozessortyp unterschiedlich. In der folgenden Tabelle sind die unterstützten Betriebssysteme aufgeführt.

EFAEinschränkungen

EFAshaben die folgenden Einschränkungen:

EFAPreisgestaltung

EFAist als optionale EC2 Amazon-Netzwerkfunktion verfügbar, die Sie auf jeder unterstützten Instance ohne zusätzliche Kosten aktivieren können.