View a markdown version of this page

Amazon-ECS-Aufgabendefinitionen für GPU-Workloads - Amazon Elastic Container Service
ÜberlegungenTeilen Sie GPUs manuell auf Amazon ECS auf Amazon EC2Was tun, wenn Sie eine P2-Instance benötigen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon-ECS-Aufgabendefinitionen für GPU-Workloads

Amazon ECS unterstützt Workloads, die GPUs verwenden, wenn Sie Cluster mit Container-Instances erstellen, die GPUs unterstützen. Amazon EC2 GPU-based Container-Instances, die die Instance-Typen p2, p3, p4d, p5, g3, g4, g5, g6, g6e und g6f verwenden, bieten Zugriff auf NVIDIA-GPUs. Weitere Informationen finden Sie unter Linux-beschleunigte Computing-Instances im Benutzerhandbuch für Instance-Typen von Amazon EC2.

Amazon ECS bietet eine GPU-optimized AMI, das mit vorkonfigurierten NVIDIA-Kerneltreibern und einer Docker-GPU-Laufzeit geliefert wird. Weitere Informationen finden Sie unter Amazonas ECS-optimized Linux-AMIs.

Sie können in Ihrer Aufgabendefinition eine Reihe von GPUs für die Platzierung von Aufgaben auf Container-Ebene festlegen. Amazon ECS plant verfügbare GPU-fähige Container-Instances und heftet physische GPUs für eine optimale Leistung an geeignete Container an.

Das folgende Amazon EC2 GPU-based Instance-Typen werden unterstützt. Weitere Informationen finden Sie unter Amazon EC2 P2-Instances, Amazon EC2 P3-Instanzen, Amazon EC2 P4d-Instanzen, Amazon EC2 P5-Instanzen, Amazon EC2 G3-Instanzen, Amazon EC2 G4-Instanzen, Amazon EC2 G5-Instanzen, Amazon EC2 G6-Instanzen, Amazon EC2 G6e-Instanzen, und Amazon EC2 G6f-Instanzen.

Instance-Typ GPUs GPU-Speicher (GiB) vCPUs Arbeitsspeicher (GiB)

p3.2xgroß

1

16

8

61

p3.8xgroß

4

64

32

244

p3.16xgroß

8

128

64

488

p3dn.24xgroß

8

256

96

768

p4d.24xgroß

 8 320 96 1 152
p5.48xlarge 8 640 192 2048

g3s.xgroß

1

8

4

30,5

g3.4xgroß

1

8

16

122

g3.8xgroß

2

16

32

244

g3.16xgroß

4

32

64

488

g4dn.xgroß

1

16

4

16

g4dn.2xgroß

1

16

8

32

g4dn.4xgroß

1

16

16

64

g4dn.8xgroß

1

16

32

128

g4dn.12xgroß

4

64

48

192

g4dn.16xgroß

1

16

64

256

g5.xgroß

1

24

4

16

g5.2xlarge

1

24

8

32

g5.4xlarge

1

24

16

64

g5.8xlarge

1

24

32

128

g5.16xlarge

1

24

64

256

g5.12xlarge

4

96

48

192

g5.24xlarge

4

96

96

384

g5.48xlarge

8

192

192

768
g6.xlarge 1 24 4 16
g6.2xlarge 1 24 8 32
g6.4xlarge 1 24 16 64
g6.8xlarge 1 24 32 128
g6.16.xlarge 1 24 64 256
g6.12xlarge 4 96 48 192
g6.24xlarge 4 96 96 384
g6.48xlarge 8 192 192 768
g6.metal 8 192 192 768
gr6.4xlarge 1 24 16 128
g6e.xlarge 1 48 4 32
g6e.2xlarge 1 48 8 64
g6e.4xlarge 1 48 16 128
g6e.8xlarge 1 48 32 256
g6e16.xlarge 1 48 64 512
g6e12.xlarge 4 192 48 384
g6e24.xlarge 4 192 96 768
g6e48.xlarge 8 384 192 1536
gr6.8xlarge 1 24 32 256
g6f.large 1/8 (0,125) 3 2 8
g6f.xlarge 1/8 (0,125) 3 4 16
g6f.2xlarge 1/4 (0,25) 6 8 32
g6f.4xlarge 1/2 (0,5) 12 16 64
gr6f.4xlarge 1/2 (0,5) 12 16 128

Sie können die Amazon Machine Image (AMI) -ID für Amazon abrufen ECS-optimized AMIs, indem Sie das abfragen AWS Systems Manager API zum Speichern von Parametern. Mit diesem Parameter müssen Sie Amazon nicht manuell nachschlagen ECS-optimized AMI-IDs. Weitere Informationen zur Systems Manager Parameter Store API finden Sie unter GetParameter. Der Benutzer, den Sie verwenden, muss über ssm:GetParameter IAM-Erlaubnis zum Abrufen von Amazon ECS-optimized AMI-Metadaten.

aws ssm get-parameters --names /aws/service/ecs/optimized-ami/amazon-linux-2/gpu/recommended --region us-east-1

Überlegungen

Anmerkung

Die Unterstützung für den g2-Instance-Familientyp ist veraltet.

Der Instanzfamilientyp p2 wird nur in Versionen unterstützt, die älter sind als 20230912 des Amazon ECS GPU-optimized AMI. Wenn Sie weiterhin P2-Instances verwenden müssen, finden Sie weitere Informationen unter Was tun, wenn Sie eine P2-Instance benötigen.

In-place Aktualisierungen der NVIDIA/CUDA Treiber auf diesen beiden Instance-Familientypen führen zu potenziellen GPU-Workload-Ausfällen.

Wir empfehlen, Folgendes zu beachten, bevor Sie auf Amazon ECS mit GPUs arbeiten.

  • Ihre Cluster können eine Mischung aus GPU- und Nicht-GPU-Container-Instances enthalten.

  • Sie können GPU-Workloads auf externen Instances ausführen. Stellen Sie beim Anmelden einer externen Instance bei Ihrem Cluster sicher, dass das --enable-gpu-Flag im Installationsskript enthalten ist. Weitere Informationen finden Sie unter Registrieren einer externen Instance in einem Amazon-ECS-Cluster.

  • Sie müssen in Ihrer Agenten-Konfigurationsdatei ECS_ENABLE_GPU_SUPPORT auf true setzen. Weitere Informationen finden Sie unter Konfiguration des Amazon-ECS-Container-Agenten.

  • Wenn Sie eine Aufgabe ausführen oder einen Service erstellen, können Sie beim Konfigurieren der Platzierungsbedingungen mithilfe von Attributen des Instance-Typs festlegen, für welche Ihrer Container-Instances die Aufgabe gestartet wird. Auf diese Weise können Sie Ihre Ressourcen effektiver verwenden. Weitere Informationen finden Sie unter So platziert Amazon ECS Aufgaben in Container-Instances.

    Das folgende Beispiel startet eine Aufgabe auf einer g4dn.xlarge-Container-Instance in Ihrem Standard-Cluster.

    aws ecs run-task --cluster default --task-definition ecs-gpu-task-def \
     --placement-constraints type=memberOf,expression="attribute:ecs.instance-type ==  g4dn.xlarge" --region us-east-2

  • Für jeden Container, der eine in der Container-Definition festgelegte GPU-Ressourcenanforderung hat, legt Amazon ECS fest, dass die Container-Laufzeitumgebung die NVIDIA-Container-Laufzeitumgebung ist.

  • Die NVIDIA Container-Laufzeitumgebung erfordert, dass einige Umgebungsvariablen im Container festgelegt werden, damit sie korrekt funktioniert. Eine Liste dieser Umgebungsvariablen finden Sie unter Spezialisierte Konfigurationen mit Docker. Amazon ECS legt die NVIDIA_VISIBLE_DEVICES-Umgebungsvariablen als Liste der GPU-Geräte-IDs, die Amazon ECS dem Container zuweist, fest. Die anderen erforderlichen Umgebungsvariablen legt Amazon ECS nicht fest. Stellen Sie daher sicher, dass Ihr Container-Image sie festlegt oder dass sie in der Container-Definition festgelegt sind.

  • Die p5-Instance-Typfamilie wird in Version 1 unterstützt 20230929 und später des Amazon ECS GPU-optimized AMI.

  • Die g4-Instance-Typfamilie wird in Version 1 unterstützt 20230913 und später des Amazon ECS GPU-optimized AMI. Weitere Informationen finden Sie unter Amazonas ECS-optimized Linux-AMIs. Sie wird im Workflow „Cluster erstellen“ in der Amazon-ECS-Konsole nicht unterstützt. Um diese Instance-Typen zu verwenden, müssen Sie entweder die Amazon EC2-Konsole verwenden, AWS CLI, oder API und registrieren Sie die Instances manuell in Ihrem Cluster.

  • Der Instance-Typ p4d.24xlarge funktioniert nur mit CUDA 11 oder höher.

  • Das Amazon ECS GPU-optimized AMI hat IPv6 aktiviert, was zu Problemen bei der Verwendung führt yum. Dies kann durch Konfigurieren von yum zur Verwendung von IPv4 mit dem folgenden Befehl gelöst werden.

    echo "ip_resolve=4" >> /etc/yum.conf

  • Wenn Sie ein Container-Image erstellen, das das nicht verwendet NVIDIA/CUDA Basis-Images müssen Sie festlegen NVIDIA_DRIVER_CAPABILITIES Container-Laufzeitvariable auf einen der folgenden Werte:

    • utility,compute

    • all

    Informationen zum Festlegen der Variablen finden Sie unter Steuern der NVIDIA Container Runtime auf der NVIDIA-Website.

  • GPUs werden in Windows-Containern nicht unterstützt.

Teilen Sie GPUs manuell auf Amazon ECS auf Amazon EC2

Um GPUs manuell auf Amazon ECS auf Amazon EC2 freizugeben, richten Sie die GPU-Sharing selbst ein und verwalten sie. Verwenden Sie stattdessen den verwalteten Ansatz, bei dem Amazon ECS die gemeinsame Nutzung für Sie einrichtet und verwaltet. Weitere Informationen zum verwalteten Ansatz finden Sie unter Teilen Sie GPUs auf Amazon ECS.

Wenn Sie GPUs freigeben möchten, müssen Sie Folgendes konfigurieren.

  1. Entfernen Sie die GPU-Ressourcenanforderungen aus Ihren Aufgabendefinitionen, sodass Amazon ECS keine GPUs reserviert, die gemeinsam genutzt werden sollten.

  2. Fügen Sie Ihren Instances die folgenden Benutzerdaten hinzu, wenn Sie GPUs gemeinsam nutzen möchten. Dadurch wird nvidia zur standardmäßigen Docker-Container-Laufzeit auf der Container-Instance, sodass alle Amazon-ECS-Container die GPUs verwenden können. Weitere Informationen finden Sie unter Ausführen von Befehlen beim Start einer EC2-Instance mit Benutzer-Dateneingabe im Amazon-EC2-Benutzerhandbuch.

    const userData = ec2.UserData.forLinux();
 userData.addCommands(
 'sudo rm /etc/sysconfig/docker',
 'echo DAEMON_MAXFILES=1048576 | sudo tee -a /etc/sysconfig/docker',
 'echo OPTIONS="--default-ulimit nofile=32768:65536 --default-runtime nvidia" | sudo tee -a /etc/sysconfig/docker',
 'echo DAEMON_PIDFILE_TIMEOUT=10 | sudo tee -a /etc/sysconfig/docker',
 'sudo systemctl restart docker',
);

  3. Legen Sie die NVIDIA_VISIBLE_DEVICES-Umgebungsvariable in Ihrem Container fest. Dazu können Sie die Umgebungsvariable in Ihrer Aufgabendefinition festlegen. Informationen zu den gültigen Werten finden Sie unter GPU-Nummerierung auf der NVIDIA-Dokumentationsseite.

Was tun, wenn Sie eine P2-Instance benötigen

Wenn Sie die P2-Instance verwenden müssen, können Sie eine der folgenden Optionen verwenden, um die Instances weiterhin zu verwenden.

Sie müssen die Benutzerdaten der Instance für beide Optionen ändern. Weitere Informationen finden Sie unter Ausführen von Befehlen beim Start einer EC2-Instance mit Benutzer-Dateneingabe im Amazon-EC2-Benutzerhandbuch.

Verwenden Sie die zuletzt unterstützte GPU-optimized AMI

Du kannst das benutzen 20230906 Version des GPU-optimized AMI, und fügen Sie den Instance-Benutzerdaten Folgendes hinzu.

Ersetzen Sie cluster-name durch den Namen Ihres Clusters.

#!/bin/bash
echo "exclude=*nvidia* *cuda*" >> /etc/yum.conf
echo "ECS_CLUSTER=cluster-name" >> /etc/ecs/ecs.config

Verwenden Sie die neueste Version GPU-optimized AMI und aktualisiere die Benutzerdaten

Sie können den Benutzerdaten der Instance Folgendes hinzufügen. Dadurch wird das Nvidia deinstalliert 535/Cuda12.2 Treiber und installiert dann die Nvidia 470/Cuda11.4 Treiber und behebt die Version.

#!/bin/bash
yum remove -y cuda-toolkit* nvidia-driver-latest-dkms*
tmpfile=$(mktemp)
cat >$tmpfile <<EOF
[amzn2-nvidia]
name=Amazon Linux 2 Nvidia repository
mirrorlist=\$awsproto://\$amazonlinux.\$awsregion.\$awsdomain/\$releasever/amzn2-nvidia/latest/\$basearch/mirror.list
priority=20
gpgcheck=1
gpgkey=https://developer.download.nvidia.com/compute/cuda/repos/rhel7/x86_64/7fa2af80.pub
enabled=1
exclude=libglvnd-*
EOF

mv $tmpfile /etc/yum.repos.d/amzn2-nvidia-tmp.repo
yum install -y system-release-nvidia cuda-toolkit-11-4 nvidia-driver-latest-dkms-470.182.03
yum install -y libnvidia-container-1.4.0 libnvidia-container-tools-1.4.0 nvidia-container-runtime-hook-1.4.0 docker-runtime-nvidia-1

echo "exclude=*nvidia* *cuda*" >> /etc/yum.conf
nvidia-smi

Erstellen Sie Ihr eigenes P2-kompatibles GPU-optimized AMI

Sie können Ihr eigenes benutzerdefiniertes Amazon ECS erstellen GPU-optimized AMI, das mit P2-Instances kompatibel ist, und dann P2-Instances mithilfe des AMI starten.

  1. Führen Sie den folgenden Befehl aus, um das amazon-ecs-ami repo zu klonen.

    git clone https://github.com/aws/amazon-ecs-ami

  2. Stellen Sie die erforderlichen Amazon-ECS-Agent- und Amazon-Linux-AMI-Quellversionen in release.auto.pkrvars.hcl oder overrides.auto.pkrvars.hcl ein.

  3. Führen Sie den folgenden Befehl aus, um ein privates P2-kompatibles EC2-AMI zu erstellen.

    Ersetzen Sie Region durch die Region mit der Instance-Region.

    REGION=region make al2keplergpu

  4. Verwenden Sie das AMI mit den folgenden Instance-Benutzerdaten, um eine Verbindung zum Amazon-ECS-Cluster herzustellen.

    Ersetzen Sie cluster-name durch den Namen Ihres Clusters.

    #!/bin/bash
echo "ECS_CLUSTER=cluster-name" >> /etc/ecs/ecs.config