Amazon ECS-Aufgabendefinitionen für GPU-Workloads - Amazon Elastic Container Service
ÜberlegungenWas tun, wenn Sie eine P2-Instance benötigen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon ECS-Aufgabendefinitionen für GPU-Workloads

Amazon ECS unterstützt Workloads, die GPUs verwenden, wenn Sie Cluster mit Container-Instances erstellen, die GPUs unterstützen. GPU-basierte Amazon-EC2-Container-Instances, die die Instance-Typen p2, p3, p5, g3, g4 und g5 verwenden, bieten Zugriff auf NVIDIA-GPUs. Weitere Informationen finden Sie unter Linux Accelerated Computing Instances im Amazon EC2 EC2-Benutzerhandbuch.

Amazon ECS bietet eine GPU-optimierte AMI, die mit vorkonfigurierten NVIDIA-Kernel-Treibern und einer Docker-GPU-Laufzeitumgebung ausgestattet ist. Weitere Informationen finden Sie unter Amazon ECS-optimierte Linux-AMIs.

Sie können in Ihrer Aufgabendefinition eine Reihe von GPUs für die Platzierung von Aufgaben auf Container-Ebene festlegen. Amazon ECS plant verfügbare GPU-fähige Container-Instances und heftet physische GPUs für eine optimale Leistung an geeignete Container an.

Die folgenden GPU-basierten Instance-Typen von Amazon EC2 werden unterstützt. Weitere Informationen finden Sie unter Amazon EC2 P2-Instances, Amazon EC2 P3-Instances, Amazon EC2 P4d-Instances, Amazon EC2 P5-Instances, Amazon EC2 G3-Instances, Amazon EC2 G4-Instances, Amazon EC2 G5-Instancesund Amazon EC2 G6-Instances.

Instance-Typ

GPUs

GPU-Speicher (GiB)

vCPUs

Arbeitsspeicher (GiB)

p3.2xgroß

1

16

8

61

p3.8xgroß

4

64

32

244

p3.16xgroß

8

128

64

488

p3dn.24xgroß

8

256

96

768

p4d.24xgroß

 8 320 96 1 152
p5.48xlarge 8 640 192 2048

g3s.xgroß

1

8

4

30,5

g3.4xgroß

1

8

16

122

g3.8xgroß

2

16

32

244

g3.16xgroß

4

32

64

488

g4dn.xgroß

1

16

4

16

g4dn.2xgroß

1

16

8

32

g4dn.4xgroß

1

16

16

64

g4dn.8xgroß

1

16

32

128

g4dn.12xgroß

4

64

48

192

g4dn.16xgroß

1

16

64

256

g5.xgroß

1

24

4

16

g5.2xlarge

1

24

8

32

g5.4xlarge

1

24

16

64

g5.8xlarge

1

24

32

128

g5.16xlarge

1

24

64

256

g5.12xlarge

4

96

48

192

g5.24xlarge

4

96

96

384

g5.48xlarge

8

192

192

768
g6.xlarge 1 24 4 16
g 6.2 x groß 1 24 8 32
g 6,4 x groß 1 24 16 64
g 6,8 x groß 1 24 32 128
g 6.16.x groß 1 24 64 256
g 6.12 x groß 4 96 48 192
g 6.24 x groß 4 96 48 192
g 6,48 x groß 8 192 192 768
g6. Metall 8 192 192 768
gr 6.4 x groß 1 24 16 128
gr 6,8 x groß 1 24 32 256

Sie können die Amazon Machine Image (AMI) -ID für Amazon ECS-optimierte AMIs abrufen, indem Sie die AWS Systems Manager Parameter Store-API abfragen. Mit diesem Parameter müssen Sie Amazon-ECS-optimierte AMI-IDs nicht manuell nachschlagen. Weitere Informationen zur Systems Manager Parameter Store-API finden Sie unter GetParameter. Der von Ihnen verwendete Benutzer muss über die ssm:GetParameter-IAM-Berechtigung zum Abrufen der Amazon-EKS-optimierten AMI-Metadaten verfügen.

aws ssm get-parameters --names /aws/service/ecs/optimized-ami/amazon-linux-2/gpu/recommended --region us-east-1

Überlegungen

Anmerkung

Die Unterstützung für den g2-Instance-Familientyp ist veraltet.

Der Instance-Familientyp p2 wird nur von Versionen vor 20230912 des Amazon-ECS-GPU-optimierten AMI unterstützt. Wenn Sie weiterhin P2-Instances verwenden müssen, finden Sie weitere Informationen unter Was tun, wenn Sie eine P2-Instance benötigen.

Direkte Updates der NVIDIA/CUDA-Treiber auf diesen beiden Instance-Familientypen können zu potenziellen Ausfällen bei GPU-Workloads führen.

Wir empfehlen, Folgendes zu beachten, bevor Sie auf Amazon ECS mit GPUs arbeiten.

  • Ihre Cluster können eine Mischung aus GPU- und Nicht-GPU-Container-Instances enthalten.

  • Sie können GPU-Workloads auf externen Instances ausführen. Stellen Sie beim Anmelden einer externen Instance bei Ihrem Cluster sicher, dass das --enable-gpu-Flag im Installationsskript enthalten ist. Weitere Informationen finden Sie unter Registrierung einer externen Instance in einem Amazon ECS-Cluster.

  • Sie müssen in Ihrer Agenten-Konfigurationsdatei ECS_ENABLE_GPU_SUPPORT auf true setzen. Weitere Informationen finden Sie unter Konfiguration des Amazon-ECS-Container-Agenten.

  • Wenn Sie eine Aufgabe ausführen oder einen Service erstellen, können Sie beim Konfigurieren der Platzierungsbedingungen mithilfe von Attributen des Instance-Typs festlegen, für welche Ihrer Container-Instances die Aufgabe gestartet wird. Auf diese Weise können Sie Ihre Ressourcen effektiver verwenden. Weitere Informationen finden Sie unter Wie Amazon ECS Aufgaben auf Container-Instances platziert.

    Das folgende Beispiel startet eine Aufgabe auf einer g4dn.xlarge-Container-Instance in Ihrem Standard-Cluster.

    aws ecs run-task --cluster default --task-definition ecs-gpu-task-def \
     --placement-constraints type=memberOf,expression="attribute:ecs.instance-type ==  g4dn.xlarge" --region us-east-2

  • Für jeden Container, der eine in der Container-Definition festgelegte GPU-Ressourcenanforderung hat, legt Amazon ECS fest, dass die Container-Laufzeitumgebung die NVIDIA-Container-Laufzeitumgebung ist.

  • Die NVIDIA Container-Laufzeitumgebung erfordert, dass einige Umgebungsvariablen im Container festgelegt werden, damit sie korrekt funktioniert. Eine Liste dieser Umgebungsvariablen finden Sie unter Spezialisierte Konfigurationen mit Docker. Amazon ECS legt die NVIDIA_VISIBLE_DEVICES-Umgebungsvariablen als Liste der GPU-Geräte-IDs, die Amazon ECS dem Container zuweist, fest. Die anderen erforderlichen Umgebungsvariablen legt Amazon ECS nicht fest. Stellen Sie daher sicher, dass Ihr Container-Image sie festlegt oder dass sie in der Container-Definition festgelegt sind.

  • Die p5-Instance-Typ-Familie wird auf Version 20230929 und höher des Amazon-ECS GPU-optimierten AMI unterstützt.

  • Die g4-Instance-Typ-Familie wird auf Version 20230913 und höher des Amazon ECS GPU-optimierten AMI unterstützt. Weitere Informationen finden Sie unter Amazon ECS-optimierte Linux-AMIs. Sie wird im Workflow „Cluster erstellen“ in der Amazon-ECS-Konsole nicht unterstützt. Um diese Instance-Typen zu verwenden, müssen Sie entweder die Amazon EC2 EC2-Konsole oder die API verwenden und die Instances manuell in Ihrem Cluster registrieren. AWS CLI

  • Der Instance-Typ p4d.24xlarge funktioniert nur mit CUDA 11 oder höher.

  • Das für Amazon ECS GPU-optimierte AMI ist IPv6 aktiviert, was zu Problemen bei der Verwendung von yum führt. Dies kann durch Konfigurieren von yum zur Verwendung von IPv4 mit dem folgenden Befehl gelöst werden.

    echo "ip_resolve=4" >> /etc/yum.conf

  • Wenn Sie ein Container-Image erstellen, das die NVIDIA/CUDA-Basis-Images nicht verwendet, müssen Sie die Container-Laufzeit-Variable NVIDIA_DRIVER_CAPABILITIES auf einen der folgenden Werte festlegen:

    • utility,compute

    • all

    Informationen zum Festlegen der Variablen finden Sie unter Steuern der NVIDIA Container Runtime auf der NVIDIA-Website.

  • GPUs werden in Windows-Containern nicht unterstützt.

Was tun, wenn Sie eine P2-Instance benötigen

Wenn Sie die P2-Instance verwenden müssen, können Sie eine der folgenden Optionen verwenden, um die Instances weiterhin zu verwenden.

Sie müssen die Benutzerdaten der Instance für beide Optionen ändern. Weitere Informationen finden Sie unter Arbeiten mit Instance-Benutzerdaten im Amazon EC2 EC2-Benutzerhandbuch.

Verwenden der zuletzt unterstützten GPU-optimierten AMI

Sie können die 20230906-Version des GPU-optimierten AMI verwenden und den Instance-Benutzerdaten Folgendes hinzufügen.

Ersetzen Sie cluster-name durch den Namen Ihres Clusters.

#!/bin/bash
echo "exclude=*nvidia* *cuda*" >> /etc/yum.conf
echo "ECS_CLUSTER=cluster-name" >> /etc/ecs/ecs.config

Die aktuellsten GPU-optimierten AMI verwenden und die Benutzerdaten aktualisieren

Sie können den Benutzerdaten der Instance Folgendes hinzufügen. Dadurch werden die Nvidia 535/Cuda12.2-Treiber deinstalliert und anschließend die Nvidia 470/Cuda11.4-Treiber installiert und die Version repariert.

#!/bin/bash
yum remove -y cuda-toolkit* nvidia-driver-latest-dkms*
tmpfile=$(mktemp)
cat >$tmpfile <<EOF
[amzn2-nvidia]
name=Amazon Linux 2 Nvidia repository
mirrorlist=\$awsproto://\$amazonlinux.\$awsregion.\$awsdomain/\$releasever/amzn2-nvidia/latest/\$basearch/mirror.list
priority=20
gpgcheck=1
gpgkey=https://developer.download.nvidia.com/compute/cuda/repos/rhel7/x86_64/7fa2af80.pub
enabled=1
exclude=libglvnd-*
EOF

mv $tmpfile /etc/yum.repos.d/amzn2-nvidia-tmp.repo
yum install -y system-release-nvidia cuda-toolkit-11-4 nvidia-driver-latest-dkms-470.182.03
yum install -y libnvidia-container-1.4.0 libnvidia-container-tools-1.4.0 nvidia-container-runtime-hook-1.4.0 docker-runtime-nvidia-1

echo "exclude=*nvidia* *cuda*" >> /etc/yum.conf
nvidia-smi

Ihr eigenes P2-kompatibles und GPU-optimiertes AMI erstellen

Sie können Ihr eigenes benutzerdefiniertes GPU-optimiertes Amazon-ECS-AMI erstellen, das mit P2-Instances kompatibel ist, und dann P2-Instances mithilfe des AMI starten.

  1. Führen Sie den folgenden Befehl aus, um das amazon-ecs-ami repo zu klonen.

    git clone https://github.com/aws/amazon-ecs-ami

  2. Stellen Sie die erforderlichen Amazon-ECS-Agent- und Amazon-Linux-AMI-Quellversionen in release.auto.pkrvars.hcl oder overrides.auto.pkrvars.hcl ein.

  3. Führen Sie den folgenden Befehl aus, um ein privates P2-kompatibles EC2-AMI zu erstellen.

    Ersetzen Sie Region durch die Region mit der Instance-Region.

    REGION=region make al2keplergpu

  4. Verwenden Sie das AMI mit den folgenden Instance-Benutzerdaten, um eine Verbindung zum Amazon-ECS-Cluster herzustellen.

    Ersetzen Sie cluster-name durch den Namen Ihres Clusters.

    #!/bin/bash
echo "ECS_CLUSTER=cluster-name" >> /etc/ecs/ecs.config