Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
PERF02-BP06 Verwenden von optimierten hardwarebasierten Datenverarbeitungsbeschleunigern
Verwenden Sie Hardwarebeschleuniger, um bestimmte Funktionen effizienter auszuführen als CPU-basierte Alternativen.
Typische Anti-Muster:
-
Sie haben in der Workload keine Benchmark einer Allzweck-Instance verglichen mit einer speziell entwickelten Instance durchgeführt, die eine höhere Leistung und niedrigere Kosten bieten kann.
-
Sie verwenden hardwarebasierte Datenverarbeitungsbeschleuniger für Aufgaben, die mithilfe von CPU-basierten Alternativen effizienter sein können.
-
Sie überwachen die GPU-Nutzung nicht.
Vorteile der Nutzung dieser bewährten Methode: Durch die Verwendung hardwarebasierter Beschleuniger wie Grafikprozessoren (GPUs) und Field-Programmable Gate Arrays (FPGAs) können Sie bestimmte Verarbeitungsfunktionen effizienter ausführen.
Risikostufe bei fehlender Befolgung dieser bewährten Methode: Mittel
Implementierungsleitfaden
Beschleunigte Computing-Instances bieten Zugriff auf hardwarebasierte Datenverarbeitungsbeschleuniger wie GPUs und FPGAs. Diese Hardwarebeschleuniger führen bestimmte Funktionen wie die Grafikverarbeitung oder Datenmusterzuordnung effizienter aus als CPU-basierte Alternativen. Viele beschleunigte Workloads, wie Rendering, Transkodierung und Machine Learning, sind sehr variabel im Bezug auf die Ressourcennutzung. Betreiben Sie diese Hardware nur so lange wie nötig und nehmen Sie sie automatisch außer Betrieb, wenn sie nicht mehr benötigt wird, um die allgemeine Leistungseffizienz zu verbessern.
Implementierungsschritte
-
Ermitteln Sie, welche beschleunigten Computing-Instances für Ihre Anforderungen geeignet sind.
-
Nutzen Sie für Machine-Learning-Workloads spezielle Hardware, die auf Ihre Workload abgestimmt ist, z. B. AWS Trainium
, AWS Inferentia und Amazon EC2 DL1 . AWS Inferentia-Instances wie Inf2-Instances bieten eine um bis zu 50 % bessere Leistung pro Watt als vergleichbare Amazon-EC2-Instances . -
Erfassen Sie Nutzungsmetriken für Ihre beschleunigten Computing-Instances. Sie können den CloudWatch-Agent beispielsweise verwenden, um Metriken wie
utilization_gpu
undutilization_memory
für Ihre GPUs zu sammeln, wie im Artikel zum Erfassen von NVIDIA-GPU-Metriken mit Amazon CloudWatch beschrieben. -
Optimieren Sie Code, Netzwerkbetrieb und die Einstellungen von Hardwarebeschleunigern, um sicherzustellen, dass die zugrunde liegende Hardware optimal genutzt wird.
-
Verwenden Sie die aktuellen leistungsstarken Bibliotheken und GPU-Treiber.
-
Automatisieren Sie die Freigabe nicht genutzter GPU-Instances.
Ressourcen
Zugehörige Dokumente:
Zugehörige Videos:
-
AWS re:Invent 2021 – How to select Amazon Elastic Compute Cloud GPU instances for deep learning
-
AWS re:Invent 2022 – [NEW LAUNCH!] Introducing AWS Inferentia2-based Amazon EC2 Inf2 instances
-
AWS re:Invent 2022 – Accelerate deep learning and innovate faster with AWS Trainium
-
AWS re:Invent 2022 – Deep learning on AWS with NVIDIA: From training to deployment
Zugehörige Beispiele: