SUS05-BP04 Optimieren der Nutzung von hardwarebasierten Computing-Beschleunigern
Sie können die Nutzung von beschleunigten Computing-Instances optimieren, um die Anforderungen Ihres Workloads an die physische Infrastruktur zu reduzieren.
Typische Anti-Muster:
-
Sie überwachen die GPU-Nutzung nicht.
-
Sie verwenden eine allgemeine Instance für den Workload, während eine speziell angefertigte Instance eine höhere Leistung, geringere Kosten und eine bessere Leistung pro Watt bieten kann.
-
Sie verwenden hardwarebasierte Computing-beschleuniger für Aufgaben, bei denen CPU-basierte Alternativen effizienter sind.
Vorteile der Nutzung dieser bewährten Methode: Durch den optimalen Einsatz hardwarebasierter Beschleuniger können Sie die Anforderungen an die physische Infrastruktur Ihres Workloads reduzieren.
Risikostufe bei fehlender Befolgung dieser Best Practice: Mittel
Implementierungsleitfaden
Wenn Sie eine hohe Verarbeitungsleistung benötigen, können Sie beschleunigte Computing-Instances verwenden. Diese bieten Zugriff auf hardwarebasierte Computing-Beschleuniger wie Grafikprozessoren (Graphics Processing Units, GPUs) und Field Programmable Gate Arrays (FPGAs). Diese Hardwarebeschleuniger führen bestimmte Funktionen wie die Grafikverarbeitung oder Datenmusterzuordnung effizienter aus als CPU-basierte Alternativen. Viele beschleunigte Workloads, wie Rendering, Transcodierung und Machine Learning, sind sehr variabel im Bezug auf die Ressourcennutzung. Betreiben Sie diese Hardware nur so lange wie nötig und nehmen Sie sie automatisch außer Betrieb, wenn sie nicht mehr benötigt wird, um den Ressourcenverbrauch zu minimieren.
Implementierungsschritte
-
Identifizieren Sie, welche beschleunigten Computing-Instances Ihren Anforderungen entsprechen.
-
Nutzen Sie für Machine-Learning-Workloads spezielle Hardware, die auf Ihren Workload abgestimmt ist, z. B. AWS Trainium
, AWS Inferentia und Amazon EC2 DL1 . AWS Inferentia-Instances wie Inf2-Instances bieten bis zu 50 % bessere Leistung pro Watt im Vergleich zu vergleichbaren Amazon EC2-Instances . -
Erfassen Sie Nutzungsmetriken für Ihre beschleunigten Computing-Instances. Sie können beispielsweise den CloudWatch-Agenten verwenden, um Metriken wie
utilization_gpuundutilization_memoryfür Ihre GPUs zu erfassen, siehe auch Erfassen von NVIDIA-GPU-Metriken mit Amazon CloudWatch. -
Optimieren Sie Code, Netzwerkbetrieb und die Einstellungen von Hardwarebeschleunigern, um sicherzustellen, dass die zugrunde liegende Hardware optimal genutzt wird.
-
Verwenden Sie die aktuellen leistungsstarken Bibliotheken und GPU-Treiber.
-
Automatisieren Sie die Freigabe nicht genutzter GPU-Instances.
Ressourcen
Zugehörige Dokumente:
Zugehörige Videos:
