SUS05-BP04 Mengoptimalkan penggunaan akselerator komputasi berbasis perangkat keras
Optimalkan penggunaan instans komputasi terakselerasi Anda untuk mengurangi permintaan infrastruktur fisik beban kerja Anda.
Antipola umum:
-
Anda tidak memantau penggunaan GPU.
-
Anda menggunakan instans tujuan umum untuk beban kerja, padahal instans yang dibuat khusus dapat menghadirkan kinerja lebih tinggi, biaya lebih rendah, dan kinerja per watt yang lebih baik.
-
Anda menggunakan akselerator komputasi berbasis perangkat keras untuk tugas yang akan lebih efisien jika menggunakan alternatif berbasis CPU.
Manfaat menjalankan praktik terbaik ini: Dengan mengoptimalkan penggunaan akselerator berbasis perangkat keras, Anda dapat mengurangi permintaan infrastruktur fisik untuk beban kerja Anda.
Tingkat risiko yang terjadi jika praktik terbaik ini tidak dijalankan: Sedang
Panduan implementasi
Jika Anda memerlukan kemampuan pemrosesan tinggi, Anda dapat memanfaatkan instans komputasi terakselerasi, yang menyediakan akses ke akselerator komputasi berbasis perangkat keras seperti unit pemrosesan grafis (GPU) dan field programmable gate array (FPGA). Akselerator perangkat keras ini menjalankan fungsi-fungsi tertentu seperti pemrosesan grafis atau pencocokan pola data secara lebih efisien daripada alternatif berbasis CPU. Banyak beban kerja yang terakselerasi, seperti perenderan, transkode, dan machine learning, memiliki variabel tinggi sehubungan dengan penggunaan sumber daya. Jalankan perangkat keras ini hanya ketika diperlukan, dan nonaktifkan instans GPU secara otomatis saat tidak diperlukan, guna meminimalkan sumber daya yang digunakan.
Langkah implementasi
-
Identifikasi instans komputasi terakselerasi mana yang dapat memenuhi kebutuhan Anda.
-
Untuk beban kerja machine learning, manfaatkan perangkat keras yang dibuat khusus untuk beban kerja Anda, seperti AWS Trainium
, AWS Inferentia , dan Amazon EC2 DL1 . Instans AWS Inferentia seperti instans Inf2 menawarkan hingga 50% peningkatan kinerja per watt dibandingkan instans Amazon EC2 yang setara . -
Kumpulkan metrik penggunaan untuk instans komputasi terakselerasi Anda. Misalnya, Anda dapat menggunakan agen CloudWatch untuk mengumpulkan metrik seperti
utilization_gpudanutilization_memoryuntuk GPU Anda seperti yang ditunjukkan di Kumpulkan metrik GPU NVIDIA dengan Amazon CloudWatch. -
Optimalkan kode, operasi jaringan, dan pengaturan akselerator perangkat keras untuk memastikan perangkat keras yang mendasarinya dimanfaatkan sepenuhnya.
-
Gunakan driver GPU dan pustaka berkinerja tinggi terbaru.
-
Gunakan otomatisasi untuk melepaskan instans GPU ketika tidak digunakan.
Sumber daya
Dokumen terkait:
Video terkait:
