SUS05-BP04 하드웨어 기반 컴퓨팅 액셀러레이터의 사용 최적화
가속 컴퓨팅 인스턴스의 사용을 최적화하여 워크로드의 물리적 인프라 요구를 줄입니다.
일반적인 안티 패턴:
-
GPU 사용을 모니터링하지 않습니다.
-
특별히 구축된 인스턴스가 더 높은 성능, 더 낮은 비용 및 더 나은 와트당 성능을 제공함에도 불구하고 워크로드에 범용 인스턴스를 사용합니다.
-
CPU 기반 대안을 사용하는 것이 더 효율적인 작업에 하드웨어 기반 컴퓨팅 액셀러레이터를 사용합니다.
이 모범 사례 확립의 이점: 하드웨어 기반 액셀러레이터의 사용을 최적화하여 워크로드의 물리적 인프라 요구를 줄일 수 있습니다.
이 모범 사례가 확립되지 않았을 경우의 위험 수준: 보통
구현 가이드
높은 처리 용량이 필요한 경우, 그래픽 처리 장치(GPU) 및 필드 프로그래밍 가능 게이트 어레이(FPGA)와 같은 하드웨어 기반 컴퓨팅 액셀러레이터에 대한 액세스를 제공하는 가속 컴퓨팅 인스턴스 사용의 이점을 활용할 수 있습니다. 이러한 하드웨어 액셀러레이터는 CPU 기반 대안보다 더 효율적인 그래픽 처리 또는 데이터 패턴 일치와 같은 특정 기능을 수행합니다. 렌더링, 트랜스코딩, 기계 학습 등 많은 가속 워크로드는 리소스 사용 면에서 매우 가변적입니다. 필요한 시간 동안만 이 하드웨어를 실행하고 필요하지 않은 경우 자동화를 통해 이를 폐기하여 리소스 사용을 최소화합니다.
구현 단계
-
요구 사항을 해결할 수 있는 가속 컴퓨팅 인스턴스를 식별합니다.
-
기계 학습 워크로드의 경우 AWS Trainium
, AWS Inferentia 및 Amazon EC2 DL1 같이 워크로드에 따라 특별히 구축된 다른 하드웨어의 장점을 활용합니다. Inf2 인스턴스와 같은 AWS Inferentia 인스턴스는 동급 Amazon EC2 인스턴스에 비해 최대 50% 더 우수한 와트당 성능을 제공합니다. -
가속 컴퓨팅 인스턴스의 사용량 지표를 수집합니다. 예를 들어 GPU의 경우 CloudWatch 에이전트를 사용하여
utilization_gpu및utilization_memory같은 지표를 수집할 수 있습니다(Amazon CloudWatch를 사용하여 NVIDIA GPU 지표 수집참조). -
코드, 네트워크 운영, 하드웨어 액셀러레이터 설정을 최적화하여 기본 하드웨어가 반드시 제대로 활용되도록 해야 합니다.
-
최신 고성능 라이브러리 및 GPU 드라이버를 사용합니다.
-
자동화를 사용하여 사용하지 않는 GPU 인스턴스 사용을 해제합니다.
리소스
관련 문서:
관련 동영상:
