SageMaker Edge Manager로 엣지에서 모델 배포

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon SageMaker Edge Manager는 엣지 디바이스에 대한 모델 관리를 제공하므로 스마트 카메라, 로봇, 개인용 컴퓨터, 모바일 디바이스와 같은 다양한 엣지 디바이스에서 기계 학습 모델을 최적화, 보호, 모니터링 및 유지할 수 있습니다.

Edge Manager를 사용하는 이유는 무엇입니까?

많은 기계 학습(ML) 사용 사례에서는 엣지 디바이스 플릿에서 ML 모델을 실행해야 합니다. 그래야 실시간으로 예측을 가져오고, 최종 사용자의 개인정보를 보호하고, 네트워크 연결 비용을 절감할 수 있습니다. ML용으로 설계된 저전력 엣지 하드웨어의 가용성이 증가함에 따라 이제 여러 복잡한 신경망 모델을 엣지 디바이스에서 실행할 수 있습니다.

하지만 클라우드 인스턴스와 달리 디바이스는 컴퓨팅, 메모리, 연결이 제한적이기 때문에 엣지 디바이스에서 ML 모델을 운영하는 것은 쉽지 않습니다. 모델 드리프트로 인해 시간이 지남에 따라 모델 품질이 저하될 수 있으므로 모델 배포 후에는 지속적으로 모니터링해야 합니다. 디바이스에서 데이터 샘플을 수집하고 예측 왜도를 인식하기 위한 사용자 지정 코드를 작성해야 하기 때문에 디바이스 플릿 전반에서 모델을 모니터링하는 것은 어렵습니다. 또한 모델은 애플리케이션에 하드 코딩되는 경우가 많습니다. 모델을 업데이트하려면 전체 애플리케이션 또는 디바이스 펌웨어를 재구축하고 업데이트해야 하며, 이로 인해 작동이 중단될 수 있습니다.

SageMaker Edge Manager를 사용하면 엣지에 있는 디바이스 플릿 전반에서 기계 학습 모델을 최적화, 실행, 모니터링 및 업데이트할 수 있습니다.

작동 방식

개괄적으로 보면 SageMaker Edge Manager 워크플로에는 SageMaker Neo로 모델 컴파일, Neo 컴파일 모델 패키징, 디바이스에 모델 배포, SageMaker AI 추론 엔진(Edge Manager 에이전트)에서 모델 실행, 디바이스에서 모델 유지 관리라는 5가지 주요 구성 요소가 있습니다.

SageMaker Edge Manager는 SageMakerNeo를 사용하여 한 번의 클릭으로 대상 하드웨어에 맞게 모델을 최적화한 다음 배포 전 모델에 암호로 서명합니다. SageMaker Edge Manager를 사용하면 엣지 디바이스에서 모델 입력 및 출력 데이터를 샘플링하여 모니터링 및 분석을 위해 클라우드로 보내고 SageMaker AI 콘솔 내에서 배포된 모델의 작업을 추적하고 시각적으로 보고하는 대시보드를 볼 수 있습니다.

SageMaker Edge Manager는 이전에 클라우드에서만 사용할 수 있었던 기능을 엣지로 확장하므로 개발자는 드리프트 감지에 Amazon SageMaker Model Monitor를 사용하여 모델 품질을 지속적으로 개선한 다음 SageMaker AI Ground Truth로 데이터에 레이블을 다시 지정하고 SageMaker AI에서 모델을 재훈련할 수 있습니다.

SageMaker Edge Manager 사용법

SageMaker Edge Manager를 처음 사용할 경우 다음을 수행할 것을 권장합니다.