딥 러닝 시스템의 불확실성 정량화 - AWS 규범적 지침
소개

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

딥 러닝 시스템의 불확실성 정량화

Josiah Davis, Jason Zhu, and Jeremy Oldfather, Amazon Web Services (AWS)

Samual MacDonald and Maciej Trzaskowski, Max Kelsen

2020년 8월(문서 기록)

기계 학습(ML) 솔루션을 프로덕션에 제공하는 것은 어렵습니다. 어디서부터 시작해야 할지, 어떤 도구와 기법을 사용해야 하는지, 제대로 하고 있는지 확신하기란 쉽지 않습니다. ML 전문가는 개인의 경험에 따라 다양한 기법을 사용하거나 회사 내에서 개발된 정해진 도구를 사용합니다. 어느 경우든 수행할 작업을 결정하고, 솔루션을 구현하고, 이를 유지 관리하려면 시간과 리소스에 대한 상당한 투자가 필요합니다. 기존 ML 기술이 프로세스의 속도를 일부 높이는 데 도움이 되지만 이러한 기술을 통합하여 강력한 솔루션을 제공하려면 몇 개월 간의 작업이 필요합니다. 이 가이드는 기계 학습에 초점을 맞추고 빠르게 시작할 수 있는 방법에 대한 예시를 제공하는 콘텐츠 시리즈의 첫 번째 부분입니다. 이 시리즈의 목표는 ML 접근 방식을 표준화하고, 설계 결정을 내리고, ML 솔루션을 효율적으로 제공할 수 있도록 지원하는 것입니다. 앞으로 몇 달 안에 ML 가이드를 추가로 게시할 예정이니, AWS 권장 가이드 웹 사이트에서 업데이트를 확인하세요.

이 가이드는 ML 솔루션의 예측 모델링을 개선하기 위해 딥 러닝 시스템의 불확실성을 정량화하고 관리하는 최신 기법을 살펴봅니다. 이 콘텐츠는 고품질의 프로덕션 준비가 된 ML 솔루션을 대규모로 효율적으로 제공하고자 하는 데이터 사이언티스트, 데이터 엔지니어, 소프트웨어 엔지니어, 데이터 사이언스 리더를 위한 것입니다. 이 정보는 사용 중이거나 사용할 예정인 클라우드 환경이나 Amazon Web Services(AWS) 서비스에 관계없이 모든 데이터 사이언티스트에게 적합합니다.

이 가이드는 확률 및 딥 러닝의 입문 개념을 잘 알고 있다고 가정합니다. 조직에서 기계 학습 역량을 구축하는 방법에 대한 제안은 Coursera 웹 사이트의 딥 러닝 전문화 또는 AWS 교육 및 자격증 웹 사이트의 기계 학습: 데이터 사이언티스트 페이지에 있는 리소스를 참조하십시오.

소개

데이터 과학에서의 성공이 모델의 예측 성능으로 결정된다면 딥 러닝은 확실히 좋은 성과를 거둘 것입니다. 이는 매우 큰 데이터 세트의 비선형, 고차원 패턴을 사용하는 솔루션의 경우 특히 그렇습니다. 그러나 불확실성을 바탕으로 추론하고 프로덕션 환경에서 실패를 감지하는 능력이 성공을 정의한다면 딥 러닝의 효율성은 의심스러워집니다. 어떻게 하면 불확실성을 가장 잘 정량화할 수 있을까요? 위험을 관리하기 위해 이러한 불확실성을 어떻게 활용해야 할까요? 우리 제품의 신뢰성과 안전성에 영향을 미치는 불확실성의 병리 현상은 무엇인가요? 그리고 이러한 과제를 어떻게 극복할 수 있을까요?

이 설명서는

  • 딥 러닝 시스템의 불확실성을 정량화해야 할 동기를 소개합니다.

  • 딥 러닝과 관련된 확률의 중요한 개념을 설명합니다.

  • 딥 러닝 시스템의 불확실성을 정량화하는 최신 기법을 소개하고 관련 이점과 한계를 강조합니다.

  • 자연어 처리(NLP)의 전이 학습 상황 내에서 이러한 기법을 살펴봅니다.

  • 비슷한 상황에서 수행된 프로젝트에서 영감을 얻은 사례 연구를 제공합니다.

이 가이드에서 설명한 것처럼 딥 러닝의 불확실성을 정량화할 때는 딥 앙상블에 온도 스케일링을 사용하는 것이 좋습니다.

  • 온도 스케일링은 데이터를 분산에서 고려할 수 있는 경우 불확실성 추정치를 해석하는 데 이상적인 도구입니다(Guo et al. 2017).

  • 딥 앙상블은 데이터가 분산을 벗어나는 시점의 불확실성에 대한 최첨단 추정치를 제공합니다(Ovadia et al. 2019).

호스팅 모델의 메모리 사용량이 우려되는 경우 딥 앙상블 대신 몬테카를로(MC) 드롭아웃을 사용할 수 있습니다. 전이 학습의 경우 MC 드롭아웃만 사용하거나 MC 드롭아웃과 딥 앙상블을 함께 사용하는 것을 고려해 보십시오.