모델 설명 가능성

Amazon SageMaker Clarimate는 기계 학습(ML) 모델이 예측을 수행하는 방법을 설명하는데 도움이 되는 도구를 제공합니다. 이러한 도구는 ML 모델러, 개발자 및 기타 내부 이해 관계자가 배포 전에 모델 특성을 전체적으로 이해하고 배포 후 모델이 제공하는 예측을 디버깅하는 데 도움이 될 수 있습니다.

ML 모델이 예측에 도달하는 방법에 대한 투명성은 소비자와 규제 기관에게도 매우 중요합니다. 모델 예측에 기반한 결정을 받아들이려면 모델 예측을 신뢰해야 합니다. SageMaker Clative는 모델에 구애받지 않는 기능 특성 접근법을 사용합니다. 이를 통해 훈련 후 모델이 예측을 한 이유를 이해하고 추론 중에 인스턴스별 설명을 제공할 수 있습니다. 구현에는 확장 가능하고 효율적인 SHAP 구현이 포함됩니다. 이는 협동 게임 이론 분야의 Shapley 값 개념을 기반으로 합니다.이 값은 각 특징에 특정 예측에 대한 중요도 값을 할당합니다.

Clarify는 특징들이 기계 학습 모델의 예측 결과에 미치는 한계 효과를 보여주는 부분 의존성 도표(PDP)를 생성합니다. 부분 의존성은 일련의 입력 특징이 주어졌을 때 대상 응답을 설명하는 데 도움이 됩니다. 또한 표 형식의 데이터 설명에 사용되는 것과 동일한 Shapley 값(SHAP) 알고리즘을 사용하여 컴퓨터 비전(CV)과 자연어 처리(NLP)의 설명 가능성을 모두 지원합니다.

기계 학습 컨텍스트에서 설명은 어떤 역할을 할까요? 설명은 예측의 원인을 이해하는 데 도움이 되는 Why 질문에 대한 답으로 생각할 수 있습니다. ML 모델의 맥락에서 보면 다음과 같은 질문에 답하는 데 관심이 있을 수 있습니다.

감사 및 규제 요구 사항 충족, 모델에 대한 신뢰 구축 및 인간의 의사 결정 지원, 모델 성능 디버깅 및 개선을 위해 설명을 사용할 수 있습니다.

ML 추론의 특성과 결과에 대한 사람의 이해에 대한 요구를 충족시켜야 하는 필요성이 요구되는 설명의 핵심입니다. 철학 및 인지 과학 분야의 연구에 따르면 사람들은 대조적인 설명, 즉 발생하지 않은 다른 사건 Y 대신 사건 X가 발생한 이유에 대한 설명에 특히 신경을 쓰는 것으로 나타났습니다. 여기서 X는 예상치 못한 사건이거나 놀라운 사건일 수 있으며 Y는 기준이라고 하는 기존 멘탈 모델에 기반한 기대치에 해당합니다. 동일한 이벤트 X의 경우 관점 또는 멘탈 모델 Y에 따라 사람마다 다른 설명을 찾을 수 있습니다.설명 가능한 AI의 맥락에서 X는 설명되는 예이고 Y는 일반적으로 데이터세트에서 정보가 부족하거나 평균적인 예를 나타내기 위해 선택되는 기준으로 생각할 수 있습니다. 예를 들어, 이미지의 ML 모델링의 경우 기준이 암시적일 수 있습니다.여기서 픽셀이 모두 같은 색상인 이미지가 기준 역할을 할 수 있습니다.

샘플 노트북

Amazon SageMaker Clarify는 모델 설명 가능성을 위해 다음과 같은 샘플 노트북을 제공합니다.

이 노트북은 Amazon SageMaker Studio에서만 실행이 검증되었습니다. Amazon SageMaker Studio에서 노트북을 여는 방법에 대한 지침이 필요한 경우, Amazon SageMaker Studio Classic 노트북 만들기 또는 열기섹션을 참조하세요. 커널을 선택하라는 메시지가 표시되면, Python 3(데이터 과학)를 선택합니다.