개요

해석 가능한 모델이 무엇인지, 어떤 정보가 모델 해석에 적합한지에 대한 보편적으로 인정되는 정의는 없습니다. 이 가이드는 일반적으로 사용되는 특성 중요도 개념에 초점을 맞추고 있습니다. 특성 중요도는 각 입력 기능의 중요도 점수를 사용하여 이것이 모델 출력에 미치는 영향을 해석합니다. 이 방법을 사용하면 통찰력을 얻을 수 있지만 주의가 필요합니다. 특성 중요도 점수는 오해의 소지가 있으므로 가능한 경우 주제 전문가와의 검증을 포함하여 신중하게 분석해야 합니다. 특히, 잘못된 해석은 잘못된 비즈니스 결정으로 이어질 수 있으므로 검증 없이는 특성 중요도 점수를 신뢰하지 않는 것이 좋습니다.

다음 그림에서는 아이리스 꽃의 특징을 측정하여 식물의 종을 예측하는 모델에 전달하고 이 예측과 관련된 특성 중요도(SHAP 속성)를 표시합니다. 이 경우 꽃잎 길이, 꽃잎 너비 및 꽃받침 길이는 모두 아이리스 버지니카의 분류에 긍정적으로 기여하지만 꽃받침 너비는 부정적으로 기여합니다. (이 정보는 [4]의 아이리스 데이터 세트를 기반으로 합니다.)

특성 중요도 점수는 점수가 모든 입력에서 모델에 유효함을 나타내는 글로벌 점수이거나 점수가 단일 모델 출력에 적용됨을 나타내는 로컬 점수일 수 있습니다. 로컬 특성 중요도 점수를 규모 조정하고 합산하여 모델 출력 값을 산출하는 경우가 많으며, 이를 속성이라고 합니다. 단순 모델은 입력 특성이 모델 출력에 미치는 영향을 더 쉽게 이해할 수 있기 때문에 해석하기 쉬운 것으로 간주됩니다. 예를 들어, 선형 회귀 모델에서 계수의 크기는 글로벌 특성 중요도 점수를 제공하고, 주어진 예측에 대한 로컬 특성 속성은 해당 계수와 특징 값의 곱입니다. 예측에 직접적인 로컬 특성 중요도 점수가 없는 경우, 기준선 입력 특징 집합에서 중요도 점수를 계산하여 특징이 기준선에 비해 어떻게 기여하는지 파악할 수 있습니다.