고경현 주혜인 장이준

A Unified Approach to Interpreting Model Predictions

Scott M. Lundberg, Su-In Lee, “A Unified Approach to Interpreting Model Predictions”, University of Washington, NIPS 2017

읽기 전에,

• 여기서 말하는 모든 method는 모델의 해석을 위한 method를 말합니다. 이는 linear regression, logistic regression, decision tree와 같은 모델 그 자체로 결과를 설명할 수 있는 Interpretable model과 구분됩니다.
• Method는 크게 local method과 global method로 구분할 수 있습니다. Local method는 개별 예측값을 설명합니다. 간단히 말하면, 개별 예측값에 대해 변수 중요도를 구합니다. Global method는 모델의 전반적인 움직임(예측값의 평균)에 따라 변수 중요도를 구합니다.
• 이 논문은 Local method에 집중합니다.

참고: Chapter 8 Global Model-Agnostic Methods | Interpretable Machine Learning (christophm.github.io)

1. Introduction

모델이 왜 그렇게 예측했는지 설명하는 것은 예측하는 것만큼 중요하다. 이를 현대 모델에도 적용하기 위해 다양한 방법들이 등장했지만 여기엔 두 가지 문제가 있다.

1) 이 방법들이 어떤 연관성이 있는지 모른다.

2) 언제 어떤 방법을 사용하는 것이 좋은지 불분명하다.

저자는 이 두 문제에 대처하기 위해 결론적으로 새로운 모델 해석 framework인 **SHAP (Shapley Additive Explanations)**을 제안한다.

본 논문은 SHAP을 제안하는 과정에서 크게 세 가지 의의를 가지며, 이 세 가지 포인트가 논문에서 눈여겨 보아야 할 것들이다.