alibi lime shap ELI5 InterpretML을 활용한 XAI

앙상블러닝이나 딥러닝은 예측의 정밀도 측면에서 전통적인 통계적 예측 방법론을 앞서고 있다고 해도 과언은 아니다. 이러한 예측 정밀도에도 불구하고 AI를 알지 못하는 end-user에게 이들 모형의 예측이 ‘왜?’‘어떻게?’를 설명하지 못하면, 정밀도만 높을 뿐 모형의 예측 결과가 산업현장의 의사결정에 거의 도움을 주지 못하게 된다.

XAI는 AI 모형과 end-user 간의 이러한 괴리를 메꿀 뿐만 아니라 AI 모형을 투명하고(transparency) 신뢰할만하게(trustworth) 만드는 도구이자 모형이다. 특히, XAI는 AI에 대한 전문지식이 없는 산업현장과 연구 분야에 있는 end-user도 AI 모형의 예측 결과를 쉽게 이해하고 진단할 수 있도록 한다.

이 책에서는 AI 모형을 적합시키고 예측했을 때, “이 예측모형에서 어떤 특성 변수가 얼마나 중요하지? 특정 표본의 예측 결과에 대한 각 특성 변수의 기여도는? text 데이터 또는 image 데이터인 경우, 어떤 단어(또는 단어모임) 또는 이미지의 어떤 부분이 예측 결과에 중요한 기여를 하지? 각 특성 변수값이 변화할 때 예측값은 어떤 방향으로 얼마만큼 변화하지? 특성 변수 간의 교호작용이 예측에 미치는 영향은? 특정 클래스에 소속되기 위해서 결정적인 역할을 하는 특성 변수값은? 텍스트는? 이미지는? 원래 클래스에서 다른 클래스 또는 목표 클래스로 변경하기 위해서는 어떤 특성 변수를 얼마만큼 변경해야 하지? 이미지의 어떤 부분을 어떻게 변화시키면 되지?”등의 여러 질문에 대한 답변을 통해, XAI의 역할과 기능을 체계적으로 정리하고 다양한 예제를 실습하도록 하여 XAI를 실제 문제에 응용할 수 있도록 하였다.

XAI의 또 다른 중요한 기능은 end-user의 언어로 AI 모형을 설명하는 데 있다. 이러한 설명은 AI에 대한 지식이 없더라도 모형의 구조를 이해하게 할 뿐만 아니라, 모형의 bias와 fairness를 점검하여 AI 모형의 특이현상 여부를 end-user의 관점에서 판별할 수 있도록 한다. 아무리 정밀도가 높더라도 bias가 있거나 fairness가 결여된 AI 모형은 실제 문제에 적용할 수 없으므로 적용 가능한 AI 모형인지에 대한 AI 모형의 신뢰도 점검은 필수적이다.

XAI를 효과적으로 처리할 수 있도록 ELI5, shap, lime, alibi, InterpretML 등의 라이브러리의 사용법을 자세하게 설명하였으며 실습에 필요한 코드와 데이터는 자유아카데미 홈페이지 자료실(www.freeaca.com)에서 download할 수 있도록 하였다. 각 라이브러리의 사용법을 자세하게 수록하였지만, 라이브러리별로 자료의 사전정리 과정이 매우 다르고 경우에 따라서는 매우 복잡하여 쉽게 익숙해지지 않을 것이다. XAI에 익숙해지는 가장 좋은 방법 중 하나는 이 책에서 제공한 각 XAI의 방법론에 대한 직관적인 설명을 먼저 이해하고 제공된 코드를 seed code로 하여 필요할 때마다 수정하여 사용하는 방법이다. 오자와 탈자가 없도록 반복하여 확인하였지만 발견되면 저자에게 알려주길 바란다.

끝으로 이 책의 개념도를 그려주고 교정을 도와준 박진세군의 노고에 감사를 전하며, 항상 응원하고 격려해 주는 사랑하는 가족들에게도 감사의 마음을 전한다.

[목 차]

1장 XAI(Explainable AI)

1부 Global Explainers

2장 ELI5(Explainable Like I’m 5)

3장 Global Explainer의 종류와 작동원리

3.1 PD(Partial Dependence)

3.2 PV(Partial Dependence Variance)

3.3 ALE(Accumulated Local Effect)

3.4 PI(Permutation Importance)

4장 PD, PV, ALE, 그리고 PI의 적용과 응용

4.1 Partial Dependence(PD)

4.2 Partial Dependence Variance(PV)

4.3 ALE

4.4 Permutation Importance(PI)

2부 Local Explainers

5장 LIME

5.1 데이터에 따른 LIME의 적용

5.2 SP-LIME

5.3 LIME의 적용과 응용

6장 Anchors

6.1 Anchors의 결정

6.2 Anchors의 적용과 응용

7장 IG(Integrated Gradients)

7.1 IG의 생성원리

7.2 Integrated Gradients의 적용

8장 SE(Similarity Explanations)

8.1 GS(gradient similarity)

8.2 GS의 적용과 응용

3부 Shapley Additive Explainers

9장 Shapley values

9.1 Shapley value의 기본개념

9.2 머신러닝에서의 Shapley value

9.3 Kernel SHAP

9.5 Deep SHAP

9.6 SHAP interaction values

10장 SHAP의 적용과 해석

10.1 KernelExplainer

10.2 shap.Explainer

10.3 TreeExplainer

10.4 DeepExplainer

10.5 Text 자료에 대한 SHAP value

11장 Decision plot

4부 CounterFactual Explainers

12장 CEM(Contrastive explanation method)

12.1 CEM PP와 PN

12.2 CEM의 적용

13장 CFI(Counterfactual Instances)

13.1 CFI의 적용과 응용

14장 CFP(Counterfactual Guided by Prototypes)

14.1 CFP의 이론적 배경

14.2 k-d tree와 신뢰점수

14.3 CFP의 적용과 응용

15장 CFRL(Counterfactual with Reinforcement Learning)

15.1 CFRL의 작동원리

15.2 ALIBI에서 CFRL의 적용

15.3 CFRL의 적용과 응용

5부 ALIBI와 EBM

16장 ALIBI explainer들의 비교와 응용

17장 EBM(Explainable Boosting Machines)

17.1 EBM 모형의 이해

17.2 EBM의 적용과 응용

참고문헌

찾아보기