[논문 앞부분 읽기] Expl(AI)n It to Me – Explainable AI and Information Systems Research

지난 15년간 AI에서 엄청난 발전이 있었는데, object recognition, NLP, recommendation system, digital assistant 등이 있다.

예측 성능은 매우 놀랍지만, 왜 그러한 결과를 가져오게 되었는지 인간이 이해할 수 있는 수준에서 설명을 할 수 있을만한 transparency나 interpretability에서는 다소 부족하다.

방법론적 관점에서는 다음과 같은 문제가 발생한다.

1) 예측 결과에 대해 설명, 감시가 불가능한다면 예측결과가 초래할 수 있는 의도치 않은 결과에 대해 책임을 어떻게 질 수 있는가.

2) AI를 사용하는 목적을 단순히 예측 결과를 알아내는 것에 그쳐서는 안된다. Machine learning이 결과를 도출해내는 과정을 배우고 해석하여, 새로운 발견을 해내거나 오류를 잡아내고 지식을 더 쌓는데 도움이 될 수 있다.

3) 인간의 직관이나 경험과 상반되는 결과를 도출해낼 여지가 있다. (-> bias 이야기하는 것 같음. 인종차별, 성차별 등)

따라서 높은 성능을 유지하면서 해석가능함을 갖는 것은 기술적, 사회적, 경제적, 법적, 심리적 측면에 있어서 중요하고 가치가 있음.

 

- 설명가능 모델은 다음을 만족시킬 수 있어야함:

모델의 최적화와 디버깅, 차별적 패턴 감지, 학습 과정 모니터링, 타겟 유저에 최적화, 책임감, 인간의 지식과 기술을 향상시킬 수 있는 모델. 

 

Bauer, K., Hinz, O., van der Aalst, W. et al. Expl(AI)n It to Me – Explainable AI and Information Systems Research. Bus Inf Syst Eng 63, 79–82 (2021). https://doi.org/10.1007/s12599-021-00683-2