회귀계수 β값이 말해주지 않는 것 - 설명 가능한 AI
1. 회귀분석이 흔들리는 순간
사회과학 연구에서 회귀분석은 오랫동안 가장 믿음직한 도구였습니다.
β 계수로 변수의 영향 방향과 크기를 파악하고, p-value로 통계적 유의성을 확인하는 흐름은 지금도 많은 연구자에게 익숙합니다.
그런데 데이터가 복잡해지면서, 회귀분석으로 해결하기 어려운 문제들이 생깁니다.
변수가 많아지면: 다중공선성 문제로 계수 방향이 왜곡되거나 뒤집힙니다
관계가 비선형이면: 회귀모델이 패턴을 제대로 포착하지 못합니다
개별 사례를 설명하려면: "평균적인 효과"만 보여주는 회귀분석으로는 한계가 있습니다
그래서 최근 많은 연구에서 랜덤 포레스트, XGBoost 같은 머신러닝 모델을 활용해 변수들의 관계와 패턴을 이해하려는 시도가 늘고 있습니다. 문제는, 이 모델들은 내부 작동 방식이 복잡해서 "왜 이런 결과가 나왔는지"를 설명하기 어렵다는 점입니다. 이른바 블랙박스 문제입니다.
설명 가능한 AI, 즉 XAI(Explainable AI)는 바로 이 지점에서 시작합니다. 그 중에서도 SHAP(SHapley Additive exPlanations)은 현재 학술 연구에서 가장 널리 쓰이는 XAI 기법으로, 각 변수가 예측 결과에 얼마나 기여했는지를 수치로 보여줍니다.