회귀분석으로 부족할 때: XAI로 비선형 관계와 개별 케이스 기여도 파악하기
회귀분석은 사회과학 연구에서 매우 유용한 방법입니다.
"빈곤율이 1단위 오를 때 범죄율은 평균적으로 β만큼 증가한다"처럼 어떤 사회 현상에 대해 직관적으로 설명할 수 있습니다.
하지만, 사회가 점차 복잡해지면서 하나의 선형적 관계로만 설명하기 어려운 문제들이 늘어나고 있습니다.
예를 들어, 소득이 늘어나는 만큼 삶의 만족도가 증가하는 것이 아니라 일정 수준까지는 비례해서 증가하다가 어느 시점부터는 거의 변화하지 않는다고 합니다. 또한, 교육수준·소득·여가활동·건강은 함께 움직이는 경향이 있어, 각각이 삶의 만족도에 미치는 연관성을 서로 배제하여 설명하기가 어렵습니다. 그리고 특정 개인이나 소규모 집단의 삶의 만족도가 왜 유독 낮거나 높은지를, 전체 평균에서 도출된 회귀 계수만으로는 그 케이스에 대해 설명하기 어렵습니다.
기계학습(Machine Learning, ML)과 설명 가능한 AI(XAI)를 통해, 비선형 패턴과 변수 간 상호작용을 유연하게 포착할 수 있고, 전체 및 개별 케이스의 변수 기여 정도를 확인하면 이 문제를 보완할 수 있습니다.
이번 글에서는 머신러닝 분석으로 예측 모델을 만들고, XAI로 예측에 가장 크게 기여한 독립 변수는 무엇인지, 회귀분석에서 확인하기 어려웠던 개별 케이스를 자세히 확인하는 전체 흐름을 단계별로 안내합니다.
* 예제 데이터: NetMiner 설치 시 PC에 예제 데이터가 함께 설치됩니다.
여기에서는 미국 주 별 인구 10만명 당 범죄 건수(Crime)과 통계 지표(빈곤, 한부모, 대도시 지역 인구 비율 등)에 대한 데이터를 활용하였습니다.
(기본 경로: C:Users(사용자폴더)NetMiner 5SampleDataMachine LearningRegression)