LDAvis: 주제를 눈에 보이게 하는 기술
※ 전문은 아래에서 다운로드 할 수 있습니다.
대규모 텍스트 데이터 속에서 숨은 주제를 찾기 위해 많은 연구에서 토픽 모델링(Topic Modeling)을 사용하고 있습니다.
그중에서도 LDA(Latent Dirichlet Allocation)는 가장 대표적인 모델로 각 문서를 여러 주제의 혼합으로 보고, 각 주제는 특정 단어들의 확률 분포로 구성된다고 가정합니다.
LDA는 방대한 문서 속에서 패턴을 자동으로 발견할 수 있다는 점에서 강력하지만, 문제는 결과가 확률 행렬 형태로 주어지기 때문에 해석이 쉽지 않다는 데 있습니다.
결국 “이 숫자들이 실제로 어떤 주제를 의미하는가?”라는 질문에 답하기 위해서는 전문가의 해석이 필수적이며, 이는 종종 시간과 경험에 크게 의존하게 됩니다.
LDA의 토픽-단어 확률 행렬
숫자를 ‘이야기’로 바꾼다
이러한 해석의 어려움을 해결하기 위해 등장한 것이 LDAvis입니다.
LDAvis는 2014년에 Carson Sievert와 Kenneth Shirley가 “LDAvis: A method for visualizing and interpreting topics”를 통해 제안한 시각화 및 해석 방법입니다.
LDAvis는 단순히 시각적으로 보기 좋게 만들어주는 도구가 아니라, 모델을 이해하고 진단하기 위한 대화형 분석 환경을 제공합니다.
LDAvis는 두 가지 핵심 화면으로 구성됩니다.
왼쪽에는 ‘토픽 간 거리 지도(Topic Map)’가, 오른쪽에는 ‘토픽별 키워드 막대그래프’가 있습니다.
토픽 지도: 각 주제를 하나의 원(circle)으로 표시하며, 원의 크기는 주제의 비중을, 원 간 거리는 주제 간 유사성을 의미합니다. 만약 원이 서로 겹쳐 있다면, 모델이 주제를 명확히 구분하지 못하고 있다는 신호일 수 있습니다.
키워드 막대그래프: 선택된 주제 안에서 어떤 단어가 중요한지를 보여줍니다. 특히 LDAvis는 단순한 단어 빈도 대신 ‘관련성(Relevance)’ 지표를 사용합니다. 이 지표는 특정 단어가 한 주제 안에서 얼마나 자주 등장하는지뿐 아니라, 다른 주제에 비해 얼마나 ‘특이하게’ 나타나는지도 함께 고려합니다. 사용자는 λ(람다) 슬라이더를 조정해 “토픽 내 빈도 중심” 또는 “차별적인 단어 중심”으로 단어 순서를 바꿔가며 해석할 수 있습니다.
토픽 해석과 진단
LDAvis의 가장 큰 장점은 모델 결과를 직관적으로 이해할 수 있게 한다는 점입니다.
토픽 간의 관계, 주제별 크기, 핵심 단어 분포를 시각적으로 동시에 탐색할 수 있어 “어떤 주제가 의미 있고, 어떤 주제가 중복되는가”를 빠르게 파악할 수 있습니다.
또한 단순히 결과를 보여주는 데 그치지 않고, 모델의 품질을 점검하고 개선 방향을 찾는 진단 도구로도 유용합니다.
토픽들이 과도하게 겹치거나 의미 없는 단어로 구성되어 있다면 토픽 개수나 전처리 과정을 다시 조정할 필요가 있음을 알려줍니다.
이처럼 LDAvis는 연구자와 분석가가 모델의 상태를 “눈으로 확인하며 조정할 수 있게 하는 대화형 인터페이스”라고 할 수 있습니다.
LDAvis와 BERTopic의 시각화
최근에는 BERTopic과 같이 텍스트의 의미적 유사성을 고려하는 임베딩 기반 토픽 모델이 등장하면서, 토픽 분석 시각화 방식 역시 한 단계 진화하고 있습니다. ☞ BERTopic 이해하기 (vs. LDA)
BERTopic은 토픽 간 의미 유사도를 버블 차트, 히트맵으로 보여주고, 토픽의 계층적 구조를 덴드로그램으로 제공하며, 문서를 의미 유사성을 기반으로 2차원 상에 시각화 합니다.
더 발전된 모델과 확장된 시각화의 등장에도, LDA와 LDAvis는 효율적인 베이스라인 모델로서 여전히 널리 사용되고 있습니다.
특히, LDAvis는 토픽 간 거리, 주제별 단어의 중요도를 단순하고 직관적인 형태로 표현하여 설명을 용이하게 하고, λ(람다)를 통해 단어의 빈도와 독점성 사이의 트레이드오프를 직접 탐색할 수 있게 하는 기능은 매우 독창적이며, 분석자가 모델의 품질을 진단하고 토픽 수를 조정하는 데 매우 유용합니다.
결론
LDAvis는 모델의 결과를 단순히 시각화하는 데 그치지 않고, 토픽의 구조를 이해하고 모델의 품질을 점검할 수 있는 ‘해석적 인터페이스’로 기능합니다.
그렇기 때문에, 최근 BERTopic과 같이 진화된 토픽 모델링 방법이 나타났지만 LDAvis는 여전히 LDA와 같은 전통적 토픽 모델의 해석을 위한 가장 직관적이고 강력한 도구로 평가받고 있습니다.
LDAvis는 연구자가 “토픽 모델이 실제로 무엇을 말하고 있는가”를 시각적으로 이해할 수 있도록 돕는 가장 기본적이면서도 신뢰할 수 있는 토픽 해석 도구라 할 수 있습니다.
<참고 문헌>
Sievert, C., & Shirley, K. (2014, June). LDAvis: A method for visualizing and interpreting topics. In Proceedings of the workshop on interactive language learning, visualization, and interfaces (pp. 63-70).
Hannigan, T. R., Haans, R. F., Vakili, K., Tchalian, H., Glaser, V. L., Wang, M. S., ... & Jennings, P. D. (2019). Topic modeling in management research: Rendering new theory from textual data. Academy of Management Annals, 13(2), 586-632.
Egger, R., & Yu, J. (2022). A topic modeling comparison between lda, nmf, top2vec, and bertopic to demystify twitter posts. Frontiers in sociology, 7, 886498.