어제의 주요 이슈가 오늘은 거의 언급되지 않는 일이 낯설지 않은 시대입니다. 그래서 지금 어떤 토픽이 주목받고 있는지, 그리고 그 흐름이 이어질지 아니면 꺾일지를 빠르게 읽어내는 일이 점점 중요해지고 있습니다.

​

이런 변화를 살펴보는 데 유용한 방법이 토픽 모델링입니다. 토픽 모델링은 많은 문서 속에서 반복적으로 등장하는 주제들을 정리해 주며, 여기에 시간 흐름을 더하면 토픽이 언제 부상하고 언제 쇠퇴하는지도 함께 확인할 수 있습니다. 이를 통해 우리는 단순한 목록이 아니라, 토픽의 방향성과 속도를 데이터로 파악할 수 있게 됩니다.

​

그렇다면, 실제 연구 사례를 통해 토픽의 상승과 하강을 포착한 방법을 살펴보겠습니다.

LDA(Latent Dirichlet Allocation, 잠재 디리클레 할당)는 대표적인 토픽 분석 방법으로, 방대한 문서 데이터에서 전반적인 토픽 구조를 파악하는 데 효과적입니다. 다만 LDA 자체는 시간 정보를 사용하지 않기 때문에, 각 토픽이 시간에 따라 주목도가 높아지고 있는지, 혹은 점차 약화되고 있는지를 직접적으로 판단하기는 어렵습니다.

이러한 한계를 보완하기 위해, 토픽 분석 결과에 시간 정보를 더해 선형회귀분석과 결합하는 방법이 활용됩니다.

​

Min KB, Song SH, Min JY(2020)의 연구는 소셜 미디어 데이터에서 도출된 토픽을 대상으로, 시간에 따른 변화를 선형회귀분석으로 해석함으로써 토픽의 상승과 하강을 구분할 수 있음을 보여줍니다.

이 연구는 산업 재해에 대한 소셜 미디어 데이터를 수집하여, TF-IDF를 활용해 주요 키워드를 추출했습니다. 그리고 주요 키워드 간 공출현 네트워크를 구성하여 연관 관계를 확인했습니다.

​

한편, 토픽 복잡도(Perplexity)와 토픽 일관성(Coherence)를 토대로 최적의 토픽 수를 얻고, LDA를 적용해 총 14개의 토픽을 도출하였습니다. 또한 LDA 시각화를 통해 토픽 간 관계를 점검하고, 전문가 검토를 통해 각 토픽에 의미 있는 라벨을 부여했습니다.

☞ NetMiner에서 최적의 토픽 수와 하이퍼 파라미터 찾기

☞ LDAvis: 주제를 눈에 보이게 하는 기술

그리고, LDA 분석 결과 중 문서 단위 토픽 확률(θ)에서 연도별 토픽 비중을 얻었습니다.

즉, 각 시기별 데이터에서 해당 토픽이 얼마나 큰 비중을 차지했는가를 구성한 것입니다. 이를 독립변수로 하고 연도를 종속변수로 하여 선형회귀모델을 구축했습니다.

결과적으로, 단순히 어떤 토픽이 존재하는지를 넘어, 해당 토픽이 점차 주목받는 주제인지, 아니면 관심이 감소하는 주제인지를 구분합니다. 즉, 토픽의 ‘크기’가 아니라 ‘변화 방향’을 중심으로 트렌드를 해석한 사례라고 볼 수 있습니다.

​

한편, 시간 요소를 토픽 모델링 단계에서부터 고려하는 방법도 있습니다. 대표적인 방법이 구조적 토픽 모델링(Structural Topic Modeling)과 동적 토픽 모델링(Dynamic Topic Modeling) 입니다.

​

구조적 토픽 모델링(STM)은 문서의 메타데이터(공변량)를 토픽 모델에 포함하는 LDA의 확장 모델입니다. 각 문서의 토픽 비중이 공변량에 의해 부분적으로 설명되며, 시간(예. 연도)을 연속형 또는 범주형 공변량으로 포함하여 토픽 비중에 영향을 주도록 설정할 수 있습니다. 이러한 특성으로 인해 시계열 분석에 적합하며, 시간에 따른 추세뿐 아니라 변화의 통계적 유의성까지 추정할 수 있다는 장점이 있습니다.

​

Dwivedi 외(2023)의 연구는 Technological Forecasting and Social Change 저널에 게재된 인공지능(AI) 관련 논문 608편을 분석하여, 해당 분야의 개념적 구조와 연구 트렌드를 체계적으로 정리한 리뷰 논문입니다.

연구는 STM(Structural Topic Modeling) 기법을 활용해 AI 연구를 8가지 주제로 분류하고, 각 주제의 시간 흐름에 따른 변화 양상을 분석했습니다. 결론적으로, AI 연구의 과거와 현재를 정량적으로 조망하면서, 미래 연구를 위한 학술적 이정표를 제시할 수 있었습니다.

​

처음부터 시간 변화를 모델에 포함시키는 방식으로는 Dynamic Topic Model이 대표적입니다. Blei와 Lafferty의 Dynamic Topic Models는 토픽의 단어 분포가 시간에 따라 조금씩 이동한다는 가정 하에, 상태 공간 형태로 토픽의 진화를 직접 추정합니다. 이 방식의 핵심은 “토픽이 같은 이름으로 유지되면서 내용이 변한다”를 모델이 스스로 학습하게 만든다는 점입니다.

​

Rabetino 외(2021)의 연구는 서비타이제이션(Servitization) 관련 논문 550편을 분석하여, 해당 분야의 개념적 진화와 연구 흐름을 체계적으로 조망했습니다. 본 연구는 DTM(Dynamic Topic Modeling) 기법을 활용해 관련 연구를 7가지 주제로 분류하고, 각 주제의 어휘 사용과 개념 구조가 시간에 따라 어떻게 변화했는지를 정량적으로 분석했습니다.

​

최근 대규모 언어 모델의 발전과 함께 Top2Vec, BERTopic과 같은 임베딩 기반 토픽 모델링 방법이 제안되고 있습니다. 이러한 방법들은 단어의 단순한 빈도 정보에 의존하지 않고, 사전 학습된 언어 모델을 활용하여 문서 간의 의미적 유사성을 기준으로 토픽을 구성합니다.

☞ LDA와 BERTopic의 차이 이해하기

​

이러한 흐름 속에서 Boutaleb, Picault, Grosjean(2024)의 연구는 신흥 트렌드 탐지를 위한 신경 기반 토픽 모델링 기법인 BERTrend를 제안했습니다.

기존의 동적 토픽 모델링 기법들은 공통적으로 전체 기간의 데이터를 한꺼번에 학습하여 하나의 토픽 구조를 만들기 때문에, 데이터가 적은 초기 시점의 신생 토픽은 규모가 큰 토픽에 흡수되어 드러나지 않는 문제가 있었습니다.

BERTrend는 시간 구간별로 도출된 토픽을 내용의 유사성에 따라 시간의 흐름에 맞춰 연결하고 각 토픽의 인기도를 계산함으로써, 신흥 토픽(Emerging Topic)과 초기 단계의 주제 변화를 보다 안정적으로 포착하고자 했습니다.

☞ BERTrend 이해하기

​

연구진은 방법론 검증을 위해 뉴욕타임스(NYT) 기사를 대상으로 뉴스 사이클의 생애주기를 분석하며, 2020년 1월~2월 뉴스 중 코로나19 관련 보도의 전개 과정을 추적했습니다. 분석 결과, 코로나 19 토픽은 초기에는 관련 기사가 적어 약한 신호(Weak Signal)로 분류되었으나 보도량이 증가하면서 강한 신호(Strong Signal)로 전환되었습니다.

​

어떤 토픽이나 담론이 형성되고 있는지를 파악하는 것뿐만 아니라, 그 토픽이 언제 등장했고 어떤 속도로 확산되며, 앞으로 어떤 방향으로 움직이고 있는지를 이해하는 일 역시 중요합니다. 이는 단순히 현재의 관심사를 나열하는 것을 넘어, 변화의 조짐과 흐름을 읽어내는 문제이기 때문입니다.

​

토픽 모델링은 이러한 흐름을 정리하는 출발점이 되며, 여기에 시간 요소를 결합하면 변화의 징후를 보다 이르게 포착할 수 있습니다. 특히 신흥 토픽이 약한 신호로 나타나는 초기 단계부터 사회적 관심을 받으며 강한 신호로 전환되는 과정까지를 함께 살펴볼 수 있다는 점에서, 토픽 모델링은 단순한 텍스트 분석을 넘어 트렌드의 형성과 확산을 해석하는 도구로 활용될 수 있습니다.

• Min, K., Song, S., & Min, J. (2020). Topic modeling of social networking service data on occupational accidents in Korea: Latent Dirichlet allocation analysis. Journal of Medical Internet Research, 22(8), e19222. https://doi.org/10.2196/19222

• Dwivedi, Y. K., et al. (2023). Evolution of artificial intelligence research in Technological Forecasting and Social Change: Research topics, trends, and future directions. Technological Forecasting and Social Change, 192, 122579. https://doi.org/10.1016/j.techfore.2023.122579

• Blei, D. M., & Lafferty, J. D. (2006). Dynamic topic models. In Proceedings of the 23rd International Conference on Machine Learning (ICML 2006) (pp. 113–120). Association for Computing Machinery. https://doi.org/10.1145/1143844.1143859

• Rabetino, R., Kohtamäki, M., Brax, S. A., & Sihvonen, J. (2021). The tribes in the field of servitization: Discovering latent streams across 30 years of research. Industrial Marketing Management, 95, 70–84. https://doi.org/10.1016/j.indmarman.2021.04.005

• Boutaleb, A., Picault, J., & Grosjean, G. (2024). BERTrend: Neural topic modeling for emerging trends detection. In Proceedings of the Workshop on the Future of Event Detection (FuturED) at EMNLP 2024.