BERTopic: 문서 의미를 이해하는 주제 탐색
사회 현상은 점점 더 복잡해지고, 그 복잡성은 인터뷰 발언, 회의록, 학술 논문, 뉴스 기사처럼 텍스트 속에 기록됩니다. 하지만 수백, 수천 개의 문서를 일일이 읽으며 핵심 주제를 파악할 수는 없겠죠.
여기에서 유용하게 쓰이는 기법이 바로 토픽 모델링(Topic Modeling)입니다.
토픽 모델링은 대량의 텍스트를 ‘비슷한 것끼리 묶어주는’ 기술로, 수많은 뉴스 기사 중 “AI”, “인공지능”, “기계학습”이 반복적으로 등장하는 뉴스가 있다면 이들을 하나의 주제로 분류합니다.
결과적으로, 토픽 모델링을 통해, 데이터를 모두 읽지 않아도 어떤 주제/담론이 존재하는지, 시기에 따라 어떤 주제가 부상하거나 사라지는지를 쉽게 확인할 수 있습니다.
LDA와 BERTopic
LDA(Latent Dirichlet Allocation)는 토픽 모델링 방법 중에서도 대표적으로 많이 사용되는 방법입니다.
LDA는 문서에서 단어를 묶어 주제를 구성하고, 이 단어들의 등장 빈도를 토대로 문서의 주제 분류 확률을 제공합니다.
Source: Introduction to Probabilistic Topic Models paper by Blei et. al
LDA는 문서 안에서 단어가 얼마나 자주 등장하는지(Bag-of-Words)를 기반으로 주제를 찾습니다. 이 방식은 비교적 단순하고 계산 효율이 높아서 특히 대용량 텍스트 데이터에서 빠르게 주제 구조를 추출할 수 있고, 모델의 작동 원리가 명확하여 해석이 용이하다는 점에서 많은 연구자들이 활용해왔죠.
하지만, LDA는 단어의 ‘의미’나 ‘맥락’을 고려하지 못한다는 한계가 있었습니다. 예를 들어, “AI 기술”과 “인공지능 기술”은 같은 의미이지만, 단어가 다르기 때문에 다른 주제로 식별될 수 있습니다. (이를 방지하기 위해서는, 사전에 AI를 인공지능으로 바꿔줘야함)
BERTopic은 기존 주제 모델의 한계를 극복하기 위해 2022년 Maarten Grootendorst가 제안한 방법으로, 'BERTopic: Neural topic modeling with a class-based TF-IDF procedure'라는 논문을 통해 처음 소개되었습니다.
BERTopic은 구글이 2018년에 발표한 인공지능 언어모델(BERT, Bidirectional Encoder Representations from Transformers)을 기반으로, 문장의 의미를 컴퓨터가 이해할 수 있는 숫자 형태(벡터)로 변환하고 이를 활용해 주제를 식별합니다.
BERTopic은 문서의 의미를 기반으로 클러스터링하고, 클러스터를 주제로 표현하는 방법입니다. 위 그림은 BERTopic 결과 중 문서 클러스터링 차트입니다. 점은 문서이고, 유사할수록 가깝습니다. 클러스터별로 색상이 부여되고, 중간에 주제 이름이 표시됩니다.
즉, 단어의 등장 빈도 대신 문장 전체의 의미적 유사성을 기준으로 비슷한 문장끼리 묶는 방식입니다.
예를 들어, “AI 기술”과 “인공지능 기술”은 표현은 다르지만 BERT는 수많은 텍스트의 학습 결과를 토대로 이 두 단어를 비슷한 의미(가까운 벡터)로 이해합니다.
결론적으로, LDA와 BERTopic은 주제를 찾아가는 접근 방식 자체가 다릅니다.
LDA는 먼저 텍스트를 단어 단위로 분리하고, 단어의 등장 빈도를 계산해 주제를 구분한 뒤 각 주제를 대표하는 단어를 추출하는 순서로 진행됩니다. (단어 추출 → 토픽 탐색 순)
반면 BERTopic은 문서 간 의미적 유사성을 먼저 계산해 주제를 식별하고, 그다음 각 주제에 포함된 문서에서 단어를 추출해 중요도를 계산한 후 대표 단어를 정의합니다. (토픽 탐색 → 단어 추출 순, BERTopic에서의 단어 추출은 이미 도출된 주제를 사람이 해석할 수 있도록 설명하는 역할을 함)
즉, LDA가 ‘단어에서 출발해 주제를 찾는 방식’이라면, BERTopic은 ‘의미에서 출발해 단어를 찾아가는 방식’이라 할 수 있습니다.
※ Source: Egger, R., & Yu, J. (2022). A topic modeling comparison between lda, nmf, top2vec, and bertopic to demystify twitter posts. Frontiers in sociology, 7, 886498.
BERTopic은 어떻게 주제를 찾아낼까?
BERTopic은 텍스트의 의미를 반영해 임베딩(벡터화)하고, 의미가 비슷한 문장을 묶어 토픽을 식별한 뒤, 각 토픽을 대표 단어로 설명하는 방식으로 작동합니다.
문서 임베딩: 문서의 의미를 수치로 변환하기
BERTopic의 핵심은 텍스트의 의미를 수치로 표현하는 임베딩에 있습니다.
BERT 언어모델은 단어를 문맥 속에서 해석해 문장의 의미를 벡터로 표현합니다. 즉, 단어의 주변 관계를 함께 학습하기 때문에 “AI 기술 발전”과 “인공지능 혁신”처럼 단어 표현이 달라도 비슷한 의미로 사용되면 벡터 공간상에서 가까운 위치에 배치됩니다.
2. 차원 축소: 복잡한 벡터 정보를 요약 저장하기
BERT가 생성한 임베딩은 수백 차원 이상의 복잡한 벡터로 구성되어 있습니다.
이를 효율적으로 분석하고 시각화하기 위해 차원 축소 기법(예. UMAP, PCA 등)을 사용하여 차원을 축소합니다.
차원 축소는 데이터의 핵심 정보를 유지하면서, 고차원 임베딩을 군집화가 가능하도록 변환하는 단계입니다. 이 과정은 이후 주제를 식별하는 데 핵심적인 기반이 됩니다.
3. 군집화(클러스터링): 유사한 문서 그룹 식별하기
2단계에서 얻은 데이터에 클러스터링 알고리즘(예. HDBSCAN, k-Means 등)을 적용해 의미가 유사한 문서들을 자동으로 묶습니다.
이 단계에서 형성된 각 군집(cluster)은 하나의 주제(topic)로 간주되고, 특정 주제에 속하지 않는 문서는 노이즈(Outlier)로 분류해 불필요한 주제 생성을 방지합니다.
4. 토픽 대표 단어 추출: 주제를 설명할 수 있는 핵심 단어 추출하기
각 군집이 만들어지면, 해당 주제를 대표하는 핵심 단어를 추출하는 과정이 필요합니다.
BERTopic은 class-based TF-IDF(c-TF-IDF) 방식을 활용하여 각 군집 내에서 상대적으로 중요한 단어를 계산합니다. 즉, 각 군집을 하나의 가상 문서로 보고, 그 안에서 자주 등장하는 단어를 가중치 기반으로 평가하여 각 주제를 대표할 핵심 키워드를 도출합니다.
이러한 과정을 거쳐, BERTopic은 ① 주제별 대표 단어 ② 각 문서별 주제 가중치 ③ 주제 간 유사도 ④ 문서 클러스터링 시각화 등을 결과로 제공합니다.
지금 BERTopic이 주목받는 이유
텍스트 데이터에서 주제를 찾는 것은 하나의 정답만 존재하지는 않습니다.
데이터의 성격과 분석 목적에 따라 LDA, K-Means와 같은 통계적 접근이나, 네트워크 기반의 커뮤니티 탐지 기법 등을 선택할 수도 있죠.
이 중, BERTopic이 주목 받는 이유는 '문맥/의미'를 고려하기 때문입니다.
BERTopic은 문장 내 단어의 빈도뿐 아니라, 단어가 사용된 맥락과 의미적 관계를 함께 반영해 주제를 도출합니다. 그래서, 정치 담론, 사회 이슈, 여론 데이터처럼 사용되는 단어의 표현이 다양하고 문장의 뉘앙스가 중요한 경우, 단순한 단어 빈도 기반 접근보다 훨씬 정교한 주제 구조를 도출할 수 있습니다.
이러한 장점 덕분에, 최근 3년 사이 BERTopic을 적용한 연구 논문이 빠르게 증가하고 있습니다.
다만, 최근까지 BERTopic을 사용하려면 R이나 Python 같은 프로그래밍 환경에서 패키지 설치, 데이터 전처리, 파라미터 튜닝, 결과 저장까지 모든 과정을 직접 구현해야 했습니다. 이 때문에, 유용한 기법임에도 불구하고, 누구나 쉽게 시도하기는 어렵다는 문제가 있었죠.
하지만 이제, NetMiner에서 노코드 GUI 환경에서 마우스 클릭만으로 BERTopic을 실행할 수 있게 되었습니다.
데이터 선택 및 전처리, 분석 파라미터 설정, 토픽 시각화, 주제 간 관계 탐색까지 모든 과정이 NetMiner 안에서 이루어집니다. 즉, 코딩 없이도, 누구나 데이터 속 주제의 흐름과 의미를 더 쉽게 살펴볼 수 있게 된 것입니다.
결론
텍스트 데이터는 이제 단순한 단어의 나열이 아니라, 사회와 현상을 읽어내는 중요한 자료로 바라보아야 합니다.
BERTopic은 언어의 ‘의미’를 중심으로 주제를 이해하고, 데이터 속 ‘이야기의 구조’를 가장 직관적으로 보여주는 도구로 활용할 수 있습니다.
데이터 안에 숨어 있는 주제의 흐름과 맥락, 그리고 새로운 논의의 등장을 한눈에 보고 싶으신가요?
NetMiner 5에서 복잡한 코딩 없이 BERTopic를 직접 이용해보시기 바랍니다.
"BERTopic은 예상된 결과(즉, 주제들)를 도출하는 데 그치지 않고, 임베딩 방식을 통해 새롭고 의미 있는 통찰을 추가로 발견할 수 있었습니다."
Egger, R., & Yu, J. (2022). A topic modeling comparison between LDA, NMF, Top2Vec, and BERTopic to demystify Twitter posts. Frontiers in Sociology, 7, Article 886498. https://doi.org/10.3389/fsoc.2022.886498