연구, 주요 챗봇이 구글보다 지식 다양성이 낮고 동질적임을 밝혀

코펜하겐 대학 연구진은 지금까지 가장 방대한 대형 언어 모델(LLM) 비교 테스트를 완료했다. 27개의 주요 LLM을 155개의 서로 다른 주제에 대해 평가했으며, 각 주제당 200개의 질의 변형을 생성했다. 이 실험은 약 7천만 개의 개별 문장을 생산했으며, 이를 통해 각 모델이 인간 지식 풀에서 얼마나 넓게 정보를 끌어오는지를 정량화했다.

핵심 결과는 명확하다: 조사된 모든 LLM은 기존 구글 검색보다 인식 다양성이 낮다. 최고 성능 모델로 확인된 GPT‑5조차도 구글에 비해 최소 18.7% 적은 정보 다양성을 보였다.

지난 3년간 다양성 증가

지식 폭이 감소할 것이라는 일반적인 이야기에 반해, 연구는 지난 3년 동안 LLM의 인식 다양성이 크게 증가했음을 보여준다. 그러나 이 상승세에도 불구하고 검색 엔진과의 격차는 여전히 존재하며, 검색 엔진이 전반적으로 챗봇보다 우수한 성능을 유지한다.

향상은 고르게 나타나지는 않는다. 외부 문서 검색을 결합한 Retrieval‑Augmented Generation(RAG) 시스템은 다양성에서 눈에 띄는 향상을 보였지만, 파라미터 수가 가장 많은 대형 모델은 오히려 작은 모델보다 다양성이 낮았다.

언어 편향과 지식 붕괴 위험

두 번째로 더 미묘한 문제는 파라메트릭 지식 분석에서 드러난다. 모든 테스트 모델은 영어가 내부 표현을 장악하고 있어, 비영어권 국가의 특정 주제에 대한 질의에서도 영어 중심의 결과가 우세하다. 이러한 언어 편향은 현지 소스와 문화적 관점을 가시성에서 배제한다.

저자들은 이 편향을 대규모 학습 코퍼스를 압축하는 방식에 기인한다고 설명한다. 가장 빈번한 패턴을 우선시함으로써 모델은 덜 일반적인 정보를 자연스럽게 걸러낸다. 향후 학습 파이프라인에 다른 AI가 생성한 텍스트가 포함되면, 이미 진행 중인 "지식 붕괴" 현상이 가속화되어 지식 기반이 더욱 동질화될 위험이 있다.

제안된 해결책과 측정 도구

이러한 위험을 완화하기 위해 연구진은 챗봇 응답의 인식 다양성을 평가하는 정량적 지표를 도입했다. 개발자들이 모델 평가 시 이 측정을 표준 벤치마크로 채택할 것을 촉구한다.

동시에 최종 사용자는 단일 챗봇 요약에만 의존하기보다 여러 정보 출처를 참고하도록 권장한다. 이러한 습관은 해당 주제에 대한 보다 넓은 시각을 유지하는 데 도움이 된다.

• 새로운 인식‑다양성 지표를 모델 테스트에 도입
• 학습 단계에서 다양한 다국어 데이터를 포함
• 학습 데이터에 AI‑생성 텍스트 비중 제한
• 검색‑보강 아키텍처를 장려해 커버리지 향상

연구는 현재 세대 챗봇에서 구체적인 "지식 붕괴" 현상을 아직 관찰하지 못했지만, 향후 학습 관행에 따라 그 추세가 크게 달라질 수 있음을 경고한다. 언어와 모델 유형별 진전이 고르지 않기 때문에, 의도적인 개입 없이 검색 엔진과의 격차는 지속되거나 확대될 가능성이 있다.

이 연구가 제시한 정량적 지표는 기존 평가 방식과 달리 응답의 다양성을 수치화한다는 점에서 의미가 크다. 모델이 제공하는 답변 집합을 다양성 스코어로 변환함으로써, 개발자는 특정 주제에 대한 지식 범위가 얼마나 넓은지를 객관적으로 파악할 수 있다. 이러한 측정은 단순히 정확도나 일관성만을 평가하던 기존 기준을 보완하며, 모델 개선 과정에서 다양성 향상이 실제로 이루어졌는지를 지속적으로 검증할 수 있게 한다. 또한, 이 지표는 서로 다른 모델 간 비교를 가능하게 하여, 연구자와 기업이 최적의 아키텍처를 선택하는 데 도움을 준다.

다양성 향상의 한계는 모델 구조와 학습 데이터의 특성에 크게 좌우된다. 예를 들어, Retrieval‑Augmented Generation(RAG)과 같이 외부 문서를 실시간으로 검색해 결합하는 시스템은 내부 파라메트릭 지식만을 활용하는 순수 LLM에 비해 다양성 점수가 현저히 높다. 그러나 RAG이 모든 상황에서 적용 가능한 것은 아니다; 검색 인프라의 품질, 응답 지연 시간, 그리고 검색 결과의 신뢰성 등 실용적인 제약이 존재한다. 따라서 다양성을 높이기 위한 기술적 접근은 모델 자체의 개선뿐 아니라, 검색 엔진과의 연동 효율성, 데이터 파이프라인의 투명성 등을 종합적으로 고려해야 한다.

언어 편향 문제는 단순히 영어 중심의 결과에 머무르지 않는다. 비영어권 주제에 대한 질의가 영어로 재구성되는 과정에서, 원본 문화적 맥락이나 지역 특유의 관점이 소실될 위험이 있다. 이는 특히 정책 결정이나 사회적 논쟁과 같은 고위험 영역에서 잘못된 인식 확산을 초래할 수 있다. 따라서 다국어 데이터의 비중을 높이고, 각 언어별로 균형 잡힌 학습 샘플을 확보하는 것이 편향 완화의 핵심 전략이다. 또한, 모델이 제공하는 답변에 대한 언어별 신뢰도 평가 체계를 도입하면, 사용자는 결과를 해석할 때 어느 정도의 주의를 기울여야 하는지 판단할 수 있다.

‘지식 붕괴’ 현상은 현재 관찰되지 않았지만, 학습 코퍼스에 AI‑생성 텍스트가 점점 더 많이 포함될 경우 가속화될 가능성이 있다. AI가 만든 내용은 기존 인간 지식의 재현이 아니라 재생산에 가깝기 때문에, 동일한 패턴과 관점이 반복될 위험이 있다. 이러한 동질화는 장기적으로 지식 기반의 풍부함을 저해하고, 새로운 아이디어나 대안적 시각이 등장하기 어려운 환경을 만든다. 따라서 데이터 수집 단계에서 AI‑생성 텍스트의 비중을 제한하고, 인간 전문가가 검증한 원천 데이터를 우선적으로 활용하는 정책이 필요하다.

실제 활용 측면에서, 챗봇을 정보 검색의 주요 도구로 전환하는 경우에는 몇 가지 실천적 조치를 취해야 한다. 첫째, 사용자는 단일 챗봇의 응답을 그대로 신뢰하기보다, 동일 질문에 대해 여러 모델이나 전통적인 검색 엔진을 병행 사용한다. 둘째, 결과를 검증할 때는 출처를 명시하고, 특히 지역적·문화적 특성이 중요한 경우 현지 전문가의 의견을 추가로 참조한다. 셋째, 조직 차원에서는 챗봇 도입 시 다양성 지표를 모니터링하고, 기준 이하로 떨어지는 경우 즉시 재훈련이나 데이터 보강을 시행한다. 이러한 절차는 챗봇이 제공하는 정보의 신뢰성을 유지하면서도, 지식의 편협함을 방지하는 데 기여한다.

마지막으로, 향후 연구와 정책 입안자는 다양성 지표와 언어 편향을 동시에 고려한 종합적인 평가 프레임워크를 구축해야 한다. 이는 모델 개발 단계에서부터 다국어 데이터 균형, AI‑생성 텍스트 제한, 검색‑보강 아키텍처 적용 등을 체계적으로 반영하도록 설계된다. 또한, 정기적인 외부 감사와 투명한 보고 체계를 통해 실제 적용 현장에서 발생하는 편향이나 지식 손실을 조기에 감지하고 교정할 수 있다. 이러한 지속 가능한 관리 체계가 마련될 때, 챗봇은 검색 엔진을 보완하는 유용한 도구로 자리매김하면서도, 지식 다양성을 유지하는 역할을 수행할 수 있다.

한국 기업 및 공공기관에 대한 실질적 시사점은 명확하다: 챗봇이 일상적인 정보 검색을 빠르게 도와줄 수는 있지만, 포괄적인 검색 전략을 대체해서는 안 된다. 의사결정자는 챗봇 결과를 전통적인 검색 결과와 교차 확인하고, 특히 다국어 혹은 지역 특화 상황에서는 다양한 지식 출처를 유지해야 한다.