研究发现主流聊天机器人提供的知识范围比谷歌更窄且更同质

哥本哈根大学的研究团队在今年完成了一项迄今为止规模空前的语言模型比较实验，旨在系统评估大型语言模型（LLM）在知识覆盖范围上的表现。他们选取了27款在业界具有代表性的主流模型，覆盖了从开源小型模型到商业化的大型模型，并在155个涵盖科学、历史、艺术、技术等不同领域的主题上进行测试。针对每一个主题，研究人员设计了200种不同的提问方式，以确保提问的多样性和覆盖面。整个实验过程中共生成了约7000万条独立的陈述，这为量化每个模型能够从人类知识库中抽取信息的广度提供了丰富的数据支撑。

实验结果显示，一个清晰而令人担忧的趋势浮现：在知识多样性方面，所有受测的大型语言模型均不及传统的Google搜索引擎。即使是表现最为出色的最新模型GPT‑5，也只能提供比Google搜索少至少18.7%的信息种类，这意味着在相同主题下，聊天机器人给出的答案在内容上更为单一，覆盖面更窄。

过去三年的多样性增长

有别于许多人担心随着模型规模扩大而导致知识范围收窄的直觉，研究数据显示，在过去的三年里，大型语言模型的知识多样性整体上呈现出显著提升的趋势。模型在训练过程中引入了更多的文本来源，尤其是非英文资料，使得其在某些主题上的回答更加丰富多元。然而，这一提升并未弥合它们与搜索引擎之间的差距，后者仍然在整体信息覆盖度和多样性上保持领先。

值得注意的是，这种提升并非均衡分布。采用检索增强生成（RAG）技术的系统——即在生成答案时结合外部文档检索——在知识多样性指标上表现出可观的提升。相反，参数量最大、模型规模最大的那些纯生成模型，反而在多样性上逊色于一些体积较小、结构更为轻量的模型，说明规模并非决定多样性的唯一因素。

语言偏见与知识塌陷风险

在对模型内部表征进行深入分析时，研究者发现了第二个更为微妙的问题：所有受测模型的内部知识表征均以英语为主导，即便用户的查询涉及非英语国家的特定主题，这种语言倾斜仍会导致本土来源和文化视角的可见度被削弱。换句话说，模型在处理中文、阿拉伯文或非洲本土语言时，往往提供的答案数量和深度均明显低于英文查询。

作者将这种语言偏见归因于模型对海量训练语料的压缩方式。模型在学习过程中倾向于优先捕捉出现频率最高的模式，而低频出现的语言和地区性信息自然被过滤掉。如果未来的训练流水线进一步加入由其他AI生成的文本——这一趋势已在业界逐渐蔓延——那么所谓的“知识塌陷”现象可能会被加速，导致知识库日益同质化，缺乏新颖和多元的视角。

提出的对策与衡量工具

为应对上述风险，研究团队提出了一套新的量化指标，专门用于评估聊天机器人回复的知识多样性。该指标通过比较模型输出中不同概念、来源和视角的分布情况，能够客观衡量答案的广度和深度。研究人员呼吁AI开发者在模型评估和迭代阶段，将这一指标纳入标准基准，以促使模型在提升准确性的同时，兼顾信息的多样性。

与此同时，研究者也向终端用户发出建议：不要仅依赖单一聊天机器人的摘要或答案，而应主动查阅多个信息来源，包括传统搜索引擎、专业数据库以及多语言资源。这样可以帮助用户保持对主题更为全面和立体的认识，降低因信息单一而产生的认知偏差。

• 在模型测试中采用新的知识多样性指标
• 在训练过程中加入多元、多语言数据
• 限制训练集中文本的AI生成比例
• 鼓励使用检索增强架构以提升覆盖面

研究团队强调，尽管在当前一代聊天机器人中尚未观察到明确的“知识塌陷”现象，但他们警示，这一趋势的演化将极大取决于未来的训练实践和数据治理。语言和模型类型之间的进展不均表明，若不进行有针对性的干预，聊天机器人与搜索引擎之间的差距可能会持续存在，甚至进一步扩大。

对于中国的企业、科研机构以及公共部门而言，这项研究具有直接且重要的现实意义。虽然聊天机器人在日常信息检索、内部知识库查询等场景中能够提供便捷的交互体验，但它们不应被视为取代全面搜索策略的唯一工具。决策者应在使用聊天机器人输出的同时，对比传统搜索结果，尤其在涉及多语言或地区特定情境时，保持多元化的知识来源，以有效降低信息盲点和认知偏差的风险。

总之，这项来自哥本哈根大学的系统性研究提醒我们，技术的进步必须伴随对知识多样性和公平性的持续关注。只有在评估标准、训练数据和模型架构上同步提升，才能真正实现人工智能在信息获取方面的全面价值。