Estudo Revela que os Principais Chatbots Oferecem Conhecimento Mais Limitado e Homogéneo que o Google

Investigadores da Universidade de Copenhaga concluíram o teste comparativo mais extenso já realizado sobre grandes modelos de linguagem (LLMs). Avaliaram 27 LLMs de destaque em 155 assuntos diferentes, criando 200 formulações de consulta para cada tópico, o que resultou em cerca de 70 milhões de afirmações individuais que permitiram quantificar a amplitude do conhecimento que cada modelo consegue aceder.

A conclusão principal do estudo é inequívoca: todos os LLMs analisados apresentam uma diversidade epistémica inferior à de uma pesquisa tradicional no Google. Mesmo o modelo com melhor desempenho, identificado como GPT‑5, regista, no mínimo, 18,7 % menos variedade de informação que o motor de busca.

Crescimento da Diversidade nos Últimos Três Anos

Contrariamente à crença popular de que a amplitude de conhecimento dos chatbots está a diminuir, o estudo revela um aumento significativo da diversidade epistémica entre os LLMs ao longo dos últimos três anos. Esta tendência ascendente, no entanto, não elimina a diferença substancial que ainda persiste em relação aos motores de busca, que continuam a oferecer respostas mais diversificadas em todos os domínios analisados.

A evolução não é homogénea. Os sistemas de geração aumentada por recuperação (RAG), que combinam um modelo de linguagem com a capacidade de recuperar documentos externos, mostram um ganho mensurável na diversidade das respostas. Em contraste, os modelos com maior número de parâmetros – os chamados “grandes” – revelam‑se paradoxalmente menos diversos que os seus homólogos de menor escala.

Viés Linguístico e Risco de Colapso do Conhecimento

Um segundo problema, mais subtil, emerge da análise do conhecimento paramétrico: o inglês domina as representações internas de todos os modelos testados, mesmo quando a consulta refere‑se a tópicos específicos de países que não utilizam o idioma como língua principal. Esta inclinação linguística reduz a visibilidade de fontes locais e de perspetivas culturais diversificadas.

Os autores atribuem este viés ao modo como os LLMs comprimem corpora de treino massivos, priorizando padrões mais frequentes e, por conseguinte, filtrando naturalmente informação menos comum. Se futuros pipelines de treino incorporarem texto gerado por outras IAs – prática já em expansão – o fenómeno conhecido como “colapso do conhecimento” poderá acelerar, homogenizando ainda mais a base de conhecimento disponível.

Propostas de Solução e Ferramentas de Medição

Para mitigar estes riscos, os investigadores introduziram uma métrica quantitativa destinada a avaliar a diversidade epistémica nas respostas dos chatbots. Recomendaram que os desenvolvedores de IA adotem esta medida como benchmark padrão durante a fase de avaliação dos modelos, permitindo comparar de forma objetiva a amplitude de conhecimento fornecida.

Em paralelo, sugerem que os utilizadores finais consultem múltiplas fontes de informação em vez de depender exclusivamente de um resumo gerado por chatbot. Este hábito pode ajudar a preservar uma visão mais ampla e equilibrada do tema em questão, reduzindo a dependência de um único ponto de vista.

• Adotar a nova métrica de diversidade epistémica nos testes de modelo
• Incorporar dados diversificados e multilingues durante o treino
• Limitar a proporção de texto gerado por IA nos conjuntos de treino
• Promover arquiteturas aumentadas por recuperação para melhor cobertura

O estudo ainda não detecta um colapso do conhecimento concreto nas versões atuais dos chatbots, mas alerta que a trajectória futura dependerá fortemente das práticas de treino adotadas pelas organizações de IA. O progresso desigual entre línguas e tipos de modelo indica que, sem intervenções deliberadas, a lacuna em relação aos motores de busca pode persistir ou até alargar.

Para as organizações portuguesas, a implicação prática é clara: embora os chatbots possam acelerar a recolha de informação rotineira, não devem substituir estratégias de pesquisa abrangentes. Os decisores são aconselhados a validar as respostas dos chatbots com resultados de pesquisas tradicionais e a manter um conjunto diversificado de fontes de conhecimento, sobretudo ao operar em contextos multilíngues ou regionais.

Esta recomendação ganha particular relevância no contexto da administração pública, onde decisões baseadas em dados incompletos podem gerar impactos significativos na prestação de serviços aos cidadãos. A combinação de chatbots com verificações cruzadas em bases de dados oficiais pode melhorar a eficiência sem comprometer a qualidade da informação.

No setor empresarial, a integração de métricas de diversidade epistémica nos pipelines de desenvolvimento pode servir como diferencial competitivo, permitindo que as empresas ofereçam respostas mais ricas e contextualizadas aos clientes, especialmente em mercados onde a personalização linguística é valorizada.

Académicos e investigadores são também convidados a utilizar a métrica proposta como ferramenta de análise comparativa, contribuindo para um corpo de conhecimento mais robusto que possa orientar políticas de regulação e normas de boas práticas no desenvolvimento de IA.

Em resumo, o estudo sublinha a necessidade de uma abordagem equilibrada que combine avanços técnicos, diversidade de dados e responsabilidade ética, de modo a garantir que os chatbots evoluam para verdadeiros assistentes de conhecimento e não para filtros estreitos de informação.

A monitorização contínua da diversidade epistémica, aliada a estratégias de mitigação de viés linguístico, será crucial para evitar que a comunidade global de IA se encontre presa num ciclo de homogenização que poderia limitar a inovação e a compreensão intercultural.