Étude : les chatbots leaders offrent une connaissance plus étroite que Google

Des chercheurs de l'Université de Copenhague ont mené le test comparatif le plus exhaustif à ce jour sur les grands modèles de langage (LLM). Ils ont évalué 27 modèles majeurs sur 155 sujets distincts, générant 200 formulations de requêtes pour chaque sujet. L’expérimentation a produit environ 70 millions d’énoncés individuels, permettant à l’équipe de quantifier la largeur du champ de connaissances exploité par chaque modèle.

Le constat principal est sans appel : chaque LLM étudié offre moins de diversité épistémique qu’une recherche Google classique. Même le modèle le plus performant, identifié comme GPT‑5, reste en deçà de Google d’au moins 18,7 % en termes de variété d’informations qu’il peut mettre en avant.

Croissance de la diversité ces trois dernières années

Contrairement au récit dominant d’un déclin inéluctable de l’étendue des connaissances, l’étude révèle une hausse substantielle de la diversité épistémique parmi les LLM au cours des trois dernières années. Cette tendance à la hausse ne comble toutefois pas l’écart avec les moteurs de recherche, qui continuent de surpasser les chatbots sur tous les critères.

L’amélioration est inégale. Les systèmes à génération augmentée par récupération (RAG), qui associent un modèle de langage à une recherche de documents externes, affichent un gain mesurable de diversité. En revanche, les plus gros modèles, ceux disposant du plus grand nombre de paramètres, sont paradoxalement moins diversifiés que leurs homologues plus modestes.

Biais linguistique et risque d’effondrement des connaissances

Un second problème, plus subtil, apparaît dans l’analyse des connaissances paramétriques : l’anglais domine les représentations internes de tous les modèles testés, même lorsque la requête porte sur des sujets spécifiques à des pays non anglophones. Cette inclinaison linguistique réduit la visibilité des sources locales et des perspectives culturelles.

Les auteurs attribuent ce biais à la manière dont les LLM compressent d’immenses corpus d’entraînement. En privilégiant les motifs les plus fréquents, les modèles filtrent naturellement les informations moins courantes. Si les futures chaînes d’entraînement intègrent du texte généré par d’autres IA – pratique déjà en expansion – le phénomène d’« effondrement des connaissances » pourrait s’accélérer, homogénéisant davantage la base de connaissances.

Remèdes proposés et outils de mesure

Pour atténuer ces risques, les chercheurs ont introduit une métrique quantitative permettant d’évaluer la diversité épistémique dans les réponses des chatbots. Ils incitent les développeurs d’IA à adopter cette mesure comme critère de référence standard lors de l’évaluation des modèles.

Parallèlement, ils recommandent aux utilisateurs finaux de consulter plusieurs sources d’information plutôt que de se fier exclusivement à un seul résumé de chatbot. Cette habitude aide à préserver une vision plus large du sujet traité.

• Adopter la nouvelle métrique de diversité épistémique lors des tests de modèles
• Intégrer des données multilingues et diversifiées pendant l’entraînement
• Limiter la proportion de texte généré par IA dans les jeux d’entraînement
• Encourager les architectures à récupération augmentée pour une meilleure couverture

L’étude n’observe pas encore de « effondrement des connaissances » concret dans la génération actuelle de chatbots, mais elle avertit que la trajectoire dépendra fortement des pratiques d’entraînement. Les progrès inégaux selon les langues et les types de modèles suggèrent que, sans intervention délibérée, l’écart avec les moteurs de recherche pourrait persister voire se creuser.

Implications pour les organisations francophones

Pour les organisations francophones, l’implication pratique est claire : si les chatbots peuvent accélérer la recherche d’informations courantes, ils ne doivent pas remplacer les stratégies de recherche exhaustives. Les décideurs sont invités à croiser les réponses des chatbots avec les résultats de recherches traditionnelles et à maintenir un ensemble diversifié de sources de connaissances, en particulier dans des contextes multilingues ou spécifiques à une région.

Cette double approche, combinant l’efficacité des modèles génératifs avec la profondeur des moteurs de recherche, permet de réduire les risques de perte de perspective et de garantir que les décisions reposent sur un panorama complet d’informations disponibles.

Les équipes techniques sont également encouragées à surveiller régulièrement les indicateurs de diversité épistémique afin d’ajuster les pipelines d’entraînement avant que des déséquilibres ne se cristallisent dans les réponses produites.

En pratique, cela signifie mettre en place des audits de données d’entraînement, diversifier les corpus d’origine et intégrer des processus de validation humaine multilingue dès les phases de pré‑production.

Enfin, la communauté académique et industrielle doit collaborer pour publier des benchmarks ouverts, afin que chaque nouvelle itération de LLM soit comparée de façon transparente à la référence Google en matière de diversité de connaissances.

En résumé, les chatbots restent des outils puissants mais limités ; leur usage judicieux repose sur une conscience aiguë de leurs faiblesses épistémiques et sur la mise en œuvre de mesures correctives dès le stade de la conception.