Studie zeigt, dass führende Chatbots weniger und homogenere Informationen liefern als Google

Ein Forscherteam der Universität Kopenhagen hat den bislang umfassendsten Vergleichstest großer Sprachmodelle (LLMs) durchgeführt. Dabei wurden 27 prominente LLMs zu 155 unterschiedlichen Themen evaluiert und für jedes Thema 200 verschiedene Abfrageformulierungen generiert. Das daraus resultierende Experiment lieferte rund 70 Millionen einzelne Aussagen, was es dem Team ermöglichte, die Breite des Wissens, das jedes Modell aus dem gesamten menschlichen Wissenspool schöpft, präzise zu quantifizieren.

Das zentrale Ergebnis ist eindeutig: Jedes der untersuchten LLMs liefert weniger epistemische Vielfalt als eine herkömmliche Google‑Suche. Selbst das am besten abschneidende Modell, das in der Studie als GPT‑5 bezeichnet wird, liegt mindestens 18,7 % hinter den Ergebnissen einer Google‑Suche zurück, wenn es um die Bandbreite der angezeigten Informationen geht.

Zunahme der Vielfalt in den letzten drei Jahren

Entgegen der verbreiteten Annahme eines unvermeidlichen Rückgangs der Wissensbreite zeigt die Analyse einen deutlichen Anstieg der epistemischen Vielfalt bei LLMs in den vergangenen drei Jahren. Dieser positive Trend ist jedoch nicht stark genug, um die bestehende Lücke zu Suchmaschinen zu schließen, die nach wie vor in allen untersuchten Bereichen überlegen bleiben.

Die Verbesserung ist dabei ungleichmäßig verteilt. Retrieval‑augmented‑Generation‑Systeme (RAG), die ein Sprachmodell mit einer externen Dokumentenabfrage kombinieren, verzeichnen einen messbaren Zuwachs an Vielfalt. Im Gegensatz dazu sind die größten Modelle – gemessen an der Parameterzahl – paradoxerweise weniger vielfältig als kleinere, spezialisiertere Gegenstücke.

Sprachliche Verzerrung und Gefahr eines Wissenszusammenbruchs

Ein zweites, subtileres Problem ergibt sich aus der Analyse des parametrischen Wissens: Englisch dominiert die internen Repräsentationen aller getesteten Modelle, selbst wenn die Anfragen Themen betreffen, die für nicht‑englischsprachige Länder spezifisch sind. Diese sprachliche Schieflage reduziert die Sichtbarkeit lokaler Quellen und kultureller Perspektiven erheblich.

Die Autoren führen diese Verzerrung auf die Art zurück, wie LLMs massive Trainingskorpora komprimieren. Durch die Priorisierung der häufigsten Muster filtern die Modelle von Natur aus weniger verbreitete Informationen heraus. Sollten künftig ein größerer Anteil an Trainingsdaten von anderen KI‑Systemen erzeugt werden – ein Trend, der bereits an Fahrt gewinnt – könnte das Phänomen des „Wissenszusammenbruchs“ beschleunigt werden und das verfügbare Wissen weiter homogenisieren.

Vorgeschlagene Gegenmaßnahmen und Messinstrumente

Um diese Risiken zu mindern, haben die Forscher ein quantitatives Maß zur Bewertung epistemischer Vielfalt in Chatbot‑Antworten eingeführt. Sie fordern KI‑Entwickler auf, diese Messgröße als Standard‑Benchmark bei der Modellauswertung zu verwenden, um künftig systematisch die Breite der gelieferten Informationen zu prüfen.

Parallel dazu empfehlen sie End‑Nutzern, mehrere unabhängige Informationsquellen zu konsultieren, anstatt sich ausschließlich auf eine einzige Chatbot‑Zusammenfassung zu verlassen. Dieses Vorgehen kann helfen, einen umfassenderen Blick auf das jeweilige Thema zu bewahren und einseitige Darstellungen zu vermeiden.

• Das neue epistemische‑Vielfalts‑Metric in Modell‑Tests übernehmen
• Vielfältige, mehrsprachige Daten beim Training einbinden
• Den Anteil KI‑generierter Texte in Trainingssätzen begrenzen
• Retrieval‑augmented‑Architekturen für bessere Abdeckung fördern

Die Studie beobachtet bislang keinen konkreten „Wissenszusammenbruch“ in der aktuellen Generation von Chatbots, warnt jedoch, dass der weitere Verlauf stark von den Trainingspraktiken abhängt. Der ungleiche Fortschritt zwischen Sprachen und Modelltypen legt nahe, dass ohne gezielte Intervention die Lücke zu Suchmaschinen bestehen bleiben oder sogar größer werden könnte.

Für deutschsprachige Unternehmen bedeutet das praktisch: Während Chatbots die Routine‑Informationsbeschaffung beschleunigen können, sollten sie keine umfassenden Suchstrategien ersetzen. Entscheidungsträger werden angehalten, Chatbot‑Ergebnisse mit traditionellen Suchergebnissen zu prüfen und ein diversifiziertes Set an Wissensquellen zu pflegen, insbesondere in mehrsprachigen oder regionalspezifischen Kontexten.

Ein weiterer Aspekt, den die Autoren betonen, ist die Notwendigkeit, die Transparenz der Modellarchitekturen zu erhöhen. Nur durch offene Dokumentation der verwendeten Datenquellen und Filtermechanismen lässt sich nachvollziehen, warum bestimmte Informationen bevorzugt oder ausgeblendet werden.

Zudem wird vorgeschlagen, regelmäßige Audits der epistemischen Vielfalt durch unabhängige Forschungseinrichtungen durchzuführen. Solche Audits könnten als Frühwarnsystem dienen, um potenzielle Verschiebungen in der Wissensrepräsentation frühzeitig zu erkennen.

Ausblick und zukünftige Forschung

Die Autoren planen, die Studie in den kommenden Jahren zu erweitern, indem sie weitere Sprachmodelle, darunter spezialisierte Fach‑LLMs, einbeziehen und die Themenauswahl auf über 300 Bereiche ausdehnen. Ziel ist es, ein noch feineres Bild der Wissensdiversität zu erhalten und mögliche Schwachstellen gezielt zu adressieren.

Ein langfristiges Ziel besteht darin, ein globales Konsortium zu etablieren, das Standards für epistemische Vielfalt definiert und deren Einhaltung zertifiziert. Ein solches Rahmenwerk könnte die Branche dazu verpflichten, nicht nur Leistungskennzahlen wie Genauigkeit, sondern auch die Breite des vermittelten Wissens zu optimieren.

Schließlich appellieren die Forscher an politische Entscheidungsträger, Förderprogramme für die Entwicklung multilingualer Trainingsdaten zu schaffen und die Forschung zu unterstützen, die darauf abzielt, die Dominanz der englischsprachigen Quellen zu reduzieren. Nur durch ein ausgewogenes Datenökosystem kann die Gefahr eines einseitigen Wissenszusammenbruchs langfristig abgewendet werden.

Insgesamt liefert die Untersuchung einen klaren Hinweis darauf, dass Chatbots trotz beeindruckender Fortschritte nach wie vor hinter klassischen Suchmaschinen zurückbleiben, wenn es um die epistemische Vielfalt geht. Die vorgeschlagenen Maßnahmen bieten einen praxisnahen Fahrplan, um diese Lücke zu schließen und die Qualität der KI‑gestützten Informationsversorgung nachhaltig zu erhöhen.