Onderzoek toont dat top‑chatbots minder diverse kennis bieden dan Google

Onderzoekers van de Universiteit van Kopenhagen hebben de omvangrijkste vergelijkende test van grote taalmodellen (LLM's) tot nu toe afgerond. Ze evalueerden 27 prominente LLM's op 155 verschillende onderwerpen, waarbij ze voor elk onderwerp 200 zoekformuleringen genereerden. Het experiment leverde ongeveer 70 miljoen individuele uitspraken op, waardoor het team kon kwantificeren hoe breed elk model put uit de pool van menselijke kennis.

De kernbevinding is duidelijk: elk onderzocht LLM biedt minder epistemische diversiteit dan een conventionele Google‑zoekopdracht. Zelfs het best presterende model, aangeduid als GPT‑5, blijft minimaal 18,7 % achter bij Google wat betreft de verscheidenheid aan informatie die het kan opleveren.

Toename van diversiteit in de afgelopen drie jaar

In tegenstelling tot het populaire verhaal van een onvermijdelijke afname van kennisbreedte, toont de studie een aanzienlijke toename van epistemische diversiteit onder LLM's in de afgelopen drie jaar. Deze opwaartse trend sluit de kloof met zoekmachines echter niet, die nog steeds overal beter presteren dan chatbots.

De verbetering is ongelijk. Retrieval‑augmented generation (RAG)-systemen, die een taalmodel combineren met externe document‑retrieval, laten een meetbare stijging in diversiteit zien. Daarentegen zijn de grootste modellen – die het hoogste aantal parameters hebben – paradoxaal minder divers dan hun kleinere tegenhangers.

Taalbias en het risico op kennisinstorting

Een tweede, subtieler probleem komt naar voren uit de analyse van parametrische kennis: Engels domineert de interne representaties van alle geteste modellen, zelfs wanneer de vraag betrekking heeft op onderwerpen die specifiek zijn voor niet‑Engelssprekende landen. Deze linguïstische scheefheid vermindert de zichtbaarheid van lokale bronnen en culturele perspectieven.

De auteurs schrijven deze bias toe aan de manier waarop LLM's enorme trainingscorpora comprimeren. Door de meest frequente patronen te prioriteren, filteren de modellen per definitie minder gangbare informatie uit. Als toekomstige trainingspijplijnen tekst bevatten die door andere AI's is gegenereerd – een praktijk die al aan populariteit wint – kan het fenomeen dat bekend staat als "kennisinstorting" versnellen en de kennisbasis verder homogeniseren.

Voorgestelde oplossingen en meetinstrumenten

Om deze risico's te beperken, hebben de onderzoekers een kwantitatieve metriek geïntroduceerd voor het beoordelen van epistemische diversiteit in chatbot‑antwoorden. Ze roepen AI‑ontwikkelaars op deze meting als standaardbenchmark te gebruiken bij model‑evaluatie.

Tegelijkertijd raden ze eindgebruikers aan meerdere informatiebronnen te raadplegen in plaats van uitsluitend te vertrouwen op één chatbot‑samenvatting. Deze gewoonte kan helpen een breder beeld van het onderwerp te behouden.

• De nieuwe epistemische‑diversiteitsmetriek opnemen in modeltests
• Divers, meertalig trainingsmateriaal integreren
• Het aandeel AI‑gegenereerde tekst in trainingssets beperken
• Retrieval‑augmented architecturen stimuleren voor betere dekking

De studie heeft nog geen concrete "kennisinstorting" waargenomen in de huidige generatie chatbots, maar waarschuwt dat de ontwikkeling sterk afhankelijk zal blijven van de gekozen trainingspraktijken. De ongelijke vooruitgang tussen talen en modeltypes suggereert dat zonder gerichte interventie de kloof met zoekmachines kan blijven bestaan of zelfs kan toenemen.

De analyse maakt duidelijk dat de meetbare beperking in epistemische diversiteit van chatbots niet slechts een statistisch artefact is, maar een structureel gevolg van de manier waarop deze modellen kennis internaliseren. Omdat de onderliggende architectuur primair gericht is op het voorspellen van volgende tokens, ontstaat er een inherente focus op de meest voorkomende patronen in de trainingsdata, waardoor minder frequente, maar potentieel kritieke perspectieven systematisch onderbelicht blijven. Dit mechanisme verklaart waarom zelfs de meest geavanceerde modellen, ondanks hun omvang, niet kunnen tippen aan de breedte van een traditionele zoekmachine die direct toegang heeft tot een heterogene index van actuele webpagina’s.

De geïntroduceerde metriek voor epistemische diversiteit biedt een concrete handvat om deze beperking te kwantificeren en te vergelijken tussen verschillende systemen. Door een gestandaardiseerde score te koppelen aan de variëteit van bronnen en standpunten die een model kan reproduceren, ontstaat er een transparante basis voor zowel onderzoekers als ontwikkelaars om verbeteringen te meten. Het gebruik van deze metriek in de model‑evaluatiecyclus maakt het bovendien mogelijk om regressies in diversiteit vroegtijdig te detecteren, bijvoorbeeld wanneer updates in de trainingspipeline onbedoeld leiden tot een versmalling van de kennisbasis.

De studie benadrukt tevens dat de huidige voortgang ongelijk verdeeld is tussen modelgroottes en architecturen. Retrieval‑augmented generation (RAG) toont een duidelijke meerwaarde doordat het model expliciet externe documenten kan raadplegen, waardoor de brondiversiteit toeneemt. In tegenstelling hiermee blijven grotere, puur generatieve modellen vaak hangen in hun interne, al gefilterde kennisrepresentatie. Deze asymmetrie onderstreept de noodzaak om architecturale keuzes te heroverwegen, zodat de voordelen van externe retrieval niet alleen beschikbaar blijven voor niche‑toepassingen, maar breed geïntegreerd worden in commerciële chatbots.

Een bijkomend risico dat uit de analyse voortvloeit, is de taal‑ en cultuurbias die voortkomt uit de dominante Engelstalige trainingscorpora. Zelfs wanneer een vraag zich richt op niet‑Engelssprekende contexten, neigt het model de beschikbare Engelstalige bronnen te prioriteren, waardoor lokale inzichten en alternatieve narratieven ondervertegenwoordigd blijven. Deze scheefheid heeft praktische implicaties voor organisaties die afhankelijk zijn van accurate, cultureel sensitieve informatie, omdat het de kans vergroot dat belangrijke nuances verloren gaan in de gegenereerde antwoorden.

De potentiële versnelling van kennisinstorting door de opname van AI‑gegenereerde tekst in trainingssets vormt een kritieke verificatie‑uitdaging. Als modellen steeds vaker getraind worden op data die al door andere modellen is geproduceerd, bestaat het risico dat fouten, vooroordelen en reducties in diversiteit zich in een feedback‑loop versterken. Het is daarom essentieel om robuuste controlemechanismen in te bouwen die de oorsprong van trainingsmateriaal traceren en AI‑gegenereerde content systematisch filteren, zodat de integriteit van de kennisbasis behouden blijft.

Voor praktijkgebruikers betekent dit dat chatbots, hoewel ze efficiënt zijn in het leveren van snelle antwoorden, niet als enige bron mogen dienen voor besluitvorming. Het combineren van chatbot‑output met traditionele zoekstrategieën en het raadplegen van meerdere, onafhankelijke bronnen blijft noodzakelijk om een volledig en gebalanceerd beeld te waarborgen. Organisaties dienen beleid te ontwikkelen waarin verificatie‑processen en diversiteitscontroles expliciet zijn opgenomen, zodat de afhankelijkheid van één enkele AI‑interface de kwaliteit en betrouwbaarheid van hun informatievoorziening niet ondermijnt.

Voor Nederlandse organisaties is de praktische implicatie duidelijk: hoewel chatbots routine‑informatie sneller kunnen leveren, mogen ze geen vervanging vormen voor uitgebreide zoekstrategieën. Beslissers wordt aangeraden chatbot‑uitkomsten te verifiëren met traditionele zoekresultaten en een diversiteit aan kennisbronnen te behouden, vooral in meertalige of regionaal‑specifieke contexten.