Cloudflare introduceert ‘Disallow AI Training’: vindbaarheid behouden, AI‑training blokkeren

In een blogpost van 15 september 2026 kondigde Cloudflare een nieuwe configuratie aan genaamd Disallow AI Training. Deze instelling laat site‑eigenaren hun website vindbaar houden via traditionele zoekmachines, maar expliciet weigeren dat dezelfde crawler de inhoud verzamelt voor AI‑modeltraining.

De stap richt zich op een specifieke klasse bots die zowel traditionele zoekindexering als dataverzameling voor machine‑learning uitvoeren. Deze gemengde bots staan centraal in het debat omdat één verzoek twee zeer verschillende commerciële en ethische doelen kan dienen.

Waarom het onderscheid belangrijk is

Volgens interne metingen van Cloudflare blokkeert minder dan één procent van de miljoenen sites die zij beschermen zoekbots volledig. Daarentegen heeft 17 % van die sites al minimaal één mechanisme ingeschakeld om AI‑training te verhinderen, wat wijst op een duidelijke vraag naar fijnmazige controle.

Een eenvoudige robots.txt kan alleen een voorkeur uitspreken; het authenticeren van de identiteit van de crawler of het verifiëren van het beoogde gebruik gebeurt niet. Daardoor kan een operator die het bestand negeert alsnog de inhoud scrapen zonder technische of juridische consequenties.

Hoe de oplossing van Cloudflare werkt

Cloudflare publiceert de voorkeur van de site in de metadata, identificeert en classificeert vervolgens elke bot die door hun netwerk passeert. Bots die de Disallow AI Training‑vlag negeren, worden geblokkeerd en hun activiteit wordt gelogd in Cloudflare Radar voor transparantie.

Het Accountable‑label van het bedrijf definieert een reeks eisen voor verantwoord crawlen. Deze omvatten een mechanisme om training te weigeren, een toekomstige mogelijkheid om AI‑gegenereerde samenvattingen te weigeren, per‑URL zichtbaarheid van de weigering, en de garantie dat de weigering geen invloed heeft op gewone zoekindexering.

• Apple, Google en Microsoft hebben al voldaan of zich gecommitteerd aan de Accountable‑criteria binnen een vastgestelde termijn.
• Amazon, Anthropic, Meta en OpenAI scheiden hun zoek‑ en trainingsbots al volgens de taxonomie van Cloudflare.
• Cloudflare’s controles onderscheiden drie categorieën: Search, Training en Agent.
• De nieuwe Disallow AI Training‑instelling geldt alleen voor de Training‑categorie en omvat nog geen door gebruikers opgelegde agents.

Het onderscheid tussen Search en Training is cruciaal omdat het de kernwaarde van web‑vindbaarheid behoudt. Websites blijven verschijnen in Google, Bing of andere zoekresultaten, terwijl ze duidelijk maken dat hun inhoud niet mag worden hergebruikt voor grootschalige modeltraining.

Toekomstige roadmap

Cloudflare heeft aangegeven dat de volgende fase zich richt op het controleren hoeveel van een pagina‑inhoud verschijnt in AI‑gegenereerde samenvattingen. Die mogelijkheid staat los van de weigering van training en zal zorgen voor minder blootstelling van content in conversatie‑agents.

De technische werking van de Disallow AI Training‑optie vereist een nauwkeurige classificatie van crawlers binnen het Cloudflare‑netwerk. Omdat de identificatie gebaseerd is op metadata‑signalen en gedragsprofielen, ontstaat er een inherente onzekerheid: bots die zich niet correct identificeren of die dynamisch van gedrag wisselen, kunnen onterecht worden toegelaten tot de trainingsstroom of juist onterecht geblokkeerd worden. Deze ambiguïteit beperkt de effectiviteit van de maatregel, vooral wanneer grote AI‑providers hun infrastructuur frequent aanpassen. Het gevolg is dat site‑eigenaren moeten blijven monitoren of hun weigering daadwerkelijk wordt gerespecteerd, en dat extra controlemechanismen – zoals periodieke logs‑analyse – noodzakelijk blijven om eventuele lekken vroegtijdig te detecteren.

Een tweede beperking betreft de reikwijdte van de weigering. De huidige implementatie richt zich uitsluitend op de “Training‑categorie” en sluit andere vormen van data‑exploitaties, zoals het gebruik van content voor fine‑tuning of het genereren van contextuele antwoorden, uit. Hierdoor blijft een deel van de content potentieel beschikbaar voor AI‑systemen die niet onder de gedefinieerde training‑bot vallen, maar wel via andere toegestane kanalen toegang krijgen. Voor organisaties die een volledige afscherming zoeken, betekent dit dat aanvullende maatregelen, bijvoorbeeld op applicatieniveau of via content‑watermarking, noodzakelijk blijven om een bredere bescherming te realiseren.

De verificatie van naleving is sterk afhankelijk van de transparantie van Cloudflare Radar. Hoewel de radar een audit‑trail biedt, geeft het geen garantie dat externe AI‑providers hun eigen logs correct synchroniseren of dat zij de signalen consistent interpreteren. Hierdoor ontstaat een controle‑gap: de aanwezigheid van een blokkade‑event in de radar bevestigt alleen dat Cloudflare de request heeft geweigerd, maar niet dat de provider de weigering respecteert in latere verwerkingsstappen. Praktisch gezien moeten compliance‑teams daarom aanvullende bewijsstukken verzamelen, bijvoorbeeld door monitoring‑scripts te implementeren die direct op de bron‑URL’s controleren op ongeautoriseerde data‑extractie.

De impact op SEO‑prestaties wordt in eerste instantie gematigd doordat de zoek‑indexering ongewijzigd blijft. Echter, zoekmachines kunnen indirect hun crawlers aanpassen op basis van signalen die zij ontvangen van de training‑bot‑blokkades, bijvoorbeeld door de frequentie van crawl‑bezoeken te verlagen of door de prioriteit van bepaalde pagina’s te herzien. Deze dynamiek kan leiden tot subtiele verschuivingen in ranking‑posities, zelfs zonder expliciete wijziging van de zoek‑indexering. Website‑beheerders moeten daarom periodiek hun organische verkeer analyseren om te bepalen of de geïmplementeerde weigering onbedoelde SEO‑effecten veroorzaakt.

De juridische implicaties van de Disallow AI Training‑optie worden versterkt door de beschikbaarheid van een audit‑trail. In geval van een geschil over datagebruik kan een organisatie aantonen dat zij een technische maatregel hebben genomen om training te verbieden, wat een verdedigingslijn biedt tegen mogelijke claims van onrechtmatige verwerking. Toch blijft de juridische afdwingbaarheid afhankelijk van de interpretatie van toepasselijke privacy‑ en auteursrechtwetgeving, die nog in ontwikkeling is. Hierdoor blijft er een risico bestaan dat een rechter een technische weigering niet als voldoende bescherming beschouwt zonder aanvullende contractuele afspraken met de AI‑provider.

Op operationeel niveau vereist de adoptie van de Disallow AI Training‑optie een integratie in bestaande content‑management‑processen. Beheerders moeten de instelling activeren, de resultaten monitoren via de radar‑logboeken en periodiek beoordelen of de classificatie van bots nog accuraat is. Bovendien moet er een interne procedure worden opgesteld om afwijkingen te escaleren, zodat eventuele foutieve blokkades of onbedoelde toelatingen snel kunnen worden gecorrigeerd. Deze operationele discipline zorgt ervoor dat de technische mogelijkheid om AI‑training te blokkeren daadwerkelijk leidt tot een consistente en meetbare bescherming van de website‑content.

Voor Nederlandstalige organisaties is de praktische impact onmiddellijk. Door de Disallow AI Training‑optie in te schakelen, kan een bedrijf zijn SEO‑prestaties behouden terwijl het een duidelijk technisch signaal naar AI‑providers stuurt dat de pagina’s niet mogen worden gebruikt voor training. De zichtbaarheid via Radar biedt bovendien een audit‑trail, waardoor juridische en compliance‑teams kunnen aantonen dat ze voldoen aan de opkomende beleidsregels rond datagebruik.