AI-crawlers blokkeren zonder je Google-vindbaarheid te verliezen

Voor een openbare bedrijfswebsite is het uitgangspunt eenvoudig: houd gewenste zoekcrawlers bereikbaar en bepaal afzonderlijk wat je toestaat voor training. Controleer daarna of die keuze ook werkelijk zo uitpakt.

Wat veranderde Cloudflare op 15 september 2026?

Cloudflare introduceerde Disallow AI Training. Daarmee blijven 'Accountable' crawlers zoals Googlebot, Applebot en Bingbot bereikbaar voor zoeken. Bot Preference Sync publiceert trainingsvoorkeuren in robots.txt; overige trainingcrawlers worden geblokkeerd. De opties Block en Block on pages with ads omvatten nu ook gemengde zoek- en trainingcrawlers.

Bestaande trainingsblokkades migreren naar Disallow AI Training. Een oude instelling betekent dus niet dat Googlebot nu automatisch wordt geweerd. Voor nieuwe domeinen zonder advertentieverdiensten beveelt Cloudflare Allow aan; bij advertentiefinanciering Disallow AI Training, met Search toegestaan en Agents geblokkeerd op advertentiepagina's.

Er is een uitzondering: Bing ondersteunt deze trainingsvoorkeur via robots.txt nog niet automatisch. Cloudflare noemt begin 2027 als beoogd moment. Zie de aankondiging van 15 september.

AI-training en AI-antwoorden zijn verschillende keuzes

Een model trainen is iets anders dan een bron raadplegen om een actuele vraag te beantwoorden. Bepaal dus of je vooral hergebruik voor training wilt beperken, of ook wilt voorkomen dat een assistent informatie ophaalt voor een potentiële klant. Dat onderscheid speelt ook bij ChatGPT als zoekmachine.

Google beschrijft dat Google-Extended losstaat van de opname en ranking van je site in Google Search. Het is geen aparte crawler die je in je serververkeer moet zoeken. Het is een beheersignaal voor gebruik in bepaalde andere Google-systemen. Google: uitleg over crawlers.

Dat maakt het nog geen algemene uitknop voor AI Overviews. Google behandelt zijn AI-zoekfuncties binnen Search en verwijst voor beperkingen naar zoekgerelateerde instellingen. Wie AI-samenvattingen wil beperken, moet de gevolgen voor snippets en zichtbaarheid afzonderlijk afwegen. Google: AI-functies en je website.

Zo controleer je je instellingen

1. Schrijf op wat je wilt toestaan

Maak de keuze concreet: 'Onze dienstenpagina's moeten vindbaar blijven, maar we willen AI-training beperken.' Beslis ook of een assistent die namens een klant een product of dienst onderzoekt welkom is. Een instelling voor de ene categorie geeft nog geen antwoord op de andere.

2. Leg de huidige configuratie vast

Open het juiste domein in Cloudflare en noteer Search, Training en Agent. Maak een schermafbeelding voordat je iets verandert. Bekijk ook afzonderlijke firewallregels, blokkades per crawler en instellingen van beveiligingsplugins.

Een website kan immers op meerdere plekken verkeer weigeren. Als een regel in WordPress of op de server dezelfde bezoeker tegenhoudt, is een passende instelling in Cloudflare op zichzelf onvoldoende.

3. Controleer robots.txt en de daadwerkelijke toegang

Open de openbare robots.txt en kijk of die overeenkomt met je bedoeling. Controleer vooral of er geen algemene blokkade voor gewenste zoekcrawlers is toegevoegd. Bot Preference Sync is bedoeld om voorkeuren te laten aansluiten op je configuratie. Cloudflare: Bot Preference Sync.

Laat je beheerder daarnaast echte, geverifieerde crawlerverzoeken in de logs controleren. Alleen een verzoek met het woord 'Googlebot' in de naam is geen betrouwbare test: zo'n naam kan worden nagemaakt. Gebruik ook URL-inspectie in Search Console voor een belangrijke dienstenpagina. Die test is een nuttige aanvulling; controleer het gewone crawlerverkeer apart.

4. Test de pagina's die klanten opleveren

Kies je homepage, een dienstenpagina, een blog en eventueel een productpagina. Kijk naar foutmeldingen, blokkades en ongewenste verificatieschermen. Controleer zowel het hoofddomein als relevante subdomeinen wanneer die apart zijn ingericht.

Bewaar het testresultaat met datum en gewijzigde instelling. Daarmee kun je later beoordelen of een probleem samenvalt met deze aanpassing of al eerder bestond.

Let bij Bing op een extra afweging

Bing beschrijft NOARCHIVE als een manier om inhoud uit te sluiten van gebruik voor training en van Bing Chat-antwoorden, terwijl gewone zoekresultaten mogelijk blijven. Dat heeft dus ook gevolgen voor het soort AI-zichtbaarheid dat je overhoudt. Combineer tags niet op goed geluk: Bing beschrijft voor NOCACHE en NOARCHIVE verschillende effecten. Bing: gebruik van je content beheren.

Wanneer kun je dit zelf regelen?

Je kunt zelf je doelen bepalen, bestaande instellingen vastleggen en controleren of belangrijke pagina's in Search Console bereikbaar zijn. Vraag hulp als meerdere beveiligingslagen elkaar tegenspreken, als je niet kunt vaststellen welke crawler wordt geblokkeerd of als organisch verkeer tegelijk wegvalt.

Onderhoud en vindbaarheid raken hier dezelfde techniek. Bekijk de diensten van Fosyn als je wilt bespreken hoe je website wordt beheerd. Wil je de crawlerinstellingen samen nalopen? Bespreek een technische controle.

Veelgestelde vragen over AI-crawlers blokkeren

Wat is het verschil tussen robots.txt en een firewall?

Robots.txt communiceert crawlvoorkeuren. Een firewall kan verzoeken technisch weigeren. Controleer beide: een toegestane voorkeur helpt niet wanneer de verbinding elders wordt tegengehouden.

Verlies ik mijn Google-posities als ik Google-Extended weiger?

Google zegt dat dit de opname en ranking in Search niet beïnvloedt. Controleer wel dat je Googlebot zelf bereikbaar houdt.

Is AI-training weigeren hetzelfde als AI Overviews uitschakelen?

Nee. De gebruiksdoelen en beheermogelijkheden verschillen. Bekijk de Search-instellingen apart voordat je besluit ook samenvattingen of snippets te beperken.

Hoe weet ik of een verkeersdaling door een blokkade komt?

Vergelijk het moment van de wijziging met crawlerlogs, indexeringsmeldingen en prestaties per pagina. Een gelijktijdige daling is een aanleiding voor onderzoek, geen zelfstandig bewijs.

Kan ik mijn oude instellingen terugzetten?

Bewaar vooraf wat je wijzigt en herstel zo nodig de betreffende regels. Test daarna opnieuw: alleen een schakelaar terugzetten bewijst nog niet dat toegang is hersteld.

Houdt een trainingsvoorkeur alle ongewenste scrapers tegen?

Nee. Een voorkeur is geen garantie tegen partijen die regels negeren of hun identiteit verbergen. Beoordeel ongewenst verkeer ook op gedrag en belasting van je website.