AI-crawler (GPTBot en co)

Een AI-crawler is een bot van een AI-bedrijf die webpagina’s ophaalt, om er taalmodellen mee te trainen of om ze live te gebruiken als bron voor een antwoord. Elke crawler heeft een eigen naam (user agent), zodat je in robots.txt kan bepalen welke je toelaat. Bekende voorbeelden zijn GPTBot en OAI-SearchBot van OpenAI, ClaudeBot van Anthropic en PerplexityBot.

Een voorbeeld

Een AI-bedrijf gebruikt vaak meerdere bots met een ander doel. OpenAI onderscheidt bijvoorbeeld:

• GPTBot: verzamelt content voor het trainen van modellen.
• OAI-SearchBot: indexeert pagina’s voor de zoekfunctie in ChatGPT.
• ChatGPT-User: haalt een pagina op wanneer een gebruiker daar in een gesprek om vraagt.

Je kan dus GPTBot blokkeren en OAI-SearchBot toelaten: dan train je hun modellen niet, maar kan je wel als bron verschijnen in ChatGPT search.

Bij Google werkt het anders. Google-Extended is geen aparte crawler maar een token in robots.txt. Het regelt het gebruik voor Gemini-training en grounding in Gemini-apps, en heeft geen invloed op je zichtbaarheid in Google Search (Google Search Central). Voor AI Overviews en AI Mode telt gewoon Googlebot.

Waarom het telt voor SEO en GEO

Blokkeer je een AI-crawler, dan kan die assistent je pagina’s niet lezen en dus ook niet citeren. Veel sites blokkeren AI-bots zonder het te weten, bijvoorbeeld via een standaardinstelling van hun hosting, CDN of firewall.

Daarnaast voeren veel AI-crawlers geen JavaScript uit. Staat je tekst pas na JavaScript op de pagina, dan zien die bots een lege pagina. Zie JavaScript-SEO.

Hoe pak je het aan

1. Bekijk je robots.txt en controleer welke AI-bots je toelaat.
2. Controleer ook je CDN- en firewallinstellingen op het blokkeren van bots.
3. Kijk in je serverlogs welke AI-crawlers echt langskomen.
4. Kies bewust: training toelaten of niet, zoekbots wel of niet.
5. Zorg dat je belangrijkste inhoud zonder JavaScript leesbaar is.

Wil je dit laten controleren? Zie Technische SEO & AI-crawlers.

Veelgestelde vragen

Moet ik GPTBot blokkeren?

Dat is een bedrijfskeuze. Blokkeren beschermt je content tegen training, maar beperkt mogelijk hoe goed modellen je merk kennen. Zoekbots zoals OAI-SearchBot blokkeer je beter niet als je in AI-antwoorden wil verschijnen.

Houden alle AI-crawlers zich aan robots.txt?

De grote spelers zeggen van wel. Robots.txt is wel een afspraak, geen technische blokkade. Wil je bots echt tegenhouden, dan heb je serverregels of een firewall nodig.