Kunnen AI-bots zoals GPTBot je website lezen?

AI-bots kunnen je website lezen als drie dingen kloppen: je robots.txt laat de juiste bots toe, je firewall of CDN houdt ze niet tegen en je tekst staat in de HTML die de server stuurt. De meeste AI-crawlers voeren geen JavaScript uit. Daarom begint technische SEO voor AI-zoekmachines bij toegang en rendering, niet bij trucs.

Dit artikel is de pijler voor de technische kant van GEO. Je leest welke bots er zijn, welke je toelaat, hoe je controleert wat ze zien en welke robots.txt we zelf aanraden.

Welke AI-bots bezoeken je website, en wat doen ze?

De belangrijkste AI-bots vallen in drie groepen: zoekbots die bepalen of je in AI-antwoorden verschijnt, trainingsbots die content verzamelen voor nieuwe modellen, en bots die een pagina ophalen omdat een gebruiker erom vraagt. Elke groep heeft een ander gevolg als je ze blokkeert.

De tabel zet de bots van OpenAI, Anthropic, Perplexity en Google naast elkaar, telkens volgens de eigen documentatie van de leverancier, gecontroleerd op 14 oktober 2026.

De bronnen: OpenAI over zijn crawlers, Anthropic over ClaudeBot, Claude-User en Claude-SearchBot en Perplexity over PerplexityBot en Perplexity-User. Perplexity schrijft dat PerplexityBot niet gebruikt wordt om modellen te trainen, en dat Perplexity-User robots.txt in het algemeen negeert omdat een gebruiker de vraag stelde.

Google AI Overviews en AI Mode hebben geen aparte bot. Ze steunen op Googlebot en de gewone zoekindex. Voor Google beslis je over AI Overviews niet in robots.txt, maar met dezelfde regels als voor Search.

Moet je AI-bots toelaten of blokkeren?

Wil je in ChatGPT, Perplexity, Claude en Google AI-antwoorden verschijnen, laat dan minstens de zoekbots toe: Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot en PerplexityBot. Trainingsbots zijn een aparte keuze, die je zelf maakt.

De afweging voor trainingsbots is zakelijk, niet technisch. Blokkeer je GPTBot of ClaudeBot, dan komt je content niet in toekomstige trainingsdata. Dat beschermt je teksten, maar een model weet dan ook minder over je merk als het zonder zoekfunctie antwoordt. Wij laten op deze site alle bots toe, omdat geciteerd worden net het doel is.

Over Google bestaat veel verwarring. Google schrijft in zijn overzicht van crawlers dat Google-Extended bepaalt of je content gebruikt mag worden voor training van Gemini en voor grounding in de Gemini-apps. Google-Extended heeft geen invloed op je opname in Google Search en is geen rankingsignaal. Google-Extended blokkeren haalt je dus niet uit AI Overviews.

Wil je toch uit de AI-functies van Google Search? Dat regel je via de instelling voor generatieve AI in Search Console of met snippetregels zoals nosnippet, niet met Google-Extended. Hoe je in die antwoorden net wél komt, lees je in gevonden worden in ChatGPT.

Kunnen AI-bots JavaScript lezen?

De meeste AI-crawlers voeren geen JavaScript uit: ze lezen de HTML die je server stuurt, en tekst die pas in de browser verschijnt, zien ze niet. Googlebot rendert JavaScript wel, met een recente versie van Chrome.

De duidelijkste meting komt van Vercel. In “The rise of the AI crawler” van 17 december 2024 schreef Vercel dat geen van de grote AI-crawlers JavaScript rendert. Dat gold voor de bots van OpenAI, Anthropic, Meta, ByteDance en Perplexity. De crawlers van ChatGPT en Claude downloaden wel JavaScript-bestanden, maar voeren ze niet uit. Uitzonderingen waren Gemini, dat op Googles infrastructuur draait, en AppleBot.

Wat dat betekent voor je site:

• Een site die volledig in de browser opgebouwd wordt, zoals een React-app zonder server-side rendering, is voor die bots een lege pagina.
• Tabs, accordeons en “lees meer”-blokken zijn geen probleem zolang de tekst al in de HTML staat en alleen visueel verborgen is.
• Content die via een API of een widget na het laden binnenkomt, zoals reviews of prijzen, mist een AI-bot meestal.

Google zegt dat het JavaScript kan verwerken zolang het niet geblokkeerd is, maar noemt SEO met JavaScript-frameworks complexer. Wie Google en AI-bots dezelfde tekst wil tonen, levert die tekst in de HTML vanaf de server.

Wat betekent dat voor vertaalplugins en meertalige sites?

Vertaalde pagina’s die pas in de browser via JavaScript vertaald worden, bestaan voor een AI-crawler alleen in de brontaal. Een Franse of Engelse bezoeker ziet zijn taal, de bot ziet Nederlands of niets.

Dat raakt vooral vertaaloplossingen die in een JavaScript-modus draaien, en vertaalproxies die de vertaalde pagina niet als gewone HTML op een eigen URL serveren. Voor Google speelt bovendien de vraag of elke taalversie een eigen URL, een correcte hreflang en een plaats in de sitemap heeft. Bij Suivo stonden ongeveer 870 Nederlandse en Franse URL’s in geen enkele sitemap.

Welke problemen we bij zulke vertaalplugins het vaakst zien, staat in SEO-problemen met Weglot. De oplossing is altijd dezelfde: elke taal als echte pagina op je eigen domein, met de vertaalde tekst in de HTML. Dat is de basis van een meertalige website zonder vertaalabonnement.

Hoe controleer je wat een AI-bot van je site ziet?

Je controleert wat een AI-bot ziet door je pagina op te vragen zonder JavaScript, je robots.txt en firewall na te kijken en in je serverlogs te zoeken naar de user agents van AI-bots. Dat zijn vier controles van samen minder dan een uur.

1. Bekijk de bron, niet de pagina. Open de paginabron in je browser, of vraag de URL op met een commandoregeltool zoals curl. Staat je hoofdtekst er niet in, dan ziet een AI-crawler hem niet.
2. Schakel JavaScript uit in je browser en herlaad. Wat verdwijnt, is onzichtbaar voor de meeste AI-bots.
3. Lees je robots.txt op /robots.txt. Zoek naar regels voor GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot of een algemene Disallow: /.
4. Controleer je CDN en firewall. Sommige beveiligingsdiensten hebben een instelling om AI-bots te weren. Die blokkeert een bot nog voor hij je robots.txt leest. Anthropic waarschuwt ook dat bots blokkeren op IP-adres onbetrouwbaar is, omdat ze dan je robots.txt niet meer kunnen lezen.

Je serverlogs tonen daarna of de bots effectief langskomen, en welke pagina’s ze opvragen. Een pagina die nooit door OAI-SearchBot wordt bezocht, kan ChatGPT ook moeilijk als bron gebruiken.

Welke robots.txt raden we aan voor AI-bots?

Voor de meeste bedrijven die in AI-antwoorden willen verschijnen, volstaat een robots.txt die alle bots toelaat en naar je sitemap verwijst. Expliciete regels voor AI-bots heb je alleen nodig als je bepaalde bots wil weren.

Dit is de robots.txt van deze site, in zijn geheel:

User-agent: *
Allow: /

Sitemap: https://seogeoagency.be/sitemap-index.xml

Wil je wel in AI-zoekfuncties verschijnen, maar je content niet laten gebruiken voor training? Dan blokkeer je alleen de trainingsbots:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://jouwsite.be/sitemap.xml

Let op de volgorde van je keuzes, niet van de regels. Elke bot volgt de groep met zijn eigen naam, en anders de groep met *. Blokkeer nooit OAI-SearchBot, PerplexityBot of Claude-SearchBot als je in hun antwoorden wil staan. Een llms.txt hoort niet in dit rijtje: wat dat bestand wel en niet doet, lees je in heb je een llms.txt nodig.

Wat deden we bij Kaizo en customerimpact.be?

Bij Kaizo en customerimpact.be bouwde ons team de site opnieuw op als statische Astro-site, zodat elke pagina als volledige HTML vanaf de server komt. Google en AI-bots krijgen zo dezelfde tekst als de bezoeker, zonder dat er eerst JavaScript moet draaien.

Kaizo verhuisde van WordPress met Elementor naar Astro op Vercel, in 8 talen. Elke taal staat als eigen pagina op het eigen domein, met de vertaalde tekst in de HTML. In de eindcontrole van 3 oktober 2026 gaf geen enkele gepubliceerde URL een 404.

customerimpact.be verhuisde van Webflow naar een statische Astro-build. De site haalt in Lighthouse 100 op SEO en 100 op best practices, en slaagt voor Core Web Vitals in de gebruikersdata van Chrome. Klikken uit Google gingen van 18 naar 1.520 per 28 dagen, vanaf een heel lage basis.

Een statische site is geen voorwaarde om geciteerd te worden. Een WordPress-site die zijn HTML vanaf de server levert, is voor AI-bots ook leesbaar. Maar wie toch een nieuwe site bouwt, kan beter meteen kiezen voor een opzet die geen plugins nodig heeft om leesbaar te zijn. Dat is de reden waarom we websites in Astro bouwen.

Wil je weten of AI-bots je site vandaag kunnen lezen, en wat ze missen? Bekijk onze aanpak voor technische SEO en AI-crawlers, of vraag een gratis AI-zichtbaarheidsscan aan. Schema markup komt daarna: wat die wel en niet doet, lees je in welke schema markup helpt voor AI-zoekmachines.

Veelgestelde vragen