Robots.txt

Robots.txt is een tekstbestand in de root van je website (jouwsite.be/robots.txt) dat crawlers vertelt welke delen van je site ze wel of niet mogen bezoeken. Je kan regels instellen per crawler, bijvoorbeeld voor Googlebot, Bingbot of AI-crawlers zoals GPTBot. Robots.txt regelt het crawlen, niet de indexering: een geblokkeerde URL kan toch in Google verschijnen.

Een voorbeeld

User-agent: *
Disallow: /winkelmandje/
Disallow: /zoeken/

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

Sitemap: https://voorbeeld.be/sitemap-index.xml

Hier mogen alle crawlers alles behalve het winkelmandje en de interne zoekpagina’s. GPTBot (training bij OpenAI) mag niets crawlen, maar OAI-SearchBot (zoekfunctie van ChatGPT) mag alles.

Waarom het telt voor SEO en GEO

Robots.txt is een van de meest gebruikte en meest verkeerd begrepen bestanden in SEO. Wat Google zegt (Google Search Central):

• Robots.txt regelt crawlen, niet indexeren. Wil je een pagina uit Google houden, gebruik dan noindex en laat de pagina crawlbaar.
• Blokkeer je een pagina in robots.txt, dan ziet Google ook een eventuele noindex op die pagina niet.
• Voor AI Overviews en AI Mode bepaalt de robots.txt-regel voor Googlebot of je inhoud gecrawld wordt (AI features).
• Google-Extended is een apart token voor Gemini-training en grounding in Gemini-apps. Het heeft geen invloed op Google Search.

Voor GEO is robots.txt het eerste controlepunt: blokkeer je een AI-crawler, dan kan die assistent je niet lezen en niet citeren.

Hoe pak je het aan

1. Open je robots.txt en controleer elke regel. Weet je niet waarom een regel er staat, zoek het uit.
2. Blokkeer geen CSS- of JavaScript-bestanden die nodig zijn om je pagina te renderen.
3. Kies bewust welke AI-crawlers je toelaat: zoekbots wel, trainingsbots naar keuze.
4. Voeg een verwijzing naar je sitemap toe.
5. Test na elke wijziging met het robots.txt-rapport in Search Console.

Zie onze dienst Technische SEO & AI-crawlers.

Veelgemaakte fouten

• Disallow: / laten staan na de lancering van een nieuwe site.
• Pagina’s blokkeren in robots.txt om ze uit Google te halen.
• crawl-delay gebruiken voor Google. Google ondersteunt die regel niet.

Veelgestelde vragen

Is robots.txt een beveiliging?

Nee. Het is een publiek bestand en een afspraak die nette crawlers respecteren. Gevoelige inhoud bescherm je met een wachtwoord.

Is llms.txt een vervanging van robots.txt?

Nee. llms.txt is een optioneel overzichtsbestand. Toegang regel je in robots.txt.