Mogen AI-bots je site lezen?

Voor 17 bots van OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Meta, Mistral, DuckDuckGo en Common Crawl kijken we of je robots.txt ze toelaat. Voor de bots met een eigen user agent sturen we ook een echt verzoek naar je pagina. Daarnaast kijken we naar noindex en nosnippet, je sitemaps in robots.txt en een eventuele llms.txt.

Een firewall of CDN kan AI-bots weigeren terwijl je robots.txt ze toelaat, bijvoorbeeld met een instelling om AI-bots te blokkeren. Je robots.txt zegt dan "welkom", maar de bot krijgt een 403 of een captcha. Daarom sturen we per bot een live verzoek.

We sturen het verzoek met de user agent van de bot, maar vanaf ons eigen IP-adres. Sommige firewalls controleren het IP-adres en laten de echte bot wel door, of weigeren juist een bot die niet van het juiste IP komt. Zie je "Geweigerd door server", check dan de botinstellingen van je firewall of CDN.

Dat is een keuze. Trainingsbots verzamelen data voor nieuwe modellen. Ze blokkeren haalt je niet uit Google of ChatGPT search, want daarvoor gebruiken die eigen bots (Googlebot en OAI-SearchBot). Blokkeer nooit de zoekbots als je in AI-antwoorden wil verschijnen.

Voor de meeste bedrijfssites niet. Google gebruikt het bestand niet, en de grote AI-leveranciers noemen het niet in hun crawlerdocumentatie. We tonen het als extra informatie.

We bewaren het rapport één uur, zodat een tweede check van dezelfde pagina meteen klaar is. We vragen geen e-mailadres voor deze tool. Om misbruik te voorkomen tellen we per IP-adres hoeveel checks er per dag gebeuren.