Crawlbudget

Crawlbudget is het aantal URL’s dat Googlebot op je site kan en wil crawlen binnen een bepaalde periode. Het hangt af van twee dingen: hoeveel je server aankan zonder te vertragen (crawlcapaciteit) en hoeveel interesse Google heeft in je pagina’s (crawlvraag). Voor de meeste websites is crawlbudget geen probleem. Het speelt vooral bij zeer grote of snel veranderende sites.

Een voorbeeld

Een webshop met 20.000 producten heeft filters op kleur, maat, merk en prijs. Elke combinatie maakt een nieuwe URL. Zo ontstaan miljoenen bijna identieke pagina’s. Googlebot besteedt veel tijd aan die filterpagina’s en komt minder vaak langs bij nieuwe producten. Dat is een echt crawlbudgetprobleem.

Een lokale dienstverlener met 80 pagina’s heeft daarentegen geen crawlbudgetprobleem, ook al worden sommige pagina’s niet geïndexeerd. Daar ligt de oorzaak meestal bij de kwaliteit of de interne links.

Waarom het telt voor SEO en GEO

Volgens Google is crawlbudget vooral relevant voor sites met meer dan ongeveer een miljoen pagina’s die wekelijks veranderen, sites met meer dan 10.000 pagina’s die dagelijks veranderen, of sites met veel URL’s die blijven hangen op “Gevonden, momenteel niet geïndexeerd” (Google Search Central).

Andere feiten van Google (myths about crawling):

• Meer crawlen is geen rankingfactor.
• Een snellere server laat meer crawlen toe. Veel serverfouten (5xx) en time-outs remmen het af.
• 404-pagina’s verspillen geen crawlbudget.
• De regel crawl-delay in robots.txt wordt door Google niet ondersteund.

Hoe pak je het aan

1. Controleer in Search Console het rapport Crawlstatistieken.
2. Beperk eindeloze URL-varianten zoals filters en interne zoekpagina’s, bijvoorbeeld via robots.txt.
3. Zorg voor een snelle, stabiele server.
4. Zet alleen canonieke, indexeerbare URL’s in je sitemap.
5. Werk 301-ketens en interne links naar redirects weg.

Twijfel je of crawlbudget je site beperkt? Zie Technische SEO & AI-crawlers.

Veelgestelde vragen

Heeft mijn kleine website een crawlbudgetprobleem?

Bijna zeker niet. Worden pagina’s niet geïndexeerd, kijk dan eerst naar kwaliteit, duplicaten en indexering.

Hebben AI-crawlers ook een crawlbudget?

Ze crawlen ook met beperkingen, maar hun werking is minder gedocumenteerd dan die van Googlebot. Een snelle site met duidelijke structuur helpt alle crawlers.