Technische SEO & AI-crawlers: een site die Google en AI vlot kunnen lezen

Voor wie?

• Sites gebouwd met JavaScript-frameworks (React, Vue, Next.js en dergelijke) of met veel inhoud die pas in de browser verschijnt.
• Grote sites met duizenden pagina’s, filters of meerdere talen.
• Sites na een migratie of herbouw waar het verkeer daalde.
• Bedrijven die willen dat AI-assistenten hun site kunnen lezen, maar niet weten of dat nu lukt.

Het probleem: wat jij ziet, ziet een bot niet altijd

Je site kan er in de browser perfect uitzien en toch half onzichtbaar zijn. Google rendert JavaScript, maar niet altijd meteen en niet altijd volledig. Veel AI-crawlers doen het helemaal niet. Een analyse van Vercel vond geen bewijs dat GPTBot (van OpenAI) JavaScript uitvoert, en ook ClaudeBot en PerplexityBot renderen het niet. Wat pas via JavaScript op je pagina komt, bestaat voor die bots dus niet.

Daarnaast zijn er de klassieke problemen: doorverwijzingen in ketens, pagina’s die per ongeluk op noindex staan, canonicals die elkaar tegenspreken, trage pagina’s en gestructureerde data die niet klopt met wat er op de pagina staat. Wat we daarbij allemaal nakijken, staat in onze technische SEO-checklist.

Wat we doen

• Crawl- en renderaudit. We crawlen je site als Googlebot en als een bot zonder JavaScript, en vergelijken wat elk ziet.
• Indexering. Statuscodes, noindex, canonicals, sitemaps, doorverwijzingen en weespagina’s. We controleren het in Google Search Console en Bing Webmaster Tools.
• Robots.txt voor AI-bots. Je kiest bewust welke bots je toelaat: GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot en Google-Extended. Goed om te weten: Google-Extended regelt het gebruik voor Gemini-training en heeft geen invloed op je zichtbaarheid in Google Search.
• Gestructureerde data. JSON-LD voor je organisatie, diensten, artikels, producten en broodkruimels, altijd in lijn met wat zichtbaar op de pagina staat.
• Snelheid en Core Web Vitals. We mikken op de grenzen die Google hanteert: LCP onder 2,5 seconden, INP onder 200 milliseconden en CLS onder 0,1. Geen jacht op een perfecte score, wel op een vlotte ervaring.
• Logbestandanalyse. Welke bots komen echt langs, welke pagina’s bezoeken ze en waar lopen ze vast?
• llms.txt, als extra. Google gebruikt dit bestand niet. Voor sommige andere AI-tools kan het geen kwaad. We zetten het op als hygiëne, niet als wondermiddel.
• Uitvoering. We voeren fixes zelf uit, of leveren ze kant-en-klaar aan je ontwikkelaar, met een duidelijke prioriteit.

Hoe we werken

1. Gratis AI-scan. Een snelle check, inclusief een eerste signaal als je site traag is of als vertalingen onzichtbaar zijn voor AI-bots.
2. Nulmeting & audit. De technische check is een vast onderdeel van onze SEO- en GEO-audit. Je krijgt een lijst met problemen, gerangschikt op impact.
3. Bouwen. We lossen de blokkades op, van grote structurele problemen tot kleine fixes. Bij een herbouw of migratie zorgen we dat je posities niet verloren gaan.
4. Groeien. We volgen indexering, fouten en snelheid maandelijks op. Nieuwe pagina’s, zoals die van programmatic SEO, controleren we voor ze live gaan.

Resultaten

• Kaizo. Ons team verhuisde deze SaaS-site van WordPress naar Astro: 319 artikels en 56 pagina’s. We verzamelden 536 oude URL’s uit WordPress, Yoast en Ahrefs. In een simulatie kwamen alle 532 geteste URL’s op de juiste pagina uit, zonder ketens, lussen of foutpagina’s. Geen enkele gepubliceerde URL gaf na de verhuis een 404. Lees de Kaizo-case.
• Bloovi. Bij de migratie van deze Belgische nieuwssite naar een nieuw platform maakte ons team vooraf een volledige momentopname van 16.363 URL’s en 586.730 interne links. Na de lancering controleerden we alle 15.801 live pagina’s: 14.870 (94,1%) kwamen nog op een echte pagina uit. Voor de rest leverden we kant-en-klare doorverwijsregels. Lees de Bloovi-case.
• YouPower. Van 0 op 261 pagina’s met gestructureerde data naar schema op elke nieuwe pagina. Een URL-audit van 476 URL’s bepaalde per pagina: behouden, doorverwijzen of schrappen. Lees de YouPower-case.
• customerimpact.be. Na de herbouw in Astro haalde de site een LCP van 1,5 seconden in de echte gebruikersdata van Chrome en een Lighthouse-score van 100 voor SEO. Lees de case.

Waarom ons

• We testen ook voor AI-bots, niet alleen voor Googlebot.
• Diepgaand bij migraties. Van 16.000 URL’s tot een meertalige herbouw: we brengen alles in kaart voor er iets verhuist.
• Wij bouwen zelf. Ons team bouwt websites in Astro en werkt in WordPress, Webflow en Joomla. We weten hoe een fix er in de praktijk uitziet.
• Volgens Google, niet volgens mythes. We baseren ons op de documentatie van Google Search Central en zeggen het eerlijk als iets geen effect heeft.

Veelgestelde vragen