Crawlbudget

Google stuurt elke dag robots naar jouw website om te controleren wat er nieuw of gewijzigd is. Maar die robots hebben beperkte tijd: ze bezoeken miljoenen websites tegelijk. Het aantal pagina's dat Google per dag aan jouw site besteedt, heet het crawlbudget. Wie dat budget slim inzet, zorgt dat nieuwe content sneller in de zoekresultaten verschijnt.

De bibliotheekmedewerker met een weekplanning

Stel je voor dat Google een rondreizende bibliotheekmedewerker is die elke dag een stapel boeken doorloopt. Hij heeft een dagplanning en jouw boekenplank krijgt een vast aantal bezoeken per week. Zolang je 20 boeken hebt, is dat prima. Maar als je er plotseling 5.000 bijzet, blijven de nieuwe exemplaren weken ongelezen liggen. Dat is precies wat er met je crawlbudget gebeurt.

Het budget hangt af van twee factoren. De eerste is de snelheid en stabiliteit van je server: een trage hosting krijgt minder crawls toegewezen, omdat Google je server niet wil overbelasten. De tweede factor is de autoriteit van je domein: hoe waardevoller Google jouw content vindt, hoe vaker de robot terugkomt. Voor een gemiddelde website met 50 pagina's is dit nauwelijks een probleem. Het wordt relevant zodra je honderden of duizenden pagina's beheert.

Budget verspillen aan lege schappen

Het echte probleem is niet een te klein budget, maar een slecht besteed budget. Google verspilt zijn crawls aan pagina's die niets toevoegen, terwijl jouw nieuwe blogpost of productpagina wekenlang onzichtbaar blijft.

Dit zijn de meest voorkomende verspillers:

• Filterurl's van webshops. Elke filtercombinatie (kleur + maat + prijs) maakt een unieke URL aan. De inhoud verschilt nauwelijks, maar Google crawlt ze allemaal. Wie een webshop laten maken overweegt, moet filtersystemen standaard goed instellen.
• Parameter-URL's. Sessie-ID's, sorteervarianten en trackingparameters (&utm_source=...) in de URL maken duizenden nep-pagina's aan.
• [404-pagina's](/begrippen/een-404-pagina). Elke kapotte link kost een crawl zonder iets op te leveren.
• Duplicate content. Dezelfde tekst op meerdere URL's verwarren Google en vreten budget.
• Redirect-ketens. Een 301-redirect naar een pagina die zelf ook redirectt, kost dubbel budget.

Voor kleine websites (tot zo'n 1.000 pagina's) is crawlbudget zelden urgent. Maar een slechte sitestructuur schaalt mee: hoe groter je site, hoe groter de schade.

Zo houd je Google op de goede pagina's

Het goede nieuws: je kunt Google actief sturen. Gebruik Google Search Console als startpunt. Ga naar Instellingen, dan Crawlstatistieken om te zien hoeveel pagina's Google dagelijks bezoekt en welke het meest worden gecrawld. Staan daar URL's die je niet wilt indexeren? Dan is er werk aan de winkel.

Stap 1: blokkeer nutteloze URL's. Voeg filterresultaten, interne zoekpagina's en sorteervarianten toe aan je robots.txt of gebruik een noindex-tag. Zo zegt Google: die pagina hoef ik niet te bezoeken.

Stap 2: stuur een nette sitemap in. Een XML-sitemap helpt Google begrijpen welke pagina's prioriteit hebben. Voeg alleen pagina's toe die je wilt indexeren, geen technische of tijdelijke URL's.

Stap 3: los 404-fouten op. Redirect kapotte URLs met een 301 naar de meest relevante bestaande pagina. Tools zoals Screaming Frog of Ahrefs geven je in minuten een compleet overzicht van kapotte links.

Stap 4: versneel je server. Een snellere server krijgt meer crawls toegewezen. Core Web Vitals verbeteren via betere caching en geoptimaliseerde afbeeldingen helpt hier direct bij. Lees meer over wat een snelle website doet voor je vindbaarheid in onze blog over snelle websites en laadtijd .

Een goed beheerde sitestructuur is de basis van stevige SEO-optimalisatie . Wil je weten of jouw website zijn crawlbudget effectief gebruikt? Neem contact op voor een technische SEO-check.

Veelgestelde vragen

Hoe groot is mijn crawlbudget?

Google publiceert geen exact getal. Je ziet de crawlactiviteit via Google Search Console onder Instellingen, Crawlstatistieken. Daar lees je hoeveel verzoeken Google per dag naar je server stuurt. Het budget hangt af van je serversnelheid en de autoriteit van je domein.

Mijn site heeft maar 30 pagina's. Moet ik me zorgen maken?

Nee. Crawlbudget is een issue voor grote websites met honderden filters, duizenden producten of veel duplicate content. Heb je een kleine zakelijke website of blog, dan pikt Google je pagina's automatisch snel genoeg op, zeker als je een sitemap instuurt.

Kan ik Google vragen vaker te crawlen?

Deels. In Google Search Console kun je de crawlfrequentie handmatig verhogen. Maar de definitieve beslissing ligt bij Google. Structureel meer budget verdien je door snellere hosting en betere domeinautoriteit, niet via een instelling in een dashboard.

Wat is het verschil tussen crawlen en indexeren?

Crawlen is het bezoeken van een pagina door de Googlebot. Indexeren is het opnemen van die pagina in de zoekresultaten. Een pagina kan gecrawld worden zonder geindexeerd te worden, bijvoorbeeld als er een noindex-tag op staat of als de content te dun is.

Helpt een canonical tag bij crawlbudgetverspilling?

Ja. Een canonical URL vertelt Google welke pagina de originele versie is bij duplicate content. Google mag de duplicaten dan minder vaak crawlen en spaart budget voor de pagina's die er echt toe doen.