8 tips om het crawl budget te verhogen

Zo af en toe krijgen wij de vraag, waarom bepaalde pagina’s nog niet vindbaar zijn in de zoekresultaten. “Hoe kan het zo lang duren voordat mijn pagina opgepakt is?” Als eigenaar van de website wil je het liefst altijd bovenaan staan in de zoekresultaten. Dat is in principe haalbaar, als Google je website goed weet te vinden en daarbij ook de pagina’s op je site. Zoals iedere SEO marketeer weet, zijn er meerdere oorzaken waarom jouw pagina niet in de zoekresultaten staat of niet bovenaan. Deze week duiken in op het aspect ‘crawl budget’. 

1. Wat is crawl budget

2. De Google Crawler

3. Crawl rapporten

4. Crawl budget optimalisatie

Wat is het crawl budget?

“Het crawl budget is het aantal pagina’s dat Google op jouw website crawlt in een bepaald tijdsvak.”

De Google Crawler

De Google Crawlers, de webcrawlers zijn een type bot dat gebruikers nadoet en door links op de websites navigeert om de pagina’s te indexeren. Webcrawlers identificeren zichzelf met behulp van aangepaste user-agents. Google heeft verschillende webcrawlers, maar de meest gebruikte zijn Googlebot Desktop en Googlebot Smartphone. De Google Bot werkt visueel als volgt:

Het crawl budget is een combinatie van drie aspecten, namelijk:

De autoriteit van de website

Google heeft aangegeven dat er een sterke relatie is tussen het crawl budget en autoriteit. Hoe hoger de autoriteit van jouw website, hoe meer crawl tijd er toegekend wordt. De website autoriteit is onder afhankelijk van de relevante en waardevolle links naar de site. Ook wel linkbuilding genoemd.

De laadsnelheden

Oftewel, de servercapaciteit van jouw server. Google Bots crawlen jouw website en dit neemt servercapaciteit in beslag. De crawler is zo ingesteld, dat hij nooit jouw website overbelast. Als er niet voldoende capaciteit is, serverfouten zijn of time-outs van pagina’s aanwezig zijn, heeft dit negatieve invloed op het crawl budget.

Website performance

Hoe is de staat van de website? Is de content nog up to date en recent? Niet relevante content die niet wordt vernieuwd, worden door de crawler niet interessant gevonden. Google wil haar bezoekers immers altijd de meest recente en actuele informatie weergeven. Door dit actueel te houden, wordt het crawl budget niet beperkt. Daarnaast zijn ook technische aspecten als laadsnelheden (Core Vitals), links naar 404 pagina’s en 301-kettingreacties.

Crawl rapporten

Als website eigenaar wil je weten wat jouw crawl budget is en welke pagina’s opgepakt worden door de zoekmachine? Zijn de belangrijkste pagina’s geïndexeerd?

Search Console rapport

Crawl rapporten vinden we in Google Search Console. Ga vervolgens naar Instellingen en dan naar Crawlstatistieken. Voor Travyk is deze als volgt:

Op deze pagina vinden we ook direct een uitsplitsing de reactie van de crawler.

Heb jij al gezien wat we kunnen optimaliseren? Wij ook! Bij het zien van deze statistieken zien we al direct een aantal optimalisatie mogelijkheden. Deze nemen we straks door. 

Sitesearch

We weten nu het aantal crawlverzoeken van Google op de website van Travyk. Per keer crawlt Google 50 tot 100 pagina’s. Hoeveel pagina’s heeft Travyk en is dit toereikend om alle pagina’s continu te crawlen? Door naar Google te gaan en in te typen “site:https://travyk.nl”, krijgen we alle pagina’s die Google heeft geïndexeerd. In ons geval zijn dit 100 pagina’s die Google geïndexeerd heeft.

Screaming Frog

In andere blogs hebben we al regelmatig het woord Screaming Frog laten vallen. Met Screaming Frog kunnen we uitgebreidere website rapporten ophalen. De crawler van Screaming Frog doet hetzelfde als Google, maar deze crawlt wel de hele site ineens. Middels robots.txt, sitemap.xml en volgen van interne links. We kunnen dus eenvoudig het aantal pagina’s terugvinden die beschikbaar kunnen zijn voor de Google zoekresultaten. In totaal heeft Travyk op het moment van schrijven 142 pagina’s. 

Crawl budget optimalisatie

Vaak zien we dat niet alle pagina’s geïndexeerd zijn. Het is daarom belangrijk zo efficiënt mogelijk te werken, waardoor de crawler eenvoudig, snel en foutloos de site kan crawlen. Hoe minder technische obstakels er zijn, hoe meer tijd Google bot heeft om de site te crawlen en pagina’s te indexeren. De volgende optimalisatie zijn technische SEO optimalisaties.

1 Server optimalisatie 

Een snelle server is belangrijk, omdat we willen dat Google crawler zo lang mogelijk kan blijven. Het optimaliseren van de serversnelheden geeft voordelen. De downloadtijd verkort en de Google bot sneller de pagina’s kan renderen en er meer tijd overblijft om andere pagina’s te crawlen. Optimaliseer tevens de paginacode om deze eenvoudig leesbaar te maken. Houd afbeeldingen klein, maar wel kwalitatief en probeer zoveel mogelijk HTML te gebruiken.

2 Robots.txt

Naast de sitemap.xml, die we straks gaan bespreken, is de robots.txt ook net zo belangrijk. In de robots.txt geef je de crawler informatie welke pagina’s of delen van de website wel en niet gecrawled mogen worden. Dit bestand wordt altijd op het domein opgeslagen, in de naam robots.txt. 

De robots.txt kun je handmatig instellen en uploaden, maar voor WordPress websites wordt dit veelal via een plug-in geinstalleerd. Een bekende is Yoast SEO of Rankmath. Beide plugin’s bevatten opties om automatisch een robots.txt aan te maken en deze vervolgens te optimaliseren. Heb jij een zoekfunctie op de site? Dan kun je overwegen om de zoekresultatenpagina’s op jouw website te ‘disallowen’. Het uitsluiten in de robots.txt.

• Google Analytics kan je hierbij ook helpen. Zijn er pagina’s, gedeeltes op de website die niets opleveren maar wel crawl budget innemen? Dan kun je overwegen deze uit te sluiten. Let wel op, dat je essentiële delen zoals CSS en Javascript niet direct uitsluit. Deze kunnen nodig zijn voor de crawler om de pagina te renderen.

3 XML Sitemaps

In de XML sitemap vertel je Google welke pagina’s belangrijk zijn je en presenteer je direct aan Google. Hiermee geef je het signaal af dat dit de belangrijkste pagina’s zijn en Google deze mag indexeren. Heb je een WordPress website? Dan kan de plugin Yoast SEO of Rankmath hier automatisch bij helpen. 

• Heb je géén WordPress website en nog géén sitemap? Met https://www.xml-sitemaps.com/ kun je gratis (tot 500 pagina’s)een sitemap maken.

Sitemap indienen bij Google

Wanneer je eenmaal een sitemap hebt aangemaakt, wil je deze kenbaar maken bij Google. Dit doe je in Search Console. Hiermee kun je zorgen dat de crawler ook via de sitemap.xml de belangrijkste pagina’s kan vinden.

4 Linkbuilding

Linkbuilding is een term voor het verzamelen van belangrijke en relevante externe links. Middels linkbuilding kun je vanaf diverse domeinen, met diverse anchorteksten signalen geven aan de zoekmachine. Doordat deze domeinen ook een website autoriteit hebben, geven deze met het signaal een bepaalde waarde door naar jouw domein of pagina. Dit kun je handmatig bewerkstelligen, maar ook middels partners, influencers of blogwebsites. Hoe hoger je domein autoriteit, hoe relevanter Google jou vindt. Hiermee mag jij meer pagina’s aanbieden in de zoekresultaten.

5 Correct implementeren van hreflang

Heb jij een internationaal platform? Dan wil je ook aan de zoekmachine duidelijk maken dat je pagina’s hebt voor de diverse internationale zoekresultatenpagina. Een Duitse zoekresultatenpagina, ziet er immers anders uit dan Nederlandse zoekresultaten pagina.

Technisch gezien geef je met het toepassen van hreflang een HTML attribuut of tag mee aan een pagina. Hiermee vertel je Google over de de taal en locatie. Zo kun je bijvoorbeeld voor nl-nl (Nederlands – Nederland), nl-be (Nederlands in België) en fr-be (Frans in België) verschillende pagina’s aanbieden. Google vindt het immers fijn om de meest relevante en recente versie aan te bieden aan haar bezoekers.

6 Interne linkstructuur

Hoe ziet jouw interne linkstructuur eruit? Zitten op alle links een do-follow of een no-follow? Welke links mogen de zoekmachines volgen, welke niet? Zitten er ook foute links tussen of een redirect-ketting? 

Met intern linken maak je het voor bezoekers makkelijk om door te klikken naar relevante onderwerpen. Dat is altijd het primaire doel, want Google houdt van gebruiksvriendelijke websites. Echter geef je deze interne link ook door aan de crawler. De zoekmachine kan deze URL crawlen en daarmee aanbieden in de zoekresultatenpagina. 

Aanpassen interne links van 301 naar juiste URL

Je wilt niet dat de zoekmachine tijd verliest tijdens het crawlen van jouw site. Daarmee gaat immers tijd verloren en meteen ook crawl budget. Met een interne redirect, geef je de crawler vertraging en daardoor moet hij via een omweg naar de juiste pagina. Spoor interne redirects periodiek op en pas deze aan. Zodat de zoekmachine zonder omweg direct naar de juiste pagina kan gaan.

• Indien je op bepaalde pagina’s links hebt staan, die niet relevant voor SEO zijn maar wel relevant voor gebruikers. Kun je hier een no-follow link op zetten. Een voorbeeld is het winkelwagentje op elke pagina.

• Redirect-chain is ook wat je af en toe terug ziet in een website. Daarbij verwijst een interne link, naar een andere link en komt deze weer terug. Waarbij je in een interne redirect-circel terecht komt. 

  Spoor alle 404’s op

  OEPS! Deze pagina bestaat niet. Ben jij deze tekst wel eens tegen gekomen? Dan gaan onze alarmbellen altijd af. Het is een boosdoener voor elke site. Deze 404-pagina heeft een negatieve gevolg voor je crawl budget. 

  • Wanneer je een interne link hebt die fout geschreven is of niet ge-redirect is naar de juiste pagina, ontstaat een 404-error. Dat is een statuscode van een bepaalde pagina die je liever niet wilt. Het is een foutmelding/niet bestaande url voor de crawler en onnodig verlies van het crawl budget. 

  • Interne links zijn eenvoudig terug te vinden in de crawlrapporten van Search Console. Je kunt ook met Screaming Frog een uitdraai maken van alle links. Je kan met Screaming Frog ook eenvoudig zien op welke pagina’s en welke anchor de 404 veroorzaakt.

  7 URL inspectietool

  Met de URL inspectietool van Google Search Console kun je een pagina inspecteren en verzoeken indienen tot crawling. Handig wanneer je een belangrijke pagina aangepast of gepubliceerd hebt. Hiermee geef je Google een pagina aan die in de wachtrij voor indexering of crawling komt.

  Jouw crawl budget naar een hoger niveau brengen?

  Is jouw crawl budget nog niet op orde of heb jij indexatieproblemen? Het kan altijd voorkomen dat jouw pagina niet gevonden wordt? Wij helpen je hierbij graag. Vraag gratis een technische SEO-scan aan.