Serverlogbestanden laten zien welke URL’s zoekmachinebots daadwerkelijk opvragen, hoe vaak ze dat doen en welk antwoord je website geeft. Je leert hoe je die gegevens leest, crawlproblemen opspoort en onderscheid maakt tussen nuttige bezoeken en verspilde crawlactiviteit.

Wat serverlogs over het crawlgedrag van zoekmachines vertellen

Een serverlog registreert letterlijk wat er op de server binnenkomt. Denk aan elk verzoek van een bezoeker, bot, of script. Voor SEO wil je vooral requests zien waarbij een zoekmachinebot een pagina, een JPG, een CSS-bestand of iets vergelijkbaars opvraagt. Je ziet dan regels met onder andere een datum en tijd, welk bestand is aangevraagd, de statuscode die de server meegaf (zoals 200 of 404), de user-agent, soms het IP-adres en hoeveel data is verstuurd. Welke informatie precies wordt bewaard? Dat wisselt per serverinstallatie.

De informatie uit logbestanden is van een andere orde dan wat je vindt in Google Search Console. Search Console vertelt iets over verwerking binnen Google zelf, welke pagina’s vindbaar zijn, of iets niet geïndexeerd is. Maar logbestanden geven alleen verzoeken weer die jouw server zijn binnengekomen, een request is géén garantie dat een pagina ook in Google’s index verdwijnt of verschijnt. Zie je een URL niet in de logs staan? Dat betekent niet automatisch dat hij uit Google verdwenen is, het kan ook dat die gewoon een tijdje niet is opgevraagd.

Met die nuance kun je logs gebruiken om iets specifieks op te sporen. Je checkt bijvoorbeeld of productpagina's daadwerkelijk bezocht worden, of bots niet blijven hangen op oud nieuws, of er bij een migratie vreemde aanvragen bijkomen. Wat een bot met een pagina doet, vertelt een log niet. Maar je ziet wel precies welk verzoek wanneer werd gedaan en wat het resultaat was. Perfect als extra controle naast je andere SEO-tools en rapportages.

De juiste logbestanden verzamelen en leesbaar maken

De accesslogs van een server zijn meestal het startpunt. Vaak zijn dat logbestanden van Apache of Nginx, soms krijg je ze via je hoster, via een CDN zoals Cloudflare of misschien vanaf een load balancer. Hosting achter een CDN? Dan vind je daar meestal alleen verzoeken die niet door de cache afgevangen zijn, niet elk request komt dus bij de webserver zelf aan. Vraag goed na welke laag je bekijkt en of daar álle crawlers in terugkomen. Analyse wil je doen over meerdere dagen; plan rond pieken en rustige momenten, zeker als je, zeg, een modewebshop runt.

Let op de velden in je bestand: tijd (liefst met tijdzone), het hele pad dat is opgevraagd, de HTTP-status, user-agent en ruwe querystrings zijn onmisbaar. Laat queryparameters in de data staan, al lijkt het in het begin rommel, soms verklaren ze waarom een bot duizend versies bezoekt. Pas als je echt gaat tellen en analyseren, kun je tijdstempels en URL’s herwaarderen of groeperen, niet daarvoor. Terugzoeken in de ruwe regels geeft je de mogelijkheid om bij onlogische uitkomsten meteen te checken of je iets raars meet.

En gigantische logs? Die kun je bijna niet handmatig openen. Begin dan met het filteren op periode en bekende user-agents, of laad alles in een speciaal logtooltje, een spreadsheet of een klein script. Kijk uit met logrotatie en compressie, oude bestanden kunnen zomaar verdwijnen of in stukjes gesplitst zijn. Weet van welke servers en domeinen jouw export komt, anders denk je een crawler te missen terwijl je een host vergeet. Niet onbelangrijk: deel logs niet zomaar uit. Ze bevatten frequent IP-adressen, volledige URL’s en parameters die gevoelig kunnen zijn.

Googlebot herkennen zonder crawlers verkeerd te tellen

Zie je “Googlebot” als user-agent? Geloof dan niet meteen dat het echt Google is. Iedereen kan zich als Googlebot voordoen, SEO-software dus ook. Wil je zeker zijn, dan moet je Google’s advies volgen: controleer via een reverse DNS-lookup of het IP-adres bij Google hoort en draai daarna een forward lookup om zeker te weten dat het niet een vals adres is. Alleen afgaan op een lange lijst IP’s die je online vond geeft geen zekerheid.

Bots zijn er in soorten. Zo gebruikt Google apart Googlebot Smartphone en Googlebot Desktop, en daarnaast speciale bots voor afbeeldingen of advertenties. Ook Bingbot, Yandex en andere zoekmachines hebben eigen crawlers. Houd die netjes uit elkaar in je analyse. Als je alles bij elkaar optelt, kun je denken dat Google veel vaker langskomt dan feitelijk zo is, zo mis je pieken van minder relevante bots.

Ben je niet zeker van een user-agent, verdeel de aanvragen dan in groepen als echte Googlebot (geverifieerd), waarschijnlijk een bot (niet geverifieerd), en onbekend. Zet deze groepen niet allemaal als “Google” neer. Uptimecheckers, monitoring scripts en andere tools gebruiken soms ook rare user-agents, die kunnen tussen de crawlers staan als je niet oplet. Het vraagt wat werk vooraf, maar zonder goede indeling trek je snel de verkeerde conclusie over het bezoek op je site.

Crawlfrequentie per URL en paginatype beoordelen

Tel niet alleen alles bij elkaar op. Groepeer aanvragen op URL en bepaal voor elk type pagina (zoals categorie, product, blogpost of belangrijke landingspagina) wat voor bezoekmomenten je ziet. Zo merk je snel of je broodnodige pagina’s wel de aandacht krijgen die je had verwacht. Kijk ook naar hoe dat in de tijd beweegt, is er een plotselinge piek? Die kan duiden op een update, nieuw product of een storing. Maar structureel weinig verzoeken kunnen een bredere oorzaak hebben.

De ruwe data zit vaak vol bijna-gelijke URL’s: dezelfde pagina met en zonder trailing slash, hoofdletterverschillen, UTM-parameters, dat werk. Bundel dit waar mogelijk, filter op relevante querystrings, maar bewaar het origineel. Wéggooien van varianten kan ertoe leiden dat je mist dat bots onverhoopt honderden versies van je producten crawlen. Houd HTML los van losse bestanden als CSS, JS of JPG’s, die verzoeken komen van andere bots en zeggen iets anders over crawlgedrag.

Zie je een pagina weinig terug in de logs, dan hoeft dat niet direct slecht te zijn. Een statische info-pagina hoeft echt niet iedere dag opgehaald te worden. Maar een actuele voorraadpagina wel. Vergelijk logdata dus altijd met je verwachtingen, het belang van een pagina en interne linkstructuur. Let extra op als je een belangrijke pagina lange tijd mist, ergens het aantal bezoeken ineens inzakt, of bots blijven vastlopen op verwijderde of triviale URL’s. Dit zijn signalen voor verder onderzoek, maar bewijzen niet meteen dat je in de SEO-problemen zit.

Statuscodes gebruiken om crawlproblemen op te sporen

Statuscodes in een log zeggen iets direct over de serverreactie. Meestal zijn veel 200-codes een goed teken, je server levert netjes uit. Maar je weet dan nog niets over of de inhoud goed bruikbaar of vindbaar is. Een 301 of 308-code (redirects) hoort bij een verhuizing, maar kijk wel of bots niet eindeloos rond worden gestuurd. Té veel doorverwijzingen betekenen extra requests en maken het moeilijker technisch fouten boven tafel te krijgen.

404’s komen voor bij verwijderde pagina’s, geen drama. Zie je continu 404's op belangrijke adressen, dan moet je je afvragen waarom bots daar blijven zoeken: oude sitemaps, interne links of verwijzingen kunnen de oorzaak zijn. Een 410 maakt duidelijk dat content permanent weg is. Sla niet door met redirects: een 404 automatisch omleiden naar een startpagina is geen goed idee. En krijg je 5xx-codes? Dan heb je te maken met serverfouten of downtime. Bij pieken kijk je eerst naar de tijdstippen, welke URL's betrokken waren, en of er in je hosting of applicatie logs nog iets achter zit; losse fouten kunnen anders structurele ellende verhullen.

Ook 403 en 429 wil je niet negeren. 403 is een toegangsverbod, mogelijk door beveiliging; 429 betekent dat rate limiting heeft ingegrepen. Kijk bij zulke blokkades of ze echt bedoeld zijn, en check of dit niet óók Googlebot raakt. Zet de statuscode steeds naast URL, moment en user-agent; één error zegt niks, maar een patroon op een hele template kan op een foute instelling wijzen.

Onnodige crawlerbezoeken door parameters en filters herkennen

Sites met veel filters, zoals webwinkels waar bezoekers kunnen filteren op maat, kleur, prijsklasse, leveren snel duizenden URL-varianten op. Ook sortering, paginering en zoektermen in de URL zorgen voor een wirwar aan combinaties. In je logs zie je dit terug als een stroom requests met steeds een veranderende querystring, terwijl de hoofd-URL vrij weinig direct bezoek trekt. Door te groeperen op basispad en parameternaam ontdek je waar bots hun tijd verspillen.

Kijk per parameter: levert dit echt iets nieuws op? Sommige combinaties zijn nuttig als aparte, bruikbare landingspagina, andere leiden enkel tot veel dunne content waar niemand (ook de bot niet) wat aan heeft. Oplossingen vind je in het beperken van de parametercombinaties, gericht intern linken en duidelijke canonical-tags. Met robots.txt kun je bots van bepaalde URLs weghouden, maar besef dat een URL in sommige gevallen toch wordt geïndexeerd als ergens naartoe gelinkt wordt. Gebruik blokkades dus aanvullend op een goed beleid rond URL-varianten en indexering.

Denk verder aan oneindige kalenderpagina’s, interne zoekresultaten en sessie-ID’s in je adressering. Crawlers kunnen daar onbedoeld ver in verdwalen. Snel de bot alles blokkeren is meestal geen oplossing: dan loop je risico dat je per ongeluk nuttige pagina’s blokkeert, of erger, diagnose onmogelijk maakt. Test kleine aanpassingen, monitor in je logs hoeveel varianten je overhoudt, en check of je belangrijkste pagina’s bereikbaar blijven. Minder verkeer van bots is géén doel op zich. Je wilt vooral dat relevante inhoud niet onnodig verstopt raakt tussen ruis.

Crawlbudget interpreteren zonder verkeerde conclusies

Crawlbudget klinkt alsof je altijd een vast quotum bezoek krijgt, maar dat is niet hoe het werkt. Hoe vaak bots langskomen hangt van meerdere factoren af: wat jouw server aankan, hoe relevant je site gevonden wordt en hoeveel pagina’s technisch veranderen. Een grote site met veel nieuws, moeilijke filters of technische hobbels moet wél goed in de gaten houden hoe bots hun aandacht verdelen. Bij een simpele website zonder veel beweging kan minder bezoek volledig logisch zijn.

Gebruik logdata om te kijken waar bots de meeste tijd aan kwijt zijn. Staan oude redirects, filterpagina’s of veel foutpagina’s bovenaan? Dan kun je werk maken van het slim sturen van botverkeer. Kijk tegelijk naar koppelingen, je actuele sitemap en statuscodes voor belangrijke URLs. Een sitemap alleen garandeert geen bezoek, maar helpt samen met sterke interne links je relevante pagina’s uit de ruis te trekken.

Stap niet in de valkuil om bij een tegenvallend aantal requests maar extra links te dumpen of robotregels aan te passen. Kunstmatig verkeer toevoegen of chaos in de blokkades brengen helpt niet, sterker nog, je kunt Google juist onbewust uitsluiten van je beste content. Zet logdata af tegen serverbelasting en echte wijzigingen aan je site, én pak oorzaken van scheve verdeling één voor één aan. Dan zie je of minder verspilde crawls daadwerkelijk leiden tot betere indexatiemogelijkheden, zonder te focussen op alleen het aantal requests.

Loganalyses inrichten en privacy bewaken

Zorg dat je analyse reproduceerbaar blijft. Spreek meetperiodes af, leg vast hoe je bots, URL’s, statuscodes en paginatypen groepeert en houdt een methode aan in rapportages. Bijvoorbeeld: rapporteer wekelijks hoeveel geverifieerde crawlerrequests je ontving, welk deel 3xx, 4xx of 5xx terugkreeg en welke URL-patronen bovenaan staan. Is je site verdeeld over meerdere omgevingen of hosts? Voeg uitsplitsingen toe, anders lijkt een wijziging in logging soms op een plotselinge verandering in crawlgedrag.

Leg releases en incidenten naast je logverschillen. Zie je pieken na een migratie, of na het aanpassen van canonical-tags, kun je die meteen terugvinden. Werk je veel met gemiddelden? Hou er rekening mee dat fouten bij een paar URL's het totaalbeeld flink kunnen vertekenen. Houd je dashboards simpel genoeg om afwijkingen snel te spotten, maar bewaar ruwe data tijdelijk voor detailcontrole.

Vergeet privacy niet. Logs bevatten veel persoonlijke of herleidbare informatie, denk aan IP-adressen, zoekwoorden in URL’s of gebruikersnamen. Beperk toegang tot wie de data écht gebruikt, verwijder waar mogelijk, maskeer gevoelige waarden, kies een beperkte bewaartermijn. Sluit aan bij het geldende privacybeleid voor exports. Te losse omgang met logs verhoogt het risico op datalekken; te zware anonimisering maakt het soms onmogelijk om bots echt te herkennen. Eén aanpak voor iedereen bestaat niet, dus zoek expliciet balans tussen privacy en betrouwbare analyse.