Crawling is het proces waarbij een zoekmachine met een geautomatiseerd programma webpagina’s bezoekt en de links daarop volgt om nieuwe pagina’s te ontdekken. Het is de eerste stap voordat een pagina in de zoekresultaten kan verschijnen.
Hoe crawling werkt
Het programma dat dit doet, heet een crawler, spider of bot. Die van Google heet Googlebot. De crawler begint bij adressen die al bekend zijn, haalt de pagina’s op en leest de links die daarop staan. Nieuwe adressen komen op een lijst met te bezoeken pagina’s.
Dit herhaalt zich voortdurend. Ook al bekende pagina’s worden opnieuw bezocht om te zien of ze zijn gewijzigd.
Wat crawling beïnvloedt
Verschillende zaken bepalen hoe goed een website wordt gecrawld:
- Interne links, waarmee de crawler van pagina naar pagina kan lopen.
- Een XML-sitemap met de adressen die de zoekmachine moet kennen.
- Een robots.txt-bestand, waarin staat welke delen niet bezocht mogen worden.
- De snelheid en betrouwbaarheid van de server, en foutmeldingen.
Crawlen is niet hetzelfde als indexeren
Bij crawling wordt een pagina opgehaald en gelezen. Bij indexering wordt ze daadwerkelijk opgeslagen in de database van de zoekmachine. Een pagina die is gecrawld, hoeft dus niet in de zoekresultaten te komen.
Bij zeer grote websites beperkt een zoekmachine het aantal pagina’s dat per periode wordt opgehaald. Dat heet het crawlbudget.
Crawling controleren
Wie wil weten hoe zoekmachines een website bezoeken, kan kijken naar de rapporten in de webmastertools van een zoekmachine, zoals Google Search Console, en naar het serverlogboek. Daarin staat welke bots langskomen, welke pagina’s ze opvragen en of er foutmeldingen zijn. Zo zijn problemen op te sporen, zoals pagina’s die niet bereikbaar zijn.
