Googlebot is de crawler van Google: het geautomatiseerde programma waarmee Google webpagina’s bezoekt en ophaalt. De gegevens die Googlebot verzamelt, worden gebruikt om pagina’s op te nemen in de zoekindex van Google.
Wat Googlebot doet
Googlebot volgt links van pagina naar pagina en gebruikt ook een XML-sitemap om adressen te vinden. Het haalt de code van een pagina op, evenals bijbehorende bestanden zoals afbeeldingen en stijlbladen.
Googlebot kan pagina’s ook weergeven zoals een browser dat doet, zodat inhoud die met JavaScript wordt geladen kan worden gelezen. Het bezoeken van pagina’s door een zoekmachine heet crawling.
Verschillende varianten
Google gebruikt niet één enkele crawler. Er zijn varianten voor onder meer de mobiele en de desktopversie van pagina’s, en aparte crawlers voor bijvoorbeeld afbeeldingen. In het serverlogboek van een website verschijnen ze onder een eigen naam, de user agent.
Googlebot herkennen en sturen
Omdat iedereen zich als Googlebot kan voordoen, is de naam alleen geen zekerheid. Google beschrijft hoe je kunt controleren of een bezoek echt van Googlebot komt.
Met een robots.txt-bestand geef je aan welke delen van een website Googlebot niet mag bezoeken. In Google Search Console is te zien hoe vaak Googlebot een website bezoekt en of er fouten optreden.
Googlebot en andere bots
Googlebot is niet de enige bot die een website bezoekt. Andere zoekmachines hebben eigen crawlers, en daarnaast bezoeken bots van analysetools of van kwaadwillende partijen websites. Niet elke bot houdt zich aan de regels. Een bezoek van Googlebot betekent verder niet dat een pagina ook in de resultaten wordt getoond; dat hangt af van wat Google met de verzamelde gegevens doet.
