Zoekmachines moeten pagina’s eerst ontdekken en crawlen voordat ze die kunnen beoordelen voor de zoekresultaten. Je leest hoe robots.txt en XML-sitemaps daarbij helpen, wat deze bestanden niet kunnen afdwingen en welke technische fouten ervoor kunnen zorgen dat belangrijke pagina’s buiten beeld blijven.
Hoe zoekmachines pagina’s ontdekken en crawlen
Zoekmachines komen meestal op nieuwe pagina’s doordat ze links volgen, bestaande URL’s nog eens proberen of een sitemap krijgen aangeboden. Zodra een bot een URL heeft, doet die een poging om die op te halen. Lukt het ophalen, dan kan de zoekmachine de tekst, afbeeldingen en eventueel andere data bekijken en besluiten wat ermee gebeurt. Crawlen is niet hetzelfde als indexeren. Soms komt een bot ergens, maar laat Google die pagina vervolgens buiten de zoekresultaten.
Interne links zijn onmisbaar. Heb je bijvoorbeeld een productcategorie die nergens in je site is gelinkt, maar wel in je sitemap staat? Die vindt een bot misschien wel, maar zo'n pagina blijft lastig te plaatsen. Voor bezoekers geldt eigenlijk hetzelfde. Een sitemap kan zo’n ontbrekende link niet oplossen.
Hoe snel een bot je pagina kan ophalen, hangt af van de techniek. Bij een time-out, foutmelding of redirect naar een loginpagina stopt het bezoek. Grote webshops, sites met veel filters of systemen die zelf honderden URL-combinaties aanmaken, lopen hierdoor wel eens vast voor een zoekmachine. Duidelijke crawlregels, een betrouwbare sitemap: het zijn hulpmiddelen die je de juiste richting op helpen. Maar of een pagina echt zichtbaar wordt, bepaalt de zoekmachine achteraf, niet het bestand dat je aanbiedt.
Wat robots.txt precies regelt en waar het bestand staat
Robots.txt is gewoon een tekstbestandje met aanwijzingen die bedoeld zijn voor crawlers, niks meer. Je legt dat bestand neer helemaal bovenaan je domein, bijvoorbeeld https://voorbeeld.nl/robots.txt. Zet je er eentje in een submap? Dan geldt die niet overal. Denk ook aan het verschil tussen http en https, of een subdomein: elke hoofdversie heeft zijn eigen robots.txt nodig.
In robots.txt staan groepen met regels. Zo’n groep begint met User-agent (dat zegt op welke crawler je doelt), gevolgd door Disallow-regels (welke paden mag die bot niet bezoeken?). Als een specifieke bot geen eigen groep heeft, valt hij terug op de algemene groep. Voorbeeld: Google kan overweg met * als joker en met $ voor het einde van een pad. Maar let op: niet elke bot pakt de regels op dezelfde manier op. Test ingewikkeldere varianten altijd per crawler, anders denk je iets te blokkeren wat wel open blijft staan.
Iedereen kan het bestand opvragen. Het is geen beveiliging (een kwaadaardige scraper veegt zich de regels aan zijn laars). Dus zet er nooit gevoelige URL’s in. Wachtwoorden, klantensites, ongepubliceerde concepten horen hier niet thuis. Reken voor echte afscherming op extra beveiliging, zoals logins of IP-restricties. Robots.txt is puur bedoeld om bots de weg te wijzen, niet om informatie buiten de deur te houden.
Wat robots.txt niet afdwingt: indexering, privacy en toegang
Veel mensen denken bij robots.txt: ‘Als ik hier Disallow op een pad zet, verdwijnt het uit Google.’ Dat klopt niet. De regel blokkeert alleen dat bots de inhoud opnieuw ophalen. Maar als er elders op het web een linkje naar die URL staat, kan Google hem wel kennen. Soms zie je dan een lege vermelding in de resultaten, zonder snippet en zonder cached versie, puur omdat Google de pagina niet mag lezen.
Hier wringt het vaak: iemand plaatst een noindex-meta op een pagina en blokkeert diezelfde pagina tegelijk in robots.txt. Klinkt logisch, maar een bot die de pagina door robots.txt niet mag ophalen, ziet die meta nooit. Wil je dat iets uit de index verdwijnt, maar voor iedereen publiek blijft? Laat de bot wél toegang houden tot die pagina, zodat hij de noindex-instructie oppikt. Is het echt privé? Dan biedt geen van beide bestanden je bescherming: dan heb je toegangscontrole nodig, geen bots.txt-regel.
Let erop dat robots.txt op goed gedrag werkt. Een bot die zijn eigen belangen volgt (scrapers, concurrenten) houdt zich gerust niet aan jouw regels. Scraping, overbelasting, dat soort geintjes los je alleen server-side op. Gebruik robots.txt dus om serieuze zoekmachines te sturen, en controleer altijd of een crawlregel, de indexering en de werkelijke toegang kloppen in de situatie die je hebt.
Een XML-sitemap maken met URL’s die echt geïndexeerd mogen worden
Een XML-sitemap is een gestructureerd bestand met URL’s die je door zoekmachines wilt laten oppakken. Stop hier alleen pagina’s in die een werkende status opleveren, die geschikt zijn voor opname in Google en waarvan dit de enige ‘hoofdversie’ is. Dus geen omgeleide links, geen 404-pagina’s, geen URL’s met een noindex. Die zorgen vooral voor verwarring: bots weten dan niet goed welke versie je nu bedoelt.
Het bestand volgt strakke regels: geldige XML, UTF-8-codering, volledige URL’s inclusief protocol en domein. Speciale tekens zoals & moet je als & schrijven in XML. Je mag tot 50.000 URLs of 50 MB onbeperkt gebruiken, maar grotere sites werken met meerdere bestanden en een sitemap-index. Dan kun je bijvoorbeeld per type pagina of per map een aparte lijst maken. Dat is handiger bij updates of fouten achterhalen.
Het lastmod-veld is een tip voor bots: ‘sinds deze datum is de pagina echt gewijzigd’. Bij elke generatie automatisch vandaag invullen is zinloos, geef alleen een echte wijzigingsdatum. Andere velden zoals priority of changefreq worden niet afgedwongen (zoekmachines trekken zich daar weinig van aan). Bouw je sitemap automatisch vanuit je CMS of database, en ruim oude, verwijderde of concept-URL’s direct op zodat het bestand schoon blijft.
Hoe je robots.txt en XML-sitemaps met elkaar laat samenwerken
Robots.txt bepaalt wat bots niet mogen ophalen, een sitemap vertelt welke URL’s je wilt laten indexeren. Je zet het adres van de sitemap in robots.txt erbij via een aparte Sitemap:-regel met het volledige pad. Dat maakt het voor bots makkelijker die te vinden. Verwacht niet dat elke bot alles uit je sitemap volgt; dat doen ze alleen als het technisch en inhoudelijk logisch is. Je mag de sitemap trouwens ook in zoekmachine-tools zoals Search Console indienen.
Pas op dat je sitemap en robots.txt elkaar niet tegenspreken, anders kom je in de knoop. Staat bijvoorbeeld een belangrijke pagina in de sitemap, maar laat robots.txt die niet toe? Dan kan geen enkele bot hem lezen. Dat geldt ook voor noodzakelijke bestanden zoals CSS-bestanden of scripts: soms blokkeer je daarmee per ongeluk een heel deel van je site zonder het te merken. Andersom: zet geen uitgesloten (noindex) URL’s in de sitemap. Hou het bestand gericht op de beste, juiste URL’s.
Heb je meerdere talen, dan kun je in de sitemap vermelden welke alternatieven er zijn (zie deze uitleg). Daar komt wel wat bij kijken: elke taalversie hoort een correcte canonical en onderlinge verwijzingen te hebben. Interne links blijven nodig; de sitemap corrigeert dat niet vanzelf. Zet regels altijd op de juiste host en check dat elke URL ook echt werkt. Kort en logisch blijft eenvoudiger dan complexe uitzonderingen die je vergeet bij een update.
Robots.txt-fouten die belangrijke pagina’s onzichtbaar maken
Met een te brede disallow blokkeer je zo de helft van je website zonder dat je het merkt. Een wildcard of map-regel zorgt al snel dat ook goede content nergens meer te vinden is. Zeker als je voor specifieke crawlers andere regels maakt, kan het ondoorzichtig worden. Kijk dus altijd even naar het gehele bestand, niet alleen naar de aanpassing van vandaag, en test een paar kritische URL’s uit je site op toegang.
Vergeet bij livegang niet te controleren of je de robots.txt van je testomgeving hebt meegenomen. Gebeurt vaker dan je denkt. Een domeinwijziging, een vernieuwde server, caching die oude versies laat zien: op al die momenten kan je robots.txt ineens verkeerd staan. Houd ook de statuscode in de gaten: een onleesbaar of niet gevonden bestand kan bots anders laten reageren dan je van plan was. Het hoort als tekstbestand gewoon oproepbaar te zijn.
Blokkeer geen resources die bots nodig hebben om je site goed weer te geven, zoals CSS of JavaScript, tenzij daar een dwingende reden voor is. Kan een crawler je CSS niet ophalen, dan ziet die pagina er misvormd uit bij de scan. Maak je regels niet afhankelijk van bijvoorbeeld hoofdletters, query parameters of mapnamen die je CMS op een dag toch verandert. Leg wijzigingen vast, houd erbij waarom een regel bestaat, en ruim oude regels op: zo voorkom je ‘blinde vlekken’ in je index.
XML-sitemapproblemen door filters, varianten en verouderde URL’s
Webshops die elk filter, sorteermogelijkheid en zoekresultaat als aparte URL genereren, kunnen hun sitemap ongemerkt vol laten lopen. URL’s met dezelfde producten, maar net andere parameters, dragen niet bij aan de vindbaarheid, sterker nog, het maakt de situatie verwarrend. Kies daarom bewust: welke filtercombinatie is echt een aparte categorie waard, welke niet? Alleen de hoofdcategorie en unieke, relevante varianten hoeven in de sitemap.
Producten die tijdelijk uitverkocht zijn, hoef je meestal niet direct te verwijderen. Stel, een artikel komt snel terug of biedt alternatieven, dan mag de pagina blijven staan. Is iets echt definitief weg, laat dan een 410 of een nette 404 zien, herleid alleen naar een andere pagina als dat logisch is. Laat je oude gesneuvelde URL’s gewoon staan in de sitemap, dan krijgt een bot alleen maar werk met opvolgen van redirects en raakt je indexatie rommelig.
De technische kant? Check of je sitemap wel goede URL’s bevat. Ga na of alles werkt: omleidingen, canonicals, 404’s, noindex, dit moet niet door elkaar lopen. Een automatisch gegenereerde sitemap lijkt handig, maar kan net zo goed oude of onbedoelde URL’s meeslepen uit een database-foutje. Vergelijk regelmatig de inhoud van je sitemap met je actuele product- of contentlijst om onverwachte afwijkingen snel te spotten.
Crawlgedrag controleren met Search Console en serverlogs
Alleen een sitemap uploaden of robots.txt plaatsen zegt weinig over wat er daadwerkelijk gebeurt. Pak de beheertools bij, controleer of Google Search Console (of een andere tool) je sitemap netjes leest en wat daar als fout naar voren komt. Gebruik de URL-inspectie om te zien wat bots aantreffen als ze een concrete pagina bezoeken, en of een crawl- of indexprobleem zichtbaar wordt. Dit helpt bij gerichte problemen, maar is geen vervanging voor losse checks per template of map.
Serverlogs laten zien welke bot op welk tijdstip welke URL probeerde te bezoeken, en welke status je server gaf. Zo zie je snel of Google ineens veel filtercombinaties crawlt, foutmeldingen tegenkomt of bepaalde delen van je site niet weet te vinden. Vertrouw niet puur op user-agent: die kan worden nagemaakt. Rangschik de logs, vergelijk met je sitemap of de hoofdstructuur, en kijk waar het patroon niet klopt met de bedoeling van je site.
Volg wijzigingen. Noteer wanneer je robots.txt, sitemapgenerator, URL-structuur of redirects wijzigt, en kijk wat er rond die tijd verandert in crawlgedrag of indexatie. Merk je een plotselinge daling op? Dat kan komen door een bot die gefrustreerd raakt door fouten, of door nieuwe content die van de site mist. Het helpt ook om monitoring in te stellen: krijg een seintje als de sitemap niet bereikbaar is, belangrijke URL’s ineens door robots.txt worden geblokkeerd, of noindex instructies uit de lucht vallen. Zo voorkom je dat kleine fouten grote schade aanrichten.