Robots.txt is een tekstbestand in de hoofdmap van een website waarin staat welke delen van de site zoekmachines en andere bots wel of niet mogen bezoeken. Het bestand is bereikbaar op het adres /robots.txt, bijvoorbeeld www.voorbeeld.nl/robots.txt.
Opbouw van het bestand
Het bestand bestaat uit regels die zich richten op een bepaalde bot. Met „User-agent: *” spreek je alle bots aan, met „Disallow: /beheer/” sluit je de map /beheer/ af en met „Allow:” maak je een uitzondering.
Vaak staat onderaan ook een regel „Sitemap:” met het adres van de XML-sitemap. Het bestand is open voor iedereen: wie het adres intypt, kan het lezen.
Wat het wel en niet doet
Robots.txt regelt of een bot een pagina mag bezoeken, dus het gaat om crawling. Het is een verzoek: nette bots houden zich eraan, kwaadwillende bots negeren het. Het is daarom niet geschikt om gevoelige informatie af te schermen.
Een geblokkeerde pagina kan toch in zoekresultaten verschijnen, bijvoorbeeld als andere websites ernaar linken, vaak zonder beschrijving. Wil je een pagina uit de zoekresultaten houden, dan is de noindex-instructie geschikter. Die kan alleen worden gelezen als de pagina niet is geblokkeerd.
Valkuilen
Een kleine fout kan grote gevolgen hebben. Met „Disallow: /” sluit je de hele website af voor de bots die de regel aanspreekt. Dat gebeurt soms per ongeluk, bijvoorbeeld wanneer een testversie van een website wordt overgenomen naar de echte website.
Blokkeer ook geen bestanden die nodig zijn om een pagina weer te geven, zoals stijlbladen en scripts. Controleer het bestand daarom na elke wijziging, bijvoorbeeld met de hulpmiddelen van een zoekmachine.
