Wat is robots.txt?

Het is belangrijk dat zoekmachines de juiste bestanden lezen op je website. Dit is de functie van het robots.txt bestand dat ontworpen is om de toegang tot URL’s af te staan. Het robots.txt bestand op websites is de uitvoering van het robots exclusion protocol van 1984, betrouwbare zoekmachines volgen dit protocol op. 

Het robots.txt bestand is een tekstbestand dat op de root van je domein staat en als eerste gelezen wordt door zoekmachines. Dit bevat namelijk instructies over welke URL’s van een website gelezen mogen worden en welke overgeslagen moeten worden. 

Wat doet de robots.txt? 

Dit zorgt ervoor dat URL’s die geen meerwaarde bieden niet doorzocht worden door zoekmachines. Dit bespaart ook search budget per specifieke website wat vooral voor grote websites relevant is. Daarnaast laat de robots.txt vaak zien waar de sitemap van de website staat. Deze sitemap bevat alle inhoud van de website waarvan je wilt dat Google deze indexeert. 

Je vindt de robots.txt van een website vrij gemakkelijk. Je hoeft namelijk enkel robots.txt achter de domeinnaam in te voegen en je komt bij dit bestand terecht. 

Belangrijk om rekening mee te houden:

• Een robots.txt file is niet bedoeld om pagina’s af te schermen van crawlers. Hoewel het bestand instructies geeft aan bots, kan het niet instructies afdwingen. 
• Robots.txt beperkt crawlen, maar als er in de robots.txt staat dat een pagina niet gecrawld hoeft te worden, terwijl er een link vanuit een andere pagina is naar deze pagina. Dan wordt deze pagina nog steeds geïndexeerd.
  Als je wilt dat een pagina niet geindexeerd wordt, dan moet je deze pagina op no-index zetten. Verder zet je de no-index pagina niet in je robots.txt want dan lezen zoekmachines niet dat deze pagina niet geindexeerd mag worden.