robots.txt

Wat is een robots.txt bestand?

Een robots.txt bestand verteld de zoekmachine (bijvoorbeeld Google of Bing) welke URL’s van jouw website gevonden mogen worden en welke niet. Dit is niet hetzelfde als een noindex (die het indexeren van een pagina compleet blokkeerd). Een robots.txt gebruik je om het aantal aanvragen / bezoekers voor onnodige pagina’s te verminderen.

Waarom een robots.txt bestand gebruiken?

Dit bestand kun je gebruiken om verkeer naar je website te regelen. Alle bestandstypes die ondersteund worden kun je hier vinden: https://support.google.com/webmasters/answer/35287. Als voorbeeld kunnen we een PDF bestand kiezen van 500 MB. Dit bestand is erg groot en het kan veel energie kosten voor je server. Je kunt dit bestand dan toevoegen aan je robots.txt bestand, zodat Google (of een andere zoekmachine) dit bestand in het vervolg kan overslaan en dus sneller andere links binnen je site kunt crawlen.

Sitemap

Aangezien zoekmachines je robots.txt bestand gebruiken om je website te doorzoeken, is het slim om je sitemap direct aan dit bestand toe te voegen. De meeste plugins (zoals RankMath) doen dit automatisch, maar je kunt dit handmatig toevoegen met de volgende code: Sitemap: https://naamvanjewebsite.nl/sitemap_index.xml. Controleer goed wat de link is naar je sitemap.xml en test de link na het toevoegen.

Voorbeeld van een robots.txt bestand.