Wat is een robots.txt?

Een robots.txt is een term voor een bestand letterlijk genaamd robots.txt waarin je aangeeft aan welke regels zoekmachine-crawlers (ook wel spiders) en bots zich moeten houden.


Waarom robots.txt?

Als je geen gebruik maakt van een robots.txt dan kan het voorkomen dat een bijvoorbeeld een zoekmachine gedeeltes van je website aan de resultaten toevoegt waarvan je juist liever niet hebt dat dit het geval is. Denk ook met name aan beheer gedeeltes van applicaties.


LanthopusX en robots.txt

Bij LanthopusX werken we met een redelijk breed scala aan applicaties en systemen zoals Wordpress en Magento bijvoorbeeld. Dat geeft ons het voordeel dat we een goed beeld hebben van wat er met al die systemen dient te gebeuren qua robots.txt.