Textdatei mit der über einfache Befehle festgelegt werden kann welcher Crawler welche Bereiche einer Webseite durchsuchen soll bzw. welche Bereiche nicht durchsucht werden sollen. Der robots.txt wird auf dem Server im Grundverzeichnis der Webseite platziert.