Die robots.txt ist eine Textdatei im Wurzelverzeichnis einer Website, die Crawlern mitteilt, welche Bereiche sie abrufen dürfen und welche nicht. Sie steuert das Crawling, nicht die Aufnahme in den Suchindex.
Die Datei liegt immer an derselben Stelle, direkt unter der Domain als /robots.txt, und ist für jeden abrufbar. Ihr Aufbau ist bewusst einfach: Ein Block beginnt mit User-agent und benennt, für welchen Crawler die folgenden Regeln gelten, danach folgen Disallow- und Allow-Zeilen mit Pfaden. Ein Stern bei User-agent spricht alle Crawler an. Üblich ist außerdem eine Zeile, die auf die Sitemap verweist.
Der wichtigste Punkt ist zugleich der am häufigsten missverstandene: Die Datei verhindert das Abrufen, nicht das Erscheinen in den Suchergebnissen. Kennt Google eine gesperrte Adresse über Links von außen, kann sie trotzdem im Index landen, dann allerdings ohne gelesenen Inhalt und mit einem entsprechenden Hinweis im Ergebnis. Wer eine Seite sicher aus den Ergebnissen halten will, setzt ein noindex im Seitenkopf und lässt den Crawler die Seite abrufen, damit er diese Anweisung überhaupt lesen kann. Beides gleichzeitig hebt sich gegenseitig auf.
Ein Schutzmechanismus ist die Datei ebenso wenig. Sie ist eine Bitte, an die sich seriöse Crawler halten, und sie ist öffentlich einsehbar. Wer dort Verzeichnisnamen von Verwaltungsbereichen oder internen Ablagen einträgt, veröffentlicht damit genau die Pfade, die er verbergen wollte. Vertrauliche Bereiche gehören hinter eine Anmeldung oder eine Zugriffsbeschränkung auf Serverebene.
In der Praxis lohnen sich zwei Gewohnheiten. Sparsam sperren, denn wer versehentlich Verzeichnisse mit Stilvorlagen, Skripten oder Bildern blockiert, verhindert, dass die Suchmaschine die Seite so darstellen kann, wie ein Besucher sie sieht. Und nach jedem Umzug prüfen, ob die Datei der Live-Website noch dieselbe ist wie auf dem Testsystem. Eine vom Entwicklungsserver übernommene Komplettsperre ist einer der Fälle, in denen eine Website über Nacht aus den Ergebnissen verschwindet.