Die Datei robots.txt wird von den Crawlern der wichtigen Suchmaschinen wie Google genutzt um deine Anweisungen für die Indizierung deiner Seite zu erhalten.

Fast alle Suchmaschinen-Roboter halten sich an die Regeln in der robots.txt und suchen zuerst nach dieser Datei, bevor Sie mit dem Indexieren deiner Seiten beginnen.

Ratschlag: Auf jeden Fall eine robots.txt Datei im Hauptverzeichnis deiner Seite ablegen.