abbreviation robots.txt
robots exclusion protocol
Die Robots.txt-Datei ist eine einfache Textdatei im Stammverzeichnis einer Website, die Suchmaschinen-Crawler (wie Googlebot) darüber informiert, welche Seiten oder Dateien sie nicht durchsuchen sollen. Sie basiert auf dem Robots Exclusion Protocol, einem Standard, den die meisten Suchmaschinen unterstützen.
Bevor ein Crawler eine Website durchsucht, prüft er, ob eine Robots.txt-Datei vorhanden ist. Diese Datei verwendet Anweisungen wie Disallow:, um den Zugriff auf bestimmte Pfade zu blockieren, und Allow:, um ihn zu gestatten. Beispielsweise könnte eine Website den Zugriff auf den Ordner /privat/ blockieren, um zu verhindern, dass vertrauliche Daten in Suchergebnissen erscheinen.
Für Website-Betreiber hilft die Robots.txt-Datei, den Suchmaschinen-Traffic zu steuern, Bandbreite zu sparen und doppelte Inhalte zu vermeiden. Sie ist jedoch kein Sicherheitstool—böswillige Bots können sie ignorieren. Eine falsche Konfiguration könnte versehentlich wichtige Seiten blockieren und das SEO beeinträchtigen. Beispielsweise würde eine Anweisung Disallow: / alle Crawler vom gesamten Website-Zugriff ausschließen.
Eine Robots.txt-Datei könnte <code>User-agent: * Disallow: /admin/</code> enthalten, um Suchmaschinen daran zu hindern, Login-Seiten zu indexieren.
In anderen Sprachen
Siehe auch: Sitemap