Fichier robots.txt

abbreviation robots.txt

robots exclusion protocol

Le fichier robots.txt est un fichier texte placé à la racine d’un site web pour guider les robots d’indexation (comme Googlebot) sur les pages ou fichiers qu’ils peuvent ou non analyser. Il fait partie du protocole d’exclusion des robots, une norme respectée par la plupart des moteurs de recherche.

Lorsqu’un robot visite un site, il vérifie d’abord l’existence d’un fichier robots.txt. Celui-ci utilise des directives comme Disallow: pour interdire l’accès à certains chemins et Allow: pour l’autoriser. Par exemple, un site peut bloquer l’accès au dossier /privé/ pour éviter que des données sensibles n’apparaissent dans les résultats de recherche.

Pour les propriétaires de sites, robots.txt permet de contrôler le trafic des moteurs de recherche, économisant de la bande passante et évitant le contenu en double. Cependant, ce n’est pas un outil de sécurité—les robots malveillants peuvent l’ignorer. Une configuration incorrecte pourrait bloquer accidentellement des pages importantes, nuisant au référencement. Par exemple, une directive Disallow: / bloquerait tous les robots sur l’ensemble du site.

Un fichier robots.txt peut contenir <code>User-agent: * Disallow: /admin/</code> pour empêcher les moteurs de recherche d’indexer les pages de connexion.

Dans les autres langues

Voir aussi : Sitemap

Découvrez nos autres services

ElpisIA, c’est tout un univers — explorez nos autres services.