abbreviation robots.txt
robots exclusion protocol
El archivo robots.txt es un archivo de texto ubicado en el directorio raíz de un sitio web para guiar a los rastreadores (como Googlebot) sobre qué páginas o archivos pueden o no analizar. Es parte del protocolo de exclusión de robots, un estándar seguido por la mayoría de los motores de búsqueda.
Cuando un rastreador visita un sitio, primero verifica si existe un archivo robots.txt. Este archivo usa directivas como Disallow: para bloquear el acceso a ciertos caminos y Allow: para permitirlo. Por ejemplo, un sitio puede bloquear el acceso a la carpeta /privado/ para evitar que datos sensibles aparezcan en los resultados de búsqueda.
Para los propietarios de sitios, robots.txt ayuda a controlar el tráfico de los motores de búsqueda, ahorrando ancho de banda y evitando contenido duplicado. Sin embargo, no es una herramienta de seguridad—los bots maliciosos pueden ignorarlo. Una configuración incorrecta podría bloquear accidentalmente páginas importantes, perjudicando el SEO. Por ejemplo, una directiva Disallow: / bloquearía todos los rastreadores en todo el sitio.
Un archivo robots.txt puede incluir <code>User-agent: * Disallow: /admin/</code> para evitar que los motores de búsqueda indexen las páginas de inicio de sesión.
En otros idiomas
Véase también: Sitemap