Generador de robots.txt
Creá reglas Allow y Disallow y agregá un sitemap con advertencias técnicas claras.
robots.txt controla rastreo; no protege información privada ni equivale a noindex.
robots.txt generado
—Qué controla robots.txt
robots.txt comunica reglas de rastreo a bots compatibles. Se publica en la raíz del host, por ejemplo https://example.com/robots.txt.
Disallow no equivale a noindex
Bloquear rastreo no garantiza que una URL desaparezca de resultados si fue descubierta por otros medios. Para controlar indexación se utilizan mecanismos apropiados como noindex, sin bloquear el acceso necesario para leerlo.
No es seguridad
Las rutas del archivo son públicas. Nunca uses robots.txt para proteger paneles, datos personales o archivos confidenciales; aplicá autenticación y permisos reales.
Explorar herramientas para desarrollo web