Generador robots.txt
Construye archivos robots.txt con reglas de rastreo y referencias al sitemap
Acerca de Generador robots.txt
Arma un archivo robots.txt a partir de uno o más bloques User-agent, cada uno con sus propias rutas Disallow y Allow y un Crawl-delay opcional, más una línea Sitemap opcional al final. Las rutas vacías se omiten y un user agent en blanco se convierte en *. Las rutas se escriben tal como las ingresas: los comodines como * y $ se mantienen sin cambios y nada se valida, así que revisa las reglas antes de subir el archivo.
Categoría: SEO.
Preguntas frecuentes
¿Qué es un archivo robots.txt?
▾
Un archivo de texto plano en la raíz de tu sitio web que indica a los rastreadores web a qué páginas o secciones pueden o no pueden acceder. Es una convención — no un mecanismo de seguridad — y es públicamente visible.
¿robots.txt impide la indexación?
▾
Disallow evita que los rastreadores accedan a una URL, pero no impide la indexación si otras páginas enlazan a ella. Para mantener una página fuera de los resultados de búsqueda, usa una etiqueta meta noindex o el encabezado HTTP X-Robots-Tag y no bloquees esa página en robots.txt, porque los rastreadores nunca verían el noindex.
¿Cómo bloqueo a todos los rastreadores de una carpeta específica?
▾
Agrega un bloque User-agent: * con Disallow: /carpeta/. Las reglas coinciden por prefijo, así que la barra final limita la regla a ese directorio; sin ella, /carpeta también bloquea /carpeta.html, /carpeta-vieja/ y cualquier otra ruta que empiece con /carpeta.
¿Google respeta Crawl-delay?
▾
No. Googlebot ignora la línea Crawl-delay, así que el valor solo afecta a los rastreadores que la admiten, como Bingbot. Google ajusta su frecuencia de rastreo automáticamente según cómo responde tu servidor.