Generador robots.txt
Construye archivos robots.txt con reglas de rastreo y referencias al sitemap
Acerca de Generador robots.txt
Generador robots.txt te permite construye archivos robots.txt con reglas de rastreo y referencias al sitemap.
Categoría: SEO.
Preguntas frecuentes
¿Qué es un archivo robots.txt?
▾
Un archivo de texto plano en la raíz de tu sitio web que indica a los rastreadores web a qué páginas o secciones pueden o no pueden acceder. Es una convención — no un mecanismo de seguridad — y es públicamente visible.
¿robots.txt previene la indexación?
▾
Disallow evita que los rastreadores accedan a una URL, pero no previene la indexación si otras páginas enlazan a ella. Para evitar la indexación, usa la meta etiqueta noindex o el encabezado HTTP X-Robots-Tag.
¿Cómo bloqueo a todos los rastreadores de una carpeta específica?
▾
Agrega: User-agent: * seguido de Disallow: /carpeta/. Usa una barra diagonal al final para bloquear un directorio; sin ella, /carpeta bloquea solo un archivo llamado exactamente 'carpeta'.