Generador de robots.txt

Un archivo pequeño que indica a los robots por dónde ir

Antes de recorrer tu web, el robot de Google o de Bing lee un archivo de texto llamado robots.txt en la raíz del dominio. En él dices: no visites estas carpetas, y aquí está mi mapa del sitio. El generador de robots.txt de Jood escribe ese archivo por ti con la sintaxis correcta, para que una línea equivocada no bloquee toda tu web.

Cómo se usa

1. Elige el «Acceso predeterminado de los robots de búsqueda»: permitir todos los robots, que es lo recomendado, o bloquearlos todos.
2. En «Directorios bloqueados», escribe una carpeta por línea, como /admin/. Si olvidas la barra inicial, la herramienta la añade.
3. Añade si quieres el «Retraso de rastreo» y la «URL del sitemap XML», pulsa «Empezar ahora» y copia el resultado.
4. Guarda el texto en un archivo llamado robots.txt y súbelo a la raíz de tu web, para que se abra en example.com/robots.txt.

Qué significa cada línea

• User-agent: a quién van dirigidas las reglas. El asterisco significa todos los robots.
• Disallow: una ruta que no se debe visitar. Si se deja vacía, no se bloquea nada. Una barra sola bloquea toda la web, así que elígela solo para una web de pruebas.
• Crawl-delay: segundos de espera entre dos peticiones. Bing lo respeta, Google lo ignora, y la herramienta te lo recuerda.
• Sitemap: la dirección de tu mapa del sitio, para que todos los buscadores lo encuentren sin que tengas que enviarlo a cada uno.

Errores habituales que conviene conocer

• robots.txt no es una protección: es una petición educada que solo respetan los buscadores serios. No pongas rutas secretas, porque cualquiera puede leer el archivo.
• Bloquear no es ocultar de los resultados: una página bloqueada puede aparecer en Google si otras webs enlazan a ella. Para sacar una página de los resultados, usa noindex y deja que el robot la visite para que lo vea.
• Cada subdominio tiene su archivo: el de example.com no se aplica a shop.example.com.
• Los robots de inteligencia artificial: la herramienta escribe reglas para todos los robots a la vez. Para bloquear uno en concreto, como GPTBot, añade a mano dos líneas: User-agent: GPTBot y después Disallow: /.

Para crear el mapa del sitio, usa el generador de sitemap XML, y para revisar toda tu web, la auditoría SEO completa del sitio.

Preguntas frecuentes