Generador de robots.txt
Crea un archivo robots.txt que ofrezca a los crawlers reglas claras de rastreo, rutas protegidas y pistas para descubrir el sitemap.
Como usar el generador de robots.txt
Usa esta herramienta cuando necesites un punto de partida limpio para las directivas de crawlers antes de publicar o actualizar los controles de rastreo del sitio.
Completa los campos que encajan con tu politica de rastreo:
- User-agent: define a que crawler se aplican las reglas. Usa
*para todos los bots. - Disallow: enumera carpetas o paginas privadas que no quieres que se rastreen.
- Allow: agrega excepciones para las rutas que deben seguir siendo rastreables.
- Crawl-delay: reduce la velocidad de bots agresivos si tu servidor necesita mas margen.
- URL del sitemap: indica a los crawlers el sitemap XML que quieres que descubran.
Ejemplo Una configuracion comun bloquea una carpeta privada mientras mantiene disponible un recurso publico.
User-agent: *
Disallow: /private
Allow: /public
Despues de generarlo, revisa la salida, pruebala con el comprobador de robots.txt y publicala en la raiz del sitio como <code>/robots.txt</code>.
Robots.txt Generator Use Cases
A robots.txt file is often the first control point for search crawlers. Use this generator when you need a clean starting file for a new site, a staging environment, an ecommerce faceted navigation cleanup, or a crawl-budget pass before a technical SEO audit.
Common rules to generate
- Allow all crawlers: publish a simple default policy with a sitemap location.
- Block staging paths: keep test folders, admin routes, and internal search pages out of crawl queues.
- Protect crawl budget: disallow duplicate filter URLs, sort parameters, and temporary campaign paths.
- Separate bot behavior: create user-agent specific sections for crawlers that need stricter rules.
After generating the file
- Upload it to
/robots.txtat the root of the canonical host. - Confirm the sitemap URL resolves and returns XML.
- Test important pages before blocking a whole directory.
- Review rules after migrations, CMS changes, and new subfolder launches.
Useful next checks: Robots.txt Tester, Sitemap Generator, and Page Indexability Checker.