Generador de robots.txt

Crea fácilmente tu archivo robots.txt

Sitemap

User Agent (Deja * para todos los bots)

Allow (Separados por comas)

Disallow (Separados por comas)

Robots.txt generado

Ejemplos de robots.txt

Ejemplo básico clásico:

User-agent: *
Disallow:

Este ejemplo permite a todos los robots rastrear todo el sitio web.

Ejemplo de permiso explícito:

User-agent: *
Allow: /

Este ejemplo también permite explícitamente a todos los robots rastrear todo el sitio web. La directiva "Allow: /" es redundante en este caso, ya que por defecto todo está permitido si no hay directivas "Disallow".

Ejemplos de User Agent

Bots populares:

Googlebot, Googlebot-Image, Googlebot-Video, Googlebot-News, Storebot-Google, Google-InspectionTool, GoogleOther, GoogleOther-Image, Bingbot, YandexBot, Applebot, DuckDuckBot, Baiduspider, facebot, Swiftbot, SemrushBot, Slurp, Rogerbot, AhrefsBot

Preguntas Frecuentes

Algunas cosas que no sabías sobre el Robots.txt

Un archivo robots.txt bien configurado es solo el primer paso para optimizar tu sitio web (Por lo menos es lo que hago siempre tecnicamente).

Un archivo robots.txt es un archivo de texto que ayuda a evitar que ciertos bots que rastrean sitios web o robots investiguen todo o parte del acceso a un sitio web.
El estándar de exclusión de robots, también conocido como protocolo de exclusión de robots o protocolo robots.txt, es una forma de evitar que ciertos bots que rastrean sitios web u otros robots investiguen todo o parte de un sitio web.
El protocolo robots.txt funciona como una solicitud que especifica que ciertos robots ignoren archivos o directorios específicos en su búsqueda.

Recuerda que el SEO es un proceso continuo. Mantén tu sitio actualizado y sigue las mejores prácticas para maximizar tu visibilidad en los motores de búsqueda.

Sobre esta herramienta.

Soy Jorge Jaramillo consultor SEO y creador de propductos digitales. Estaré subiendo actualizaciones de vez en cuando.