Generador de robots.txt gratis

Rastreo por defecto

URL del sitemap

URL absoluta. Ayuda a los buscadores a descubrir todas tus páginas.

Reglas por bot

Cambia la regla por defecto para un rastreador concreto.

Google

Standard web crawler

Googlebot-Image

Google Images

Googlebot-Mobile

Google mobile crawler

Bingbot

Bing & Microsoft Copilot

Yahoo

Yahoo Search

Baidu

Baidu Search

ChatSEO

Ours

On-demand · chatseo.app/bot

Directorios restringidos

Una ruta por línea. Cada una se añadirá como regla Disallow.

¿Qué es un archivo robots.txt?

Un robots.txt es un archivo de texto plano en la raíz de tu dominio que indica a los buscadores y demás rastreadores qué partes de tu web pueden solicitar. Es lo primero que descarga Googlebot cuando te visita, y configurarlo bien protege tu presupuesto de rastreo para que los buscadores dediquen su tiempo a las páginas que de verdad importan. El generador de robots.txt gratis de arriba te ayuda a crear tu archivo robots.txt en segundos, sin memorizar sintaxis ni pelearte con un editor.

Cómo crear un archivo robots.txt

  1. 1

    Rellena tu configuración

    Elige Permitir todos o Bloquear todos, define un crawl-delay si lo necesitas, pega la URL de tu sitemap y añade los directorios que quieras que los rastreadores se salten.

  2. 2

    Genera en directo

    El archivo robots.txt se construye en tiempo real a la derecha: cada cambio actualiza el resultado al instante. Este generador de robots.txt valida mientras escribes y señala los errores habituales.

  3. 3

    Copia y pega en la raíz de tu dominio

    Pulsa Copiar o Descargar .txt para crear tu archivo robots.txt y súbelo a la raíz de tu web para que sea accesible en la ruta de abajo.

Tu archivo robots.txt tiene que estar accesible en tudominio.com/robots.txt: ni en una subcarpeta ni en un CDN.

Las directivas de robots.txt explicadas

User-agent
Indica a qué bot se aplica el bloque de reglas. Usa * para dirigirte a todos los rastreadores, o un nombre concreto como Googlebot o Bingbot para dirigirte a uno solo.
Disallow
Bloquea la ruta indicada. Disallow: /admin/ impide a los rastreadores solicitar cualquier cosa bajo /admin/. Disallow: / bloquea la web entera.
Allow
Permite de forma explícita una ruta dentro de un directorio bloqueado. Sirve para anular un Disallow; por ejemplo, para permitir un archivo dentro de una carpeta bloqueada.
Crawl-delay
Pide a los bots que esperen ese número de segundos entre peticiones. Bingbot, Yandex y Baidu lo respetan; Googlebot lo ignora (ajusta la frecuencia de rastreo en Search Console).
Sitemap
Declara la URL absoluta de tu sitemap XML. Ayuda a todos los buscadores y rastreadores de IA a descubrir tus URL más rápido que siguiendo solo los enlaces.

Ejemplos de robots.txt

Fragmentos listos para copiar y pegar en los casos más habituales.

Permitir todos los bots (lo normal en la mayoría de webs)

La configuración estándar: todos los rastreadores son bienvenidos y el sitemap está declarado.

User-agent: *
Disallow:

Sitemap: https://yourdomain.com/sitemap.xml

Bloquear todos los bots (modo mantenimiento)

Úsalo durante una fase privada de staging o una migración importante. No olvides quitarlo antes del lanzamiento.

User-agent: *
Disallow: /

Bloquear bots de IA concretos

Bloquea por su nombre los rastreadores que entrenan IA sin dejar de permitir a los buscadores. Añade tantos bloques User-agent como necesites.

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Disallow:

Bloquear directorios concretos

Oculta de golpe las carpetas de administración, staging o temporales a todos los rastreadores.

User-agent: *
Disallow: /admin/
Disallow: /staging/
Disallow: /tmp/

Sitemap: https://yourdomain.com/sitemap.xml

Robots.txt o sitemap: ¿en qué se diferencian?

Parecen relacionados, pero hacen trabajos opuestos. Casi siempre necesitas los dos.

robots.txt: lo que NO hay que rastrear

Un archivo de texto corto que indica a los rastreadores qué URL deben saltarse. Es una señal de tráfico educada, no un candado: controla el rastreo, no la indexación.

sitemap.xml: lo que SÍ hay que rastrear

Una lista XML con todas las URL que quieres que encuentren los buscadores. Acelera su descubrimiento e indica prioridades. Declárala dentro del robots.txt con la directiva Sitemap:.

Opinión

¿Deberías bloquear los rastreadores de IA en 2026?

En los dos últimos años, el reflejo ha sido cerrar la puerta a todos los bots de IA. Creemos que es un error para casi cualquier web. Te explicamos por qué.

Los asistentes de IA son la nueva puerta de entrada

ChatGPT, Perplexity, Claude, Gemini y Copilot ya envían entre todos un tráfico de referencia apreciable, y esa cuota crece cada trimestre. Si tu contenido no está en sus datos de entrenamiento ni en su índice de búsqueda en directo, no apareces en sus respuestas. No te estás protegiendo: estás quitando tu negocio del canal que le está comiendo terreno a Google.

Las citas son los nuevos backlinks

Cuando ChatGPT o Perplexity citan tu página como fuente, ganas visibilidad de marca y un clic, sin ningún trabajo de link building. Las webs que bloquean GPTBot y PerplexityBot se descartan solas. Las que los permiten consiguen distribución gratuita ante más de mil millones de usuarios de IA.

Bloquear los bots de IA no protege de verdad tu contenido

Common Crawl (CCBot), los datasets académicos y una larga cola de scrapers seguirán ingiriendo tu contenido de todas formas. La protección real está en el WAF o en el muro de pago (reglas de bots de Cloudflare, firewall de Vercel, límites de peticiones en el servidor), no en un archivo de texto que cada bot decide si respetar.

Cuándo sí tiene sentido bloquear

Bloquea los rastreadores de IA cuando lo que vendes es el propio contenido: periodismo de investigación de pago, datasets de investigación propios, cursos premium, bases de datos propietarias. También es razonable si un bot concreto está saturando tu servidor y disparando los costes: bloquea ese bot, no todos. Para el resto (SaaS, ecommerce, agencias, webs personales, blogs), permitir los rastreadores de IA solo tiene ventajas, sin inconvenientes reales.

Nuestra opinión: déjalos permitidos por defecto

Mientras los asistentes de IA sigan generando tráfico y citas, bloquearlos es un error estratégico disfrazado de medida de seguridad. Si quieres bloquear alguno (el bloque de ejemplo de arriba muestra la sintaxis), bloquea bots concretos con un motivo claro, no todos por defecto.

Preguntas frecuentes

El robots.txt es un archivo. ChatSEO audita más de 50.

  • Se conecta a tu Google Search Console para usar datos reales de posicionamiento

  • Audita automáticamente sitemap, schema, enlaces internos y SEO on-page

  • Empieza gratis, sin tarjeta

Prueba ChatSEO gratis