Saltar al contenido

Comprobador de robots.txt para rastreadores de IA, con llms.txt

¿Pueden ChatGPT, Claude y otros asistentes de IA leer tu sitio web? Introduce tu dominio: Listentic revisa tu robots.txt para 14 rastreadores de IA y de búsqueda, busca un llms.txt y un sitemap, y te redacta un borrador de llms.txt.

Qué abarca la comprobación

  • Las reglas de robots.txt para 14 rastreadores de OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Meta y Common Crawl.
  • Si existe un llms.txt (una página HTML en su lugar no cuenta).
  • Si hay un sitemap enlazado o disponible.
  • Si tu página de inicio está en noindex.
  • Si tu sitio funciona con Cloudflare, que puede bloquear por separado a los rastreadores de IA.

Rastreadores de búsqueda y de entrenamiento

Las empresas de IA usan distintos rastreadores. OAI-SearchBot, Claude-SearchBot y PerplexityBot cargan páginas para responder preguntas y citar fuentes; ChatGPT-User, Claude-User y Perplexity-User cargan una página cuando alguien pregunta por ella. GPTBot, ClaudeBot y Google-Extended recopilan datos de entrenamiento. Puedes bloquear el entrenamiento y permitir la búsqueda: así los asistentes de IA pueden citarte sin usar tu contenido para entrenar.

¿Qué es llms.txt?

llms.txt es un archivo Markdown breve en la raíz de tu sitio web que indica a los asistentes de IA de qué trata tu sitio y qué páginas son las más importantes. Es una propuesta, no un estándar oficial, y no todos los proveedores de IA lo leen todavía. Crear uno lleva unos minutos, y el borrador de la comprobación te da un punto de partida.

Cómo comprobamos

La comprobación se ejecuta como ListenticBot y solo carga tu robots.txt, tu llms.txt, tu sitemap y, si tu robots.txt lo permite, tu página de inicio. No se hace pasar por otro rastreador y los resultados no se guardan.

Preguntas y respuestas

¿Bloquear GPTBot me deja fuera de ChatGPT?

No necesariamente. GPTBot recopila datos de entrenamiento, mientras que la búsqueda de ChatGPT usa OAI-SearchBot y ChatGPT-User. El resultado muestra ambos grupos por separado.

¿Necesito un llms.txt?

Es opcional. Ayuda a los asistentes de IA a entender tu sitio más rápido, pero que te mencionen depende sobre todo de que tus páginas se puedan rastrear y de lo que digan de ti otros sitios web.

¿Con qué frecuencia puedo usar la comprobación?

Tres veces al día sin cuenta. Con una cuenta de Listentic tienes más comprobaciones, y la revisión mensual del sitio de tus proyectos cubre automáticamente los rastreadores de IA.

¿La comprobación es gratuita?

Sí, totalmente gratuita y sin registro.