Vérificateur robots.txt pour crawlers IA, avec llms.txt
ChatGPT, Claude et les autres assistants IA peuvent-ils lire votre site ? Saisissez votre domaine : Listentic vérifie votre robots.txt pour 14 crawlers IA et de recherche, cherche un llms.txt et un sitemap, et rédige pour vous un brouillon de llms.txt.
Ce que couvre la vérification
- Les règles robots.txt pour 14 crawlers d’OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Meta et Common Crawl.
- L’existence d’un llms.txt (une page HTML à sa place ne compte pas).
- La présence d’un lien vers un sitemap ou sa disponibilité.
- Le réglage éventuel de votre page d’accueil en noindex.
- L’utilisation de Cloudflare par votre site, qui peut bloquer séparément les crawlers IA.
Crawlers de recherche et crawlers d’entraînement
Les entreprises d’IA utilisent différents crawlers. OAI-SearchBot, Claude-SearchBot et PerplexityBot chargent des pages pour répondre à des questions et citer des sources ; ChatGPT-User, Claude-User et Perplexity-User chargent une page lorsque quelqu’un pose une question à son sujet. GPTBot, ClaudeBot et Google-Extended collectent des données d’entraînement. Vous pouvez bloquer l’entraînement tout en autorisant la recherche : les assistants IA peuvent alors vous citer sans utiliser votre contenu pour l’entraînement.
Qu’est-ce que llms.txt ?
llms.txt est un court fichier Markdown placé à la racine de votre site, qui indique aux assistants IA de quoi parle votre site et quelles pages comptent le plus. C’est une proposition, pas une norme officielle, et tous les fournisseurs d’IA ne le lisent pas encore. En créer un prend quelques minutes, et le brouillon de la vérification vous donne un point de départ.
Comment nous vérifions
La vérification s’exécute sous le nom ListenticBot et ne charge que votre robots.txt, votre llms.txt, votre sitemap et, si votre robots.txt l’autorise, votre page d’accueil. Elle ne se fait pas passer pour un autre crawler, et les résultats ne sont pas enregistrés.
Questions et réponses
Bloquer GPTBot m’exclut-il de ChatGPT ?
Pas forcément. GPTBot collecte des données d’entraînement, tandis que la recherche de ChatGPT utilise OAI-SearchBot et ChatGPT-User. Le résultat affiche séparément les deux groupes.
Ai-je besoin d’un llms.txt ?
C’est facultatif. Il aide les assistants IA à comprendre votre site plus vite, mais le fait qu’ils vous mentionnent dépend surtout de l’exploration possible de vos pages et de ce que disent de vous les autres sites.
À quelle fréquence puis-je utiliser la vérification ?
Trois fois par jour sans compte. Avec un compte Listentic, vous avez plus de vérifications, et l’audit mensuel du site de vos projets couvre automatiquement les crawlers IA.
La vérification est-elle gratuite ?
Oui, entièrement gratuite et sans inscription.