Verifica robots.txt per i crawler AI, con llms.txt
ChatGPT, Claude e gli altri assistenti AI riescono a leggere il tuo sito? Inserisci il tuo dominio: Listentic controlla il tuo robots.txt per 14 crawler AI e di ricerca, cerca un llms.txt e una sitemap e ti prepara una bozza di llms.txt.
Cosa copre il controllo
- Le regole del robots.txt per 14 crawler di OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Meta e Common Crawl.
- Se esiste un llms.txt (una pagina HTML al suo posto non conta).
- Se una sitemap è collegata o disponibile.
- Se la tua homepage è impostata su noindex.
- Se il tuo sito usa Cloudflare, che può bloccare separatamente i crawler AI.
Crawler di ricerca e crawler di addestramento
Le aziende di AI usano crawler diversi. OAI-SearchBot, Claude-SearchBot e PerplexityBot caricano pagine per rispondere alle domande e citare le fonti; ChatGPT-User, Claude-User e Perplexity-User caricano una pagina quando qualcuno ne chiede. GPTBot, ClaudeBot e Google-Extended raccolgono dati di addestramento. Puoi bloccare l'addestramento e consentire la ricerca: così gli assistenti AI possono citarti senza usare i tuoi contenuti per l'addestramento.
Cos'è llms.txt?
llms.txt è un breve file Markdown nella radice del tuo sito che dice agli assistenti AI di cosa parla il tuo sito e quali pagine contano di più. È una proposta, non uno standard ufficiale, e non tutti i fornitori di AI lo leggono già. Crearne uno richiede pochi minuti e la bozza del controllo ti offre un punto di partenza.
Come controlliamo
Il controllo viene eseguito come ListenticBot e carica solo il tuo robots.txt, il tuo llms.txt, la tua sitemap e, se il tuo robots.txt lo consente, la tua homepage. Non si spaccia per un altro crawler e i risultati non vengono salvati.
Domande e risposte
Bloccare GPTBot mi esclude da ChatGPT?
Non necessariamente. GPTBot raccoglie dati di addestramento, mentre la ricerca di ChatGPT usa OAI-SearchBot e ChatGPT-User. Il risultato mostra i due gruppi separatamente.
Mi serve un llms.txt?
È facoltativo. Aiuta gli assistenti AI a capire il tuo sito più in fretta, ma il fatto che ti nominino dipende soprattutto dalla possibilità di scansionare le tue pagine e da ciò che altri siti dicono di te.
Quanto spesso posso usare il controllo?
Tre volte al giorno senza account. Con un account Listentic hai più controlli, e il controllo mensile del sito dei tuoi progetti copre automaticamente i crawler AI.
Il controllo è gratuito?
Sì, completamente gratuito e senza registrazione.