Vai al contenuto

Verifica robots.txt per i crawler AI, con llms.txt

ChatGPT, Claude e gli altri assistenti AI riescono a leggere il tuo sito? Inserisci il tuo dominio: Listentic controlla il tuo robots.txt per 14 crawler AI e di ricerca, cerca un llms.txt e una sitemap e ti prepara una bozza di llms.txt.

Cosa copre il controllo

  • Le regole del robots.txt per 14 crawler di OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Meta e Common Crawl.
  • Se esiste un llms.txt (una pagina HTML al suo posto non conta).
  • Se una sitemap è collegata o disponibile.
  • Se la tua homepage è impostata su noindex.
  • Se il tuo sito usa Cloudflare, che può bloccare separatamente i crawler AI.

Crawler di ricerca e crawler di addestramento

Le aziende di AI usano crawler diversi. OAI-SearchBot, Claude-SearchBot e PerplexityBot caricano pagine per rispondere alle domande e citare le fonti; ChatGPT-User, Claude-User e Perplexity-User caricano una pagina quando qualcuno ne chiede. GPTBot, ClaudeBot e Google-Extended raccolgono dati di addestramento. Puoi bloccare l'addestramento e consentire la ricerca: così gli assistenti AI possono citarti senza usare i tuoi contenuti per l'addestramento.

Cos'è llms.txt?

llms.txt è un breve file Markdown nella radice del tuo sito che dice agli assistenti AI di cosa parla il tuo sito e quali pagine contano di più. È una proposta, non uno standard ufficiale, e non tutti i fornitori di AI lo leggono già. Crearne uno richiede pochi minuti e la bozza del controllo ti offre un punto di partenza.

Come controlliamo

Il controllo viene eseguito come ListenticBot e carica solo il tuo robots.txt, il tuo llms.txt, la tua sitemap e, se il tuo robots.txt lo consente, la tua homepage. Non si spaccia per un altro crawler e i risultati non vengono salvati.

Domande e risposte

Bloccare GPTBot mi esclude da ChatGPT?

Non necessariamente. GPTBot raccoglie dati di addestramento, mentre la ricerca di ChatGPT usa OAI-SearchBot e ChatGPT-User. Il risultato mostra i due gruppi separatamente.

Mi serve un llms.txt?

È facoltativo. Aiuta gli assistenti AI a capire il tuo sito più in fretta, ma il fatto che ti nominino dipende soprattutto dalla possibilità di scansionare le tue pagine e da ciò che altri siti dicono di te.

Quanto spesso posso usare il controllo?

Tre volte al giorno senza account. Con un account Listentic hai più controlli, e il controllo mensile del sito dei tuoi progetti copre automaticamente i crawler AI.

Il controllo è gratuito?

Sì, completamente gratuito e senza registrazione.