Zum Inhalt springen

robots.txt-Checker für KI-Crawler, mit llms.txt

Dürfen ChatGPT, Claude und Co. deine Website lesen? Gib deine Domain ein: Listentic prüft deine robots.txt für 14 KI- und Such-Crawler, sucht nach llms.txt und Sitemap und schreibt dir einen Entwurf für eine llms.txt.

Was der Check prüft

  • Die Regeln deiner robots.txt für 14 Crawler von OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Meta und Common Crawl.
  • Ob es eine llms.txt gibt (eine HTML-Seite an ihrer Stelle zählt nicht).
  • Ob eine Sitemap verlinkt oder vorhanden ist.
  • Ob deine Startseite auf noindex steht.
  • Ob deine Website über Cloudflare läuft, das KI-Crawler zusätzlich sperren kann.

Such-Crawler und Trainings-Crawler

KI-Anbieter nutzen verschiedene Crawler. OAI-SearchBot, Claude-SearchBot und PerplexityBot laden Seiten, um Fragen zu beantworten und Quellen zu nennen; ChatGPT-User, Claude-User und Perplexity-User laden eine Seite, wenn jemand danach fragt. GPTBot, ClaudeBot und Google-Extended sammeln Trainingsdaten. Du kannst das Training sperren und die Suche erlauben: Dann können KI-Assistenten dich zitieren, ohne deine Inhalte fürs Training zu nutzen.

Was ist eine llms.txt?

Eine llms.txt ist eine kurze Markdown-Datei im Hauptverzeichnis deiner Website. Sie sagt KI-Assistenten, worum es auf der Website geht und welche Seiten am wichtigsten sind. Sie ist ein Vorschlag, kein offizieller Standard, und noch nicht jeder KI-Anbieter liest sie. Anlegen dauert ein paar Minuten, der Entwurf aus dem Check ist ein guter Anfang.

So prüfen wir

Der Check läuft als ListenticBot und lädt nur deine robots.txt, llms.txt, Sitemap und, wenn deine robots.txt es erlaubt, deine Startseite. Er gibt sich nicht als anderer Crawler aus, und die Ergebnisse werden nicht gespeichert.

Fragen und Antworten

Bin ich nicht mehr in ChatGPT, wenn ich GPTBot sperre?

Nicht unbedingt. GPTBot sammelt Trainingsdaten, die Suche in ChatGPT nutzt OAI-SearchBot und ChatGPT-User. Das Ergebnis zeigt beide Gruppen getrennt.

Brauche ich eine llms.txt?

Sie ist optional. Sie hilft KI-Assistenten, deine Website schneller zu verstehen. Ob sie dich nennen, hängt aber vor allem davon ab, ob deine Seiten gelesen werden dürfen und was andere Websites über dich schreiben.

Wie oft kann ich den Check nutzen?

Ohne Konto dreimal am Tag. Mit einem Listentic-Konto bekommst du mehr Prüfungen, und der monatliche Website-Check deiner Projekte prüft die KI-Crawler automatisch mit.

Ist der Check kostenlos?

Ja, ganz kostenlos und ohne Anmeldung.