Test robots.txt dla crawlerów AI, z llms.txt
Czy ChatGPT, Claude i inne asystenty AI mogą czytać twoją stronę? Wpisz swoją domenę: Listentic sprawdza twój robots.txt pod kątem 14 crawlerów AI i wyszukiwarek, szuka llms.txt i mapy strony (sitemap) oraz przygotowuje dla ciebie szkic llms.txt.
Co obejmuje sprawdzenie
- Reguły robots.txt dla 14 crawlerów firm OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Meta i Common Crawl.
- Czy istnieje llms.txt (strona HTML w jego miejscu się nie liczy).
- Czy mapa strony (sitemap) jest podlinkowana lub dostępna.
- Czy twoja strona główna ma ustawiony noindex.
- Czy twoja strona działa na Cloudflare, które może osobno blokować crawlery AI.
Crawlery wyszukiwania i crawlery treningowe
Firmy AI używają różnych crawlerów. OAI-SearchBot, Claude-SearchBot i PerplexityBot wczytują strony, aby odpowiadać na pytania i cytować źródła; ChatGPT-User, Claude-User i Perplexity-User wczytują stronę, gdy ktoś o nią zapyta. GPTBot, ClaudeBot i Google-Extended zbierają dane treningowe. Możesz zablokować trenowanie i dopuścić wyszukiwanie: wtedy asystenci AI mogą cię cytować bez używania twoich treści do trenowania.
Czym jest llms.txt?
llms.txt to krótki plik Markdown w katalogu głównym twojej strony, który mówi asystentom AI, o czym jest twoja strona i które podstrony są najważniejsze. To propozycja, a nie oficjalny standard, i nie każdy dostawca AI już go czyta. Dodanie go zajmuje kilka minut, a szkic z naszego sprawdzenia daje ci punkt wyjścia.
Jak sprawdzamy
Sprawdzenie działa jako ListenticBot i wczytuje tylko twój robots.txt, llms.txt, mapę strony (sitemap) oraz, jeśli twój robots.txt na to pozwala, stronę główną. Nie podszywa się pod inny crawler, a wyniki nie są zapisywane.
Pytania i odpowiedzi
Czy zablokowanie GPTBot wyklucza mnie z ChatGPT?
Niekoniecznie. GPTBot zbiera dane treningowe, a wyszukiwanie ChatGPT korzysta z OAI-SearchBot i ChatGPT-User. Wynik pokazuje obie grupy osobno.
Czy potrzebuję llms.txt?
Jest opcjonalny. Pomaga asystentom AI szybciej zrozumieć twoją stronę, ale to, czy cię wymieniają, zależy głównie od tego, czy twoje strony można skanować, oraz od tego, co o tobie piszą inne strony.
Jak często mogę korzystać ze sprawdzenia?
Trzy razy dziennie bez konta. Z kontem Listentic masz więcej sprawdzeń, a miesięczna kontrola strony w twoich projektach automatycznie obejmuje crawlery AI.
Czy sprawdzenie jest darmowe?
Tak, całkowicie darmowe i bez rejestracji.