Roboty AI w robots.txt: jak wpuścić ChatGPT, Claude i Perplexity

Czym jest robots.txt i czego nie robi

robots.txt to zwykły plik tekstowy pod adresem twojadomena.pl/robots.txt. Mówi robotom, czyli programom pobierającym strony, które adresy mogą czytać. To prośba, a nie zamek. Google pisze, że szanowane roboty jej przestrzegają, ale inne nie muszą.

Plik nie ukrywa strony przed Google. Adres zablokowany w robots.txt może trafić do wyników bez opisu, jeśli linkują do niego inne strony. Do wyłączenia strony z wyników służy noindex, czyli prośba o pominięcie strony w wynikach, albo hasło.

Trzy fakty techniczne. Plik musi być zapisany w kodowaniu UTF-8, czyli w standardowym zapisie liter. Google czyta z niego najwyżej 500 KiB i trzyma jego kopię zwykle do 24 godzin.

Każda subdomena, np. sklep.twojadomena.pl, potrzebuje własnego pliku.

Dwie osobne decyzje: wyszukiwanie i trenowanie

Dostawcy AI mają osobne roboty do trzech zadań: do wyszukiwania, do pobierania stron na prośbę użytkownika i do zbierania tekstów na trening modeli. Każdego ustawiasz osobno.

Gotowy plik: wyszukiwanie otwarte, trenowanie zamknięte

Poniżej plik dla firmy, która chce być w odpowiedziach asystentów, ale nie chce, żeby jej teksty służyły do trenowania modeli. Linia User-agent podaje nazwę robota. Kilka takich linii pod rząd tworzy jedną grupę ze wspólnymi regułami.

Pięć pułapek, które wyłączają stronę z odpowiedzi AI

• Własna grupa wyłącza grupę ogólną. Dodajesz na przykład User-agent: OAI-SearchBot z jedną regułą Disallow: /admin/. Ten robot przestaje wtedy czytać grupę User-agent: *. Reguły, które mają go dotyczyć, przepisz do jego grupy.
• User-agent: * z Disallow: / zamyka stronę dla wszystkich, także dla Googlebota (robota Google) i robotów wyszukiwania AI. Tak bywa po przeniesieniu wersji testowej strony.
• Zapora sieciowa albo ochrona przed botami działa niezależnie od robots.txt. To program na serwerze, który odrzuca podejrzany ruch. Perplexity opisuje, jak przepuścić w niej swoje roboty. OpenAI zaleca nie odrzucać zapytań z adresów IP, które publikuje dla swoich robotów.
• Plik, który zwraca błąd serwera (kod 5xx). Google przez pierwsze 12 godzin wstrzymuje wtedy skanowanie, czyli pobieranie, całej strony.
• Reguły tylko w domenie głównej. Subdomena ze sklepem albo blogiem ma własny plik i nie dziedziczy reguł.

Kiedy blokada robotów AI ma sens

Blokada robotów do trenowania to uczciwa decyzja, np. dla wydawcy, który zarabia na artykułach, albo dla firmy z płatnymi materiałami. Pamiętaj, że działa na przyszłość. Anthropic pisze wprost, że blokada ClaudeBot dotyczy przyszłych materiałów ze strony.

Blokada robotów wyszukiwania oznacza, że znikniesz z odpowiedzi danego asystenta. Jeśli roboty obciążają serwer, lepiej je spowolnić niż blokować. Anthropic obsługuje nieoficjalną regułę Crawl-delay, czyli przerwę między pobraniami. Google tej reguły nie obsługuje.

Jak sprawdzić to samemu

1. Otwórz twojadomena.pl/robots.txt. Brak pliku (błąd 404) oznacza, że roboty mogą czytać całą stronę.
2. Wyszukaj w pliku nazwy OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot i Googlebot. Przy każdej sprawdź, czy w jej grupie jest Disallow: /.
3. Jeśli danej nazwy nie ma, robot stosuje grupę User-agent: *. Sprawdź, czy tam nie ma Disallow: /.
4. W Search Console, darmowym narzędziu Google dla właścicieli stron, otwórz Ustawienia i raport o pliku robots.txt. Zobaczysz, kiedy Google ostatnio pobrał plik i czy były błędy.
5. Po zmianie odczekaj dobę, zanim ocenisz efekt w asystentach.

Co sprawdza bezpłatny skan

• Pobiera /robots.txt i dla 9 robotów ustala, którą grupę reguł stosują: grupę ze swoją nazwą albo User-agent: *.
• Zgłasza blokadę całej strony (Disallow: / albo /* bez Allow: /). Blokada OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot albo Googlebota to uwaga pilna.
• Blokada samych robotów do trenowania (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended) to wskazówka, bo może być Twoim wyborem. Jeśli robots.txt mówi to wprost zapisem Content-Signal: ai-train=no, skaner uznaje blokadę za świadomą decyzję: nie zgłasza uwagi, tylko wpisuje ją do tego, co działa dobrze.
• Reguły dla pojedynczych katalogów, np. Disallow: /koszyk/, zostawia Twojej ocenie, bo zwykle są celowe.
• Sprawdza nagłówek serwera X-Robots-Tag, czyli ukrytą informację wysyłaną razem ze stroną. Noindex albo none wyłącza stronę z wyników Google i Bing, a wpis dla jednego robota, np. googlebot: noindex, tylko z jego wyszukiwarki. Każda taka blokada to uwaga pilna w sekcji SEO. Samo noai albo noimageai to wskazówka w sekcji Widoczność w AI: nieoficjalna prośba do narzędzi AI, której Google i Bing nie stosują.
• Szanuje Twój plik: jeśli robots.txt zamyka stronę dla robota AudytowniaBot albo dla wszystkich robotów (User-agent: *), skan się nie uruchamia. Komunikat powie wtedy, czy robot Google też jest zablokowany.

Pytania i odpowiedzi