AudytowniaBot
AudytowniaBot to robot Audytowni, bezpłatnego skanera stron JFlow Labs. Odwiedza stronę tylko wtedy, gdy ktoś poprosi o jej sprawdzenie, i wysyła przy tym kilkanaście lekkich zapytań.
Kim jest AudytowniaBot
AudytowniaBot pobiera strony dla serwisu https://audyt.jflowlabs.pl. Prowadzi go JFlow Labs Jonasz Jankowski z Mikołowa, NIP 6351877080.
Robot przedstawia się nagłówkiem User-Agent, czyli nazwą programu wysyłaną z każdym zapytaniem:
Mozilla/5.0 (compatible; AudytowniaBot/1.0; +https://audyt.jflowlabs.pl/bot/)
Skąd przychodzą zapytania
Bezpłatny skan działa w sieci Cloudflare, więc zapytania przychodzą z adresów IP Cloudflare, a nie z jednego stałego adresu. Cloudflare dokłada do nich nagłówek CF-Worker: jflowlabs.pl, po którym też je rozpoznasz.
Przy płatnym pełnym audycie ten sam robot sprawdza więcej podstron, nawet kilkadziesiąt. Uruchamiam go wtedy sam, z własnego komputera, i pobiera strony po kilka naraz.
Kiedy robot odwiedza stronę
Robot rusza tylko na prośbę człowieka, gdy:
- ktoś wpisuje adres strony na audyt.jflowlabs.pl albo w polu skanu na jflowlabs.pl;
- asystent AI, na przykład Claude albo ChatGPT, uruchamia skan przez MCP (złącze dla narzędzi AI), bo poprosił go o to użytkownik;
- przygotowuję płatny pełny audyt.
Czego robot nie robi
- nie przegląda internetu sam z siebie i nie wraca na strony według harmonogramu;
- wybiera podstrony tylko z tej samej domeny i nie chodzi po linkach do innych serwisów;
- nie pobiera obrazków, stylów, skryptów ani czcionek i nie uruchamia JavaScriptu;
- nie wypełnia formularzy, nie loguje się i niczego nie dodaje do koszyka. Wysyła tylko zapytania GET, czyli zwykłe pobranie strony;
- nie obchodzi zabezpieczeń, haseł ani zapór i nie pobiera niczego, czego strona nie pokazuje wszystkim odwiedzającym;
- nie buduje wyszukiwarki ani zbioru danych do trenowania AI.
Ile zapytań wysyła jeden skan
Bezpłatny skan wysyła do sprawdzanej strony zwykle 12 zapytań, najwyżej 14, plus przekierowania, jeśli strona ich używa. Każde zapytanie ma limit czasu (od 3 do 6,5 sekundy) i rozmiaru (najwyżej 650 KB), więc robot nie obciąża serwera dużymi pobraniami.
| Co robot pobiera | Ile zapytań | Po co |
|---|---|---|
| /robots.txt | 1 | zawsze jako pierwsze: sprawdza, czy właściciel nie zablokował robota |
| strona główna (podany adres) | 1 | główna część raportu |
| mapa witryny: /sitemap.xml albo mapa wskazana w robots.txt | 1–3 | lista podstron do wyboru |
| /llms.txt | 1 | czy strona ma plik z opisem dla asystentów AI |
| podstrony, na przykład oferta, kontakt i regulamin | do 3 | sprawdzenie najważniejszych podstron |
| /.well-known/security.txt | 1 | czy strona podaje kontakt w sprawach bezpieczeństwa |
| strona główna przez http:// i https://, z www i bez www | do 3 | czy wszystkie wersje adresu prowadzą do jednej strony z https; robot czyta tylko krótką odpowiedź serwera, bez treści strony |
| losowy, nieistniejący adres | 1 | czy strona zwraca poprawny błąd 404, czyli informację, że takiej strony nie ma |
Sprawdzenia domeny i poczty
DNS to spis, który mówi, gdzie działa strona i poczta domeny. Rekordy domeny, na przykład SPF, DKIM i DMARC, które chronią pocztę przed podszywaniem się, robot sprawdza przez publiczny serwer DNS Cloudflare (1.1.1.1). To około 10 zapytań DNS. Nie trafiają one na serwer strony, tylko do serwerów DNS domeny.
Jak zablokować robota
Plik robots.txt zawiera zasady dla robotów. Leży w głównym katalogu strony, pod adresem twojadomena.pl/robots.txt. Dopisz do niego te dwie linie:
User-agent: AudytowniaBotDisallow: /
Jak robot czyta robots.txt
Robot zawsze zaczyna od pobrania robots.txt i czyta go według standardu RFC 9309. Stosuje grupę reguł ze swoją nazwą (User-agent: AudytowniaBot), a gdy jej nie ma, grupę dla wszystkich robotów (User-agent: *). Rozumie reguły Allow i Disallow ze znakami * i $. Gdy pliku nie ma albo serwer go nie oddaje (błąd albo brak odpowiedzi w 3 sekundy), robot przyjmuje, że reguł nie ma.
Jeśli te reguły zamykają adres, który ktoś chce sprawdzić, na przykład przez Disallow: /, robot kończy pracę na tym jednym zapytaniu. Nie pobiera strony głównej, mapy witryny ani podstron, nie robi sprawdzeń domeny i poczty i nie tworzy raportu. Osoba, która chciała sprawdzić stronę, zobaczy komunikat o blokadzie.
Podstron zamkniętych regułami, na przykład przez Disallow: /sklep/, robot nie pobiera i wybiera inne. Mapę witryny, plik llms.txt i sprawdzenia domeny z tabeli wyżej robi tylko wtedy, gdy sprawdzany adres jest otwarty.
Chcesz zamknąć stronę dla innych robotów, a skaner wpuścić? Dodaj grupę z jego nazwą: User-agent: AudytowniaBot i Allow: /. Robot stosuje wtedy tylko tę grupę.
Robota możesz też zablokować w zaporze serwera po nazwie AudytowniaBot w nagłówku User-Agent. Skaner nie tworzy wtedy raportu, bo raport z zablokowanej odpowiedzi byłby nierzetelny.
Powtórne skany i limity
Ten sam adres sprawdzony ponownie w ciągu godziny daje wynik z pamięci, bez nowych zapytań do Twojej strony, nawet gdy sprawdza go kilka osób. Każda z nich dostaje własny raport.
Z jednego adresu IP można zlecić ze strony najwyżej 6 skanów na minutę i 150 na dobę. Asystenci AI łączą się z kilku wspólnych adresów, więc dla nich limit to 30 wywołań na minutę i 200 skanów na dobę z jednego adresu. Cały serwis robi najwyżej 3000 skanów na dobę i 10 naraz. Dzięki temu Audytowni nie da się użyć do zasypania strony zapytaniami.
Co dzieje się z wynikami
Wynik trafia do prywatnego raportu, który widzi tylko osoba z linkiem. Raport nie jest publikowany ani indeksowany, a bezpłatny znika po 24 godzinach. Więcej: https://audyt.jflowlabs.pl/polityka-prywatnosci/.
Raport to wynik automatu z chwili skanu, według stałych reguł. Nie jest opinią o Twojej firmie, oceną jej pracy ani certyfikatem. Zasady, w tym to, jak wolno pokazywać raport o cudzej stronie, opisuje regulamin: https://audyt.jflowlabs.pl/regulamin/.
Raport może przytoczyć krótki fragment Twojej strony, na przykład tytuł albo jedno zdanie, jako przykład do poprawy. Pokazuje przy tym adres strony. Adresy e-mail i numery telefonów w cytatach, tytule i opisie strony są zamaskowane.
Jeśli strona należy do Ciebie, napisz do mnie i podaj jej adres. Usunę wszystkie raporty o tej stronie. Nie możesz zmienić pliku robots.txt? Na prośbę wyłączę skaner dla Twojej strony. Jeśli raport o Twojej stronie zawiera błąd, napisz: sprawdzę to i poprawię skaner.
Kontakt
Masz pytanie albo robot sprawia kłopot? Napisz na kontakt@jflowlabs.pl albo zadzwoń pod numer +48 780 632 008. Podaj domenę i przybliżony czas wizyty robota, a sprawdzę, co się stało.
Zgłoszenia dotyczące bezpieczeństwa samego serwisu opisuje plik https://audyt.jflowlabs.pl/.well-known/security.txt.