Noindex, canonical i mapa witryny: dlaczego Google nie widzi strony

Trzy różne rzeczy: skanowanie, indeksowanie i adres kanoniczny

Skanowanie to pobranie strony przez robota. Decyduje o nim plik robots.txt.

Indeksowanie to zapisanie strony w bazie Google, z której powstają wyniki. Decyduje o nim między innymi noindex.

Adres kanoniczny (canonical) to ten jeden adres, który Google pokazuje, gdy ta sama treść jest pod kilkoma adresami. Przykład: adres z ukośnikiem na końcu i bez niego.

Te trzy rzeczy łatwo pomylić, a każda pomyłka działa inaczej. Blokada w robots.txt nie usuwa strony z Google. Noindex nie zatrzymuje robota. Zły canonical przenosi widoczność na inny adres.

Noindex: jedna linijka, która wyłącza stronę

Noindex ma dwie formy, które działają tak samo. Pierwsza to znacznik <meta name="robots" content="noindex"> w sekcji <head>, czyli w niewidocznej części kodu strony. Druga to nagłówek serwera X-Robots-Tag: noindex, czyli informacja, którą serwer wysyła razem ze stroną. Nagłówek działa też dla plików PDF i obrazów.

Najczęściej noindex zostaje po wersji testowej strony. W WordPressie dodaje go zaznaczone pole „Proś wyszukiwarki o nieindeksowanie tej witryny” w Ustawienia → Czytanie. Bywa też ustawiony we wtyczce SEO dla kategorii albo tagów.

Po usunięciu noindex Google musi stronę ponownie odwiedzić. Google pisze, że przy mniej ważnych stronach może to trwać miesiące. Dlatego poproś o zindeksowanie w Search Console.

Uważaj na strony budowane skryptem. Gdy Google trafi na noindex w HTML, czyli w kodzie wysłanym przez serwer, może pominąć JavaScript. Skrypt, który dopiero w przeglądarce usuwa noindex, wtedy nie pomoże.

robots.txt to nie noindex

Google pisze, że robots.txt służy głównie do tego, żeby roboty nie przeciążały serwera. Nie służy do ukrywania stron. Adres zablokowany w robots.txt może pojawić się w wynikach bez opisu, jeśli linkują do niego inne strony.

Jeśli chcesz usunąć stronę z Google, wpuść robota i ustaw noindex. Nie łącz tych dwóch reguł. Przy blokadzie w robots.txt robot nigdy nie zobaczy noindex.

Canonical: który adres jest prawdziwy

Znacznik <link rel="canonical" href="https://twojadomena.pl/oferta/"> w sekcji <head> mówi, który adres jest właściwy. Każda strona powinna wskazywać samą siebie, pełnym adresem z https://.

Google odradza adresy względne, czyli zapisane bez domeny, np. /oferta/. Potrafią zaszkodzić, np. gdy robot trafi na wersję testową strony.

Mapa witryny, czyli lista adresów strony dla wyszukiwarek, ma zawierać tylko adresy kanoniczne, które mają być w Google. Typowe błędy:

• canonical do strony głównej na wszystkich podstronach, bo został w szablonie;
• canonical do innej domeny po skopiowaniu szablonu albo po przenosinach;
• wersja z http:// albo z www, gdy strona działa pod innym adresem;
• inny adres w mapie witryny niż w znaczniku canonical.

Jak to sprawdzić w Search Console

1. Wklej adres podstrony w pole u góry Search Console. To Narzędzie do sprawdzania adresów URL.
2. Przeczytaj stan: czy adres jest w Google, a jeśli nie, to dlaczego. Powodem bywa noindex, blokada w robots.txt albo duplikat, czyli kopia innej strony.
3. Uruchom test wersji opublikowanej, żeby zobaczyć stan po Twojej poprawce.
4. Gdy wszystko się zgadza, kliknij Poproś o zindeksowanie.
5. W raporcie Indeksowanie stron zobaczysz naraz wszystkie adresy z tym samym problemem. Stan „Strona zeskanowana, ale jeszcze niezindeksowana” według Google nie wymaga ponownego zgłaszania adresu.

Jak sprawdzić to samemu

1. Otwórz źródło strony (Ctrl+U, na Macu Cmd+Option+U) i wyszukaj noindex.
2. W Chrome wciśnij F12 i otwórz zakładkę Network (Sieć). Odśwież stronę i kliknij pierwszy wiersz na liście. W nagłówkach odpowiedzi sprawdź, czy nie ma X-Robots-Tag: noindex.
3. W źródle wyszukaj canonical i sprawdź, czy adres jest pełny i taki sam jak adres strony.
4. W WordPressie zajrzyj do Ustawienia → Czytanie: pole „Proś wyszukiwarki o nieindeksowanie tej witryny” ma być odznaczone.
5. Wpisz w Google site:twojadomena.pl i zobacz, które podstrony się pokazują. To tylko przybliżenie. Pełną listę daje Search Console.

Co sprawdza bezpłatny skan

• Sprawdza na stronie głównej znaczniki <meta name="robots">, <meta name="googlebot"> i <meta name="bingbot"> oraz nagłówek X-Robots-Tag. Noindex albo none (none znaczy noindex i nofollow naraz) wyłącza stronę z wyników. Znacznik dla jednego robota (googlebot albo bingbot) i taki sam wpis w nagłówku, np. googlebot: noindex, dotyczą tylko jego wyszukiwarki. Każda taka blokada to uwaga pilna, także gdy dotyczy tylko Google albo tylko Binga. Samo noai w nagłówku to inna sprawa: Google i Bing go nie stosują, więc raport pokazuje tę prośbę tylko jako wskazówkę w sekcji Widoczność w AI.
• Sprawdza noindex na przeskanowanych podstronach. Pomija adresy, które zwykle celowo są poza Google: regulamin, politykę, koszyk, konto, logowanie i zamówienie.
• Sprawdza canonical. Brak to uwaga do poprawy, adres w innej domenie to uwaga pilna.
• Szuka mapy witryny pod /sitemap.xml i w liniach Sitemap: w robots.txt. Brak mapy to uwaga do poprawy.
• Podstrony z linków i z mapy witryny, które zwracają 404 albo 410 (strony nie ma) albo błąd serwera 5xx, zgłasza jako uwagę pilną. Kody 401, 403, 429, 503 i 508 zwykle oznaczają logowanie, ochronę przed botami albo limit zapytań lub zasobów hostingu, więc takich podstron, tak jak tych, które nie odpowiedziały w czasie skanu, nie liczy jako niedziałających.
• Sprawdza też, czy robots.txt nie zamyka strony dla Googlebota i robotów wyszukiwania AI.

Pytania i odpowiedzi