SEO

Robots.txt a noindex — czym różnią się zasady skanowania i indeksowania stron?

Robots.txt i noindex bywają traktowane jak zamienne sposoby ukrywania stron, choć odnoszą się do różnych działań robota: pobierania zasobu i uwzględniania treści w indeksie. To rozróżnienie ma praktyczne znaczenie, bo zablokowanie skanowania publicznej strony może uniemożliwić odczytanie umieszczonej na niej dyrektywy noindex, a robots.txt nie chroni poufnych danych przed dostępem.

Robots.txt i noindex: kontrola skanowania a kontrola indeksowania

Robots.txt reguluje, czy robot respektujący te zasady może pobrać zasób. Noindex dotyczy natomiast obecności treści w indeksie i wymaga, by robot odczytał tę instrukcję. To kontrola dwóch różnych etapów: pobrania strony i uwzględnienia jej w wynikach.

Robots.txt nie ogranicza dostępu do zasobu — do ochrony prywatnych treści potrzebna jest odrębna kontrola dostępu.

Jak robot odczytuje reguły robots.txt

Plik robots.txt nie obejmuje automatycznie wszystkich adresów witryny: jego zakres wyznaczają protokół, host i port. Dlatego reguła zapisana dla jednego wariantu adresu nie musi dotyczyć pozostałych. Google najpierw wybiera grupę User-agent właściwą dla robota; gwiazdka (*) oznacza grupę ogólną. Dopiero potem porównuje ścieżkę żądanego adresu z regułami Allow i Disallow.

Reguły mogą obejmować prefiksy ścieżek, a nie tylko pojedynczy adres. Przykładowo Disallow: /warianty/ blokuje ścieżki zaczynające się od tego fragmentu, natomiast Allow: /warianty/informacja$ dopuszcza dokładny adres zakończony słowem „informacja”; znak $ oznacza koniec dopasowania. Adres z dodatkowymi parametrami może więc nie pasować do tego wyjątku.

Jeśli kilka reguł pasuje do tej samej ścieżki, dla Google pierwszeństwo ma dłuższe dopasowanie. Gdy konkurujące reguły mają równoważne dopasowanie, wygrywa mniej ograniczająca — na przykład Allow zamiast Disallow. O wyniku decyduje zatem nie sama obecność zakazu, lecz to, która reguła najlepiej pasuje do konkretnego adresu.

Gdzie umieścić noindex i jak działa ta dyrektywa

Dyrektywę noindex umieszcza się tam, skąd robot może odczytać instrukcję dla konkretnego zasobu. W przypadku strony HTML może ją zawierać element meta robots w sekcji head. Dla pliku bez takiej sekcji, na przykład PDF-u, instrukcję można przekazać w nagłówku HTTP X-Robots-Tag odpowiedzi tego pliku. Reguła dodana do strony, która jedynie linkuje do PDF-u, nie przenosi się na sam dokument.

Plik robots.txt nie jest obsługiwanym miejscem deklarowania noindex. Nie należy też mylić tej dyrektywy z innymi instrukcjami robots: nofollow dotyczy linków, a nosnippet — prezentacji fragmentu wyniku. Żadna z nich nie zastępuje wykluczenia zasobu z indeksu. Po zmianie instrukcji robot musi ponownie pobrać i przetworzyć zasób; samo dodanie noindex nie oznacza natychmiastowego usunięcia go ze wszystkich miejsc.

Dlaczego blokada w robots.txt może uniemożliwić odczytanie noindex

Jeśli robots.txt blokuje pobranie strony, robot nie może odczytać odpowiedzi, w której znajduje się dyrektywa noindex. Blokada skanowania nie jest więc równoznaczna z wykluczeniem z indeksu: adres znany robotowi z innych sygnałów, na przykład linków, może nadal pojawiać się w wynikach, mimo że jego treść nie została pobrana.

W przypadku publicznej strony przeznaczonej do wykluczenia z indeksu robot musi mieć możliwość jej pobrania, aby odczytać noindex. Inaczej należy traktować zasób poufny: nie należy udostępniać go robotowi tylko po to, by przekazać tę dyrektywę, ponieważ robots.txt nie zastępuje kontroli dostępu.

Jak sprawdzić, czy strona jest skanowana i wykluczona z indeksu

Odbiór wdrożenia powinien osobno potwierdzić, że robot może pobrać publiczną stronę i że jej odpowiedź zawiera dyrektywy zgodne z zamierzonym statusem indeksowania. Samo ustawienie opcji w CMS nie wystarcza — dyrektywy mogą być utrzymywane także przez serwer lub cache.

  • Sprawdź odpowiedź: zweryfikuj publicznie zwracany HTML i nagłówki HTTP, a także reguły serwera oraz cache. To one pokazują, co faktycznie otrzymuje robot, nie samo ustawienie widoczne w CMS.
  • Przetestuj zakres reguł: sprawdź adresy przeznaczone do indeksowania, celowo wykluczone oraz takie, które nie powinny być objęte regułą. Dzięki temu można wykryć zarówno brak oczekiwanej dyrektywy, jak i jej niezamierzony zasięg.
  • Porównaj stan Google: zestaw bieżący test adresu z informacją o wersji przetworzonej wcześniej przez Google. Zapisz dokładny URL i datę sprawdzenia, ponieważ wyniki mogą dotyczyć różnych momentów.

Poprawna aktualna odpowiedź potwierdza konfigurację, ale nie oznacza, że dane Google już się zaktualizowały. Podobnie zezwolenie na pobranie strony i brak noindex nie gwarantują jej indeksacji.

Kategorie: SEO

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Wymagane pola są oznaczone *