Jak ponownie przesłać zaktualizowany lub nowy plik Robots.txt

roboty txt

Nasza agencja zajmuje się doradztwo w zakresie wyszukiwania organicznego dla kilku dostawców SaaS w branży. Klient, z którym niedawno rozpoczęliśmy współpracę, wykonał dość standardową praktykę, umieszczając swoją aplikację w subdomenie i przenosząc witrynę z broszurami do domeny podstawowej. Jest to standardowa praktyka, ponieważ umożliwia zarówno zespołowi produkcyjnemu, jak i zespołowi marketingowemu dokonywanie aktualizacji w razie potrzeby bez jakiejkolwiek zależności od drugiego.

Pierwszym krokiem w analizie stanu ich organicznych wyników wyszukiwania było zarejestrowanie zarówno domen broszur, jak i aplikacji w witrynie Webmasterzy. Wtedy zidentyfikowaliśmy natychmiastowy problem. Wszystkie strony aplikacji były blokowane przed indeksowaniem przez wyszukiwarki. Przejrzeliśmy do ich wpisu robots.txt w witrynie Webmasterzy i natychmiast zidentyfikowaliśmy problem.

Przygotowując się do migracji, ich zespół programistów nie chciał, aby poddomena aplikacji była indeksowana przez wyszukiwanie, więc zablokowali dostęp do wyszukiwarek. Plik robots.txt to plik znajdujący się w katalogu głównym witryny - twojadomena.com/robots.txt - dzięki temu wyszukiwarka wie, czy powinna indeksować witrynę. Możesz napisać reguły zezwalające lub zabraniające indeksowania całej witryny lub określonych ścieżek. Możesz także dodać wiersz określający plik mapy witryny.

Pandemia Robots.txt plik zawierał następujący wpis, który uniemożliwiał pobieranie i indeksowanie witryny w rankingach wyników wyszukiwania:

User-agent: * Disallow: /

Powinien być napisany następująco:

Agent użytkownika: * Zezwalaj: /

Ten ostatni zapewnia każdej wyszukiwarce indeksującej witrynę uprawnienia dostępu do dowolnego katalogu lub pliku w witrynie.

Świetnie… więc teraz, gdy robots.txt plik jest doskonały, ale skąd Google wie i kiedy ponownie sprawdzi witrynę? Cóż, możesz bezwzględnie poprosić Google o sprawdzenie pliku robots.txt, ale nie jest to zbyt intuicyjne.

Nawiguj do Konsola wyszukiwania Google Search Console do Indeksowanie> Tester pliku robots.txt. W Testerze zobaczysz zawartość ostatnio przeszukanego pliku robots.txt. Jeśli chcesz ponownie przesłać plik robots.txt, kliknij Prześlij, a pojawi się wyskakujące okienko z kilkoma opcjami.

prześlij ponownie plik robots.txt

Ostatnią opcją jest Poproś Google o aktualizację. Kliknij niebieski przycisk Prześlij obok tej opcji, a następnie przejdź z powrotem do pliku Indeksowanie> Tester pliku robots.txt opcja menu, aby ponownie załadować stronę. Powinien pojawić się zaktualizowany plik robots.txt wraz z datownikiem wskazującym, że został ponownie zindeksowany.

Jeśli nie widzisz zaktualizowanej wersji, możesz kliknąć Prześlij i wybierz Wyświetl przesłaną wersję aby przejść do rzeczywistego pliku robots.txt. Wiele systemów będzie buforować ten plik. W rzeczywistości IIS generuje ten plik dynamicznie na podstawie reguł wprowadzonych za pośrednictwem ich interfejsu użytkownika. Najprawdopodobniej będziesz musiał zaktualizować reguły i odświeżyć pamięć podręczną, aby opublikować nowy plik robots.txt.

tester-robotów-txt

Co o tym myślisz?

Ta strona używa Akismet do redukcji spamu. Dowiedz się, jak przetwarzane są dane komentarza.