Jak wyszukiwarki wyszukują, przeszukują i indeksują Twoje treści?

Nieczęsto polecam klientom budowanie własnych systemów e-commerce lub systemów zarządzania treścią ze względu na niewidoczne obecnie opcje rozszerzalności – skupiające się głównie na wyszukiwaniu i optymalizacji społecznościowej. Napisałem artykuł nt wybór CMS-ai nadal pokazuję go firmom, z którymi współpracuję, które kuszą się, aby zbudować swój system zarządzania treścią.

Jak działają wyszukiwarki?

Zacznijmy od tego, jak działają wyszukiwarki. Oto świetny przegląd od Google.

Są jednak absolutnie sytuacje, w których niestandardowa platforma jest koniecznością. Jeśli jest to optymalne rozwiązanie, nadal namawiam moich klientów, aby zbudowali niezbędne funkcje w celu optymalizacji swoich witryn pod kątem wyszukiwania i mediów społecznościowych. Trzy kluczowe cechy są koniecznością.

• Robots.txt
• XML Sitemap
• Metadane

Co to jest plik Robots.txt?

Robots.txt plik - plik robots.txt file to zwykły plik tekstowy w katalogu głównym witryny, który informuje wyszukiwarki, co powinny uwzględnić, a co wykluczyć z wyników wyszukiwania. W ostatnich latach wyszukiwarki żądały również dołączenia w pliku ścieżki do mapy witryny XML. Oto mój przykład, który umożliwia wszystkim botom indeksowanie mojej witryny, a także kieruje je do mojej mapy witryny XML:

User-agent: *
Sitemap: https://martech.zone/sitemap_index.xml

Co to jest mapa witryny XML?

XML Sitemap - Lubić HTML służy do przeglądania w przeglądarce, XML jest napisany tak, aby można go było programowo trawić. Jakiś XML mapa witryny to tabela zawierająca każdą stronę w Twojej witrynie i datę jej ostatniej aktualizacji. Mapy witryn XML można także łączyć łańcuchowo, co oznacza, że ​​jedna mapa witryny XML może odwoływać się do innej. To świetne rozwiązanie, jeśli chcesz logicznie uporządkować i podzielić elementy swojej witryny (Najczęściej zadawane pytania, strony, produkty itp.) do własnych map witryn.

Mapy witryn są niezbędne, aby skutecznie informować wyszukiwarki o tym, jaką treść utworzyłeś i kiedy była ona ostatnio edytowana. Proces wyszukiwarki podczas odwiedzania Twojej witryny nie będzie skuteczny bez wdrożenia mapy witryny i fragmentów.

Bez mapy witryny XML, ryzykujesz, że Twoje strony nigdy nie zostaną odkryte. Co się stanie, jeśli masz nową stronę docelową produktu, do której nie prowadzą żadne linki wewnętrzne ani zewnętrzne? Jak Google to odkrywa? Cóż, dopóki nie zostanie znaleziony link do niego, nie zostaniesz odkryty. Na szczęście wyszukiwarki umożliwiają systemom zarządzania treścią i platformom e-commerce rozwinięcie przed nimi czerwonego dywanu!

1. Google odkrywa zewnętrzny lub wewnętrzny link do Twojej witryny.
2. Google indeksuje stronę i klasyfikuje ją według jej zawartości oraz zawartości i jakości witryny, do której znajduje się link odsyłający.

Z mapą witryny XML, nie pozostawiasz odkrycia ani aktualizacji swoich treści przypadkowi! Zbyt wielu programistów próbuje iść na skróty, co również im szkodzi. Publikują ten sam fragment rozszerzony w całej witrynie, dostarczając informacje, które nie są istotne dla informacji o stronie. Publikują mapę witryny z tymi samymi datami na każdej stronie (lub wszystkie są aktualizowane podczas aktualizacji jednej strony), tworząc kolejki dla wyszukiwarek, że oszukują system lub są niewiarygodne. Albo w ogóle nie pingują wyszukiwarek… więc wyszukiwarka nie zdaje sobie sprawy, że została opublikowana nowa informacja.

Co to są metadane? Mikrodane? Rich Snippets?

Fragmenty rozszerzone to dokładnie otagowane mikrodane ukryte przed widzem, ale widoczne na stronie, z których mogą korzystać wyszukiwarki lub serwisy społecznościowe. Nazywa się to metadanymi. Google spełnia Schema.org jako standard do dołączania takich elementów, jak obrazy, tytuły, opisy i mnóstwo innych fragmentów informacyjnych, takich jak cena, ilość, informacje o lokalizacji, oceny itp. Schemat znacznie poprawi widoczność Twojej wyszukiwarki w wyszukiwarce i prawdopodobieństwo kliknięcia przez użytkownika.

Facebook używa OpenGraph protokół (oczywiście nie mogą być takie same), X ma nawet fragment określający Twój profil X. Coraz więcej platform wykorzystuje te metadane do podglądu osadzonych linków i innych informacji podczas ich publikacji.

Twoje strony internetowe mają ukryte znaczenie, które ludzie rozumieją, kiedy czytają strony internetowe. Ale wyszukiwarki mają ograniczone zrozumienie tego, co jest omawiane na tych stronach. Dodając dodatkowe znaczniki do kodu HTML swoich stron internetowych - znaczniki o treści „Hej wyszukiwarce, te informacje opisują ten konkretny film, miejsce, osobę lub wideo” - możesz pomóc wyszukiwarkom i innym aplikacjom lepiej zrozumieć Twoje treści i wyświetlać je w przydatny, odpowiedni sposób. Mikrodane to zestaw tagów, wprowadzony w HTML5, który to umożliwia.

Schema.org, co to jest MicroData?

Oczywiście żadne z nich nie jest wymagane… ale bardzo je polecam. Na przykład, gdy udostępniasz link na Facebooku i nie pojawia się żadne zdjęcie, tytuł ani opis… niewiele osób będzie zainteresowanych i faktycznie kliknie. A jeśli fragmentów schematu nie ma na każdej stronie, oczywiście nadal możesz pojawiać się w wynikach wyszukiwania… ale konkurenci mogą Cię pokonać, gdy wyświetlą dodatkowe informacje.

Zarejestruj swoje mapy witryn XML w Search Console

Jeśli zbudowałeś własną platformę treści lub handlu elektronicznego, konieczne jest posiadanie podsystemu, który wysyła polecenia ping do wyszukiwarek, publikuje mikrodane, a następnie udostępnia prawidłową mapę witryny XML zawierającą treść lub informacje o produkcie, które można znaleźć!

Gdy plik robots.txt, mapy witryny XML i fragmenty rozszerzone zostaną dostosowane i zoptymalizowane w całej witrynie, nie zapomnij zarejestrować się w każdej wyszukiwarce Szukaj Console (Znany także jako Webmaster narzędzie), za pomocą którego możesz monitorować stan i widoczność swojej witryny w wyszukiwarkach. Możesz nawet określić ścieżkę mapy witryny, jeśli nie ma jej na liście, i sprawdzić, jak wykorzystuje ją wyszukiwarka, czy występują z nią jakieś problemy, a nawet jak je poprawić.

Rozwiń czerwony dywan przed wyszukiwarkami i mediami społecznościowymi, a zauważysz, że Twoja witryna ma lepszy ranking, Twoje wpisy na stronach wyników wyszukiwania są częściej klikane, a Twoje strony częściej udostępniają się w mediach społecznościowych. To wszystko się sumuje!

Jak współdziałają plik Robots.txt, mapy witryn i metadane

Połączenie wszystkich tych elementów przypomina rozkładanie czerwonego dywanu dla Twojej witryny. Oto proces indeksowania wykonywany przez bota wraz ze sposobem, w jaki wyszukiwarka indeksuje Twoją treść.

1. Twoja witryna zawiera plik robots.txt, który zawiera również odniesienie do lokalizacji mapy witryny XML.
2. Twój system CMS lub system e-commerce aktualizuje mapę witryny XML o dowolną stronę i datę publikacji lub datę edycji.
3. Twój system CMS lub system e-commerce wysyła polecenie ping do wyszukiwarek, aby poinformować je, że Twoja witryna została zaktualizowana. Możesz pingować je bezpośrednio lub użyć RPC i usługi takiej jak Ping-o-matic, aby przekazać je do wszystkich kluczowych wyszukiwarek.
4. Wyszukiwarka natychmiast powraca, uwzględnia plik Robots.txt, znajduje nowe lub zaktualizowane strony za pomocą mapy witryny, a następnie indeksuje stronę.
5. Podczas indeksowania strony wykorzystuje ona tytuł, metaopis, elementy HTML5, nagłówki, obrazy, znaczniki alt i inne informacje, aby prawidłowo zaindeksować stronę pod kątem odpowiednich wyszukiwań.
6. Podczas indeksowania Twojej strony wykorzystuje ona tytuł, metaopis i mikrodane fragmentu rozszerzonego, aby ulepszyć stronę wyników wyszukiwania.
7. Ponieważ inne odpowiednie witryny zawierają linki do Twoich treści, Twoje treści są lepiej oceniane.
8. Gdy Twoje treści są udostępniane w mediach społecznościowych, określone informacje w postaci fragmentów rozszerzonych mogą pomóc w prawidłowym wyświetleniu podglądu treści i skierowaniu ich do Twojego profilu społecznościowego.