Jak działa wyszukiwarka Google (crawl/render/index/ranking)
Dzień dobry, moi drodzy, to już kolejny odcinek kursu papaSEO. Dziś i cały czas pozostajemy u podstaw, ale na już odrobinkę bardziej zaawansowanym poziomie. Tak jak mówiłem w poprzednim odcinku poruszymy dziś kilka kolejnych pojęć leżących na samym początku. Można je ubrać w jedno w sumie pytanie – jak działa wyszukiwarka Google, ale nie od strony klienta, czy też użytkownika, tylko od strony logiki z jaką funkcjonuje.
- Czas trwania wstępu odcinka: 4:56 minut
- Czas trwania całego odcinka: 10:20 minut
Aby było jasne, nie zamierzam odkryć algorytmu Google , bo jest on nieznany do tego stopnia, że często sami twórcy podkreślają, że nie bardzo już wiedzą jak on działa. Z jednej strony wynika to z maszynowego procesu uczenia, któremu coraz bliżej do AI, przez co decyzje jakie podejmuje program, są poza percepcją twórców, ale też pewnie z powodów bezpieczeństwa. Byłoby sporym ryzykiem, gdyby była jakaś osoba, która w pewni rozumie logikę z jaką działa algorytm. Podejrzewam że ta wiedza jest pofragmentowana i jej części są w różnych zespołach na całym świecie.
Co musi zrobić Google aby wyświetlić naszą stronę w wynikach
Nie mniej część tego procesu jest całkiem jawna i co ważne jego znajomość pomaga zrozumieć co stoi za procesem od odwiedzenia naszej strony aż po jej pokazanie użytkownikom Google. Generalnie proces ten można podzielić na 3 lub 4 etapy, ale obecnie są to najczęściej 4 etapy. Skanowanie, Renderowanie, Indeksowanie i Rankowanie. Co ważne w każdym z tych etapów SEO ma coś do zrobienia, ma nawet realny wpływ na to czy te etapy przebiegną dla naszej strony optymalnie czy też nie.
Przygoda zaczyna się, od małych programów komputerowych nazywanych botami, czasem też robotami, Google Botami a nawet pająkami. Są ich miliardy i jedyne co robią to nieustannie odwiedzają znane im adresy stron internetowych w poszukiwaniu śladów kolejnych nowych dla nich adresów. Gdy takie znajdą, zapisują je w bazie danych i później odwiedzają.
Robotom Google możemy pozwolić lub zabronić wejść na naszą stronę
Co do zasady są to dość grzeczne roboty i można do pewnego stopnia nimi sterować. Czyli np. możemy im my jako właściciele stron powiedzieć gdzie mają wstęp a gdzie nie. I to jest takie sterowanie dość bezpośrednie. Taki robot zanim zacznie skanować naszą stronę, bo taka jest jego rola, najpierw sprawdza, czy mu na to pozwalamy. Jeśli nie, to nie podejmuje próby i idzie dalej. Za jakiś czas wróci i znów sprawdzi, czy coś się nie zmieniło.
Jeśli mu pozwolimy jednak na wejście na naszą stronę, czyli co do zasady w sytuacji w której nic nie robimy aby go zablokować, zaczyna on pobierać ją na serwery Google wraz z wszelkimi informacjami, które mogą być pomocne aby ją lepiej zrozumieć. Czyli na przykład, jeśli nasza strona ma jakieś odrębne pliki, potrzebne do jej poprawnego działania, robot to wykrywa i je również pobiera. Pobiera treść, informacje o jej układzie, obrazy, różne pliki z kodem do ładniejszego czy też sprawniejszego jej działania takie jak Javascript itd itd.
Gdy już to wszystko pobrał, wychodzi z naszej strony i na tym jego rola się kończy. Jeśli w danych jakie pobrał z naszej strony kolejne programy po stronie Google wykryją jakiś link, zapisują tę informację a dla robotów jest to sygnał że pojawiła się jakaś kolejna strona do odwiedzenia. Stąd można wnioskować i jest to słuszne założenie, że posiadanie np. przemyślanego linkowania wewnętrznego, jest bardzo pomocne w szybszym i sprawniejszym wykrywaniu nowych adresów w sieci.
