Pewnie czasami zastanawiasz się skąd wyszukiwarka w swojej bazie posiada tyle podstron i co decyduje o kolejności ich wyświetlenia.
Otóż, aby jak najlepiej przybliżyć ten temat zacznę od wyjaśnienia w jaki sposób wyszukiwarka zbiera dane do swojej bazy.
W celu indeksacji ( czyli dodaniu strony do bazy danych wyszukiwarki ) stron internetowych, wyszukiwarki wykorzystują programy inaczej nazywane: botami, pająkami, które przemierzają internet podążając za linkami na stronach, wykonują kopię odwiedzanej strony, która następnie jest przetwarzana przez pozostałe części złożonego oprogramowania wyszukiwarki i dodawana do indeksu.
Oczywiście adres strony można dodać również samodzielnie do wyszukiwarki wypełniając odpowiedni formularz, witryna trafia na listę oczekujących, gdzie w bliżej nieokreślonej przyszłości zostaje odwiedzona przez bota.