Wyszukiwarka internetowa do indeksowania witryn wykorzystuje specjalne programy-roboty, inaczej zwane pajączkami.
Pajączki znajdują i przeszukują strony WWW w internecie, budując listę
słów i wyrażeń znalezionych na każdej z nich. (Dużym źródłem linków jest
katalog stron
, katalog do którego warto dodawać strony.) Następnie przechowują spis (lub bazę)
słów i wyrażeń znalezionych na każdej stronie WWW, którą były w stanie
przeszukać. Moduł wyszukiwarki, który umieszcza strony WWW w bazie
danych, nazywa się modułem indeksującym. Użytkownicy wyszukiwarek mogą
następnie przeszukiwać utworzone spisy pod kątem danych słów i wyrażeń
kluczowych. Wyszukiwarki starają się dopasować wprowadzone przez
użytkownika jako zapytanie informacje do stron, które mogą je zawierać.
Praca pajączka wyszukiwarki polega na tym, że podąża on łączem pod dany adres internetowy (URL), następnie prosi serwer o przesłanie strony znajdującej się pod danym adresem. Serwer wysyła stronę do pajączka. Pajączek spisuje i indeksuje słowa i wyrażenia znalezione na stronie. Na podstawie jej zawartości i innych czynników obliczana jest „waga” każdej strony dla określonych słów i wyrażeń kluczowych. Uzyskany rezultat umieszczany jest w bazie. Gdy użytkownicy wysyłają zapytanie do wyszukiwarki, przeszukiwana jest baza danych utworzona przez pajączki i silnik wyszukiwarki. Spis stron aktualizowany jest regularnie – średnio co 4-8 tygodni.
Praca pajączka wyszukiwarki polega na tym, że podąża on łączem pod dany adres internetowy (URL), następnie prosi serwer o przesłanie strony znajdującej się pod danym adresem. Serwer wysyła stronę do pajączka. Pajączek spisuje i indeksuje słowa i wyrażenia znalezione na stronie. Na podstawie jej zawartości i innych czynników obliczana jest „waga” każdej strony dla określonych słów i wyrażeń kluczowych. Uzyskany rezultat umieszczany jest w bazie. Gdy użytkownicy wysyłają zapytanie do wyszukiwarki, przeszukiwana jest baza danych utworzona przez pajączki i silnik wyszukiwarki. Spis stron aktualizowany jest regularnie – średnio co 4-8 tygodni.
