Meklētājprogrammas robots ir atbildīgs par tīmekļa lapu pārmeklēšanu. Programma automātiski nolasa datus no visām vietnēm un reģistrē tos pašā meklētājprogrammā saprotamā formā, lai vēlāk sistēma parādītu lietotājam vispiemērotākos rezultātus.
Funkcijas
Visa indeksētā informācija tiek ierakstīta kopējā datubāzē.
Meklēšanas robots ir programma, kas automātiski pārvietojas pa interneta lapām, pieprasot nepieciešamos dokumentus un saņemot pārmeklēto vietņu struktūru. Robots patstāvīgi izvēlas skenējamās lapas. Vairumā gadījumu skenējamās vietas tiek izvēlētas nejauši.
Botu veidi
Nepareizi funkcionējošs robots ievērojami palielina tīkla un servera slodzi, kas var izraisīt resursa nepieejamību.
Katrā meklētājprogrammā ir vairākas programmas, ko sauc par robotiem. Katrs no viņiem var veikt noteiktu funkciju. Piemēram, vietnē Yandex daži roboti ir atbildīgi par RSS ziņu plūsmu skenēšanu, kas būs noderīgi emuāru indeksēšanai. Ir arī programmas, kas meklē tikai attēlus. Tomēr vissvarīgākais ir indeksēšanas robots, kas ir pamats jebkurai meklēšanai. Ir arī ātrs papildu robots, kas paredzēts, lai meklētu jaunumus ziņu plūsmās un pasākumos.
Skenēšanas procedūra
Vēl viens veids, kā novērst satura pārmeklēšanu, ir izveidot piekļuvi vietnei, izmantojot reģistrācijas paneli.
Apmeklējot vietni, programma skenē failu sistēmu, lai atrastu robots.txt instrukciju failus. Ja ir dokuments, sākas dokumentā ierakstīto direktīvu lasīšana. Robots.txt var aizliegt vai, gluži pretēji, atļaut skenēt noteiktas vietnes lapas un failus.
Skenēšanas process ir atkarīgs no programmas veida. Dažreiz roboti lasa tikai lapu nosaukumus un dažas rindkopas. Dažos gadījumos skenēšana tiek veikta visā dokumentā atkarībā no HTML marķējuma, kas var darboties arī kā līdzeklis galveno frāžu noteikšanai. Dažas programmas specializējas slēptos vai meta tagos.
Pievienošana sarakstam
Katrs tīmekļa pārzinis var neļaut meklētājprogrammai pārmeklēt lapas, izmantojot robots.txt vai META tagu. Arī vietnes veidotājs var manuāli pievienot vietni indeksēšanas rindai, taču tās pievienošana nenozīmē, ka robots nekavējoties pārmeklēs vēlamo lapu. Lai pievienotu vietni rindai, meklētājprogrammas nodrošina arī īpašas saskarnes. Vietnes pievienošana ievērojami paātrina indeksēšanas procesu. Ātrai reģistrācijai meklētājprogrammā var izmantot arī tīmekļa analīzes sistēmas, vietņu direktorijus utt.
