Indeksēšana ir process, kurā meklēšanas robots skenē failus, kas atrodas interneta resursā. Šī procedūra tiek veikta tā, lai vietne būtu pieejama meklēšanas rezultātos dažādiem meklētājprogrammas vaicājumiem. Starp lielākajām meklētājprogrammām šodien ir Yandex, kas veic šo skenēšanu savā veidā.
Instrukcijas
1. solis
Interneta vietnes indeksēšanu veic īpašas automātiskās programmas - meklēšanas roboti, kas automātiski izseko jaunu vietņu parādīšanos globālajā tīmeklī, nepārtraukti skenējot interneta lapas, kas atrodas internetā, failus un saites uz tām katrā resursā.
2. solis
Lai skenētu, robots dodas uz direktoriju, kurā resurss atrodas uz konkrēta servera. Izvēloties jaunu vietni, robots vadās pēc tā pieejamības. Piemēram, pastāv viedoklis, ka Yandex vispirms skenē vietnes, kas izveidotas domēnā krievu valodā un krievu valodā - ru, rf, su vai ua, un tikai pēc tam pāriet uz citiem reģioniem.
3. solis
Robots pārvietojas uz vietni un skenē tā struktūru, vispirms meklējot failus, kas norāda uz turpmāku meklēšanu. Piemēram, vietne tiek skenēta ar vietni Sitemap.xml vai robots.txt. Šos failus var izmantot, lai iestatītu meklēšanas robota darbību skenēšanas laikā. Izmantojot vietnes karti (sitemap.xml), robots iegūst precīzāku priekšstatu par resursa struktūru. Tīmekļa pārzinis izmanto robots.txt, lai definētu failus, kurus viņš nevēlētos rādīt meklēšanas rezultātos. Piemēram, tā var būt personiska informācija vai citi nevēlami dati.
4. solis
Skenējis šos divus dokumentus un saņēmis nepieciešamās instrukcijas, robots sāk parsēt HTML kodu un apstrādāt saņemtos tagus. Pēc noklusējuma, ja nav robots.txt faila, meklētājprogramma sāk apstrādāt visus serverī saglabātos dokumentus.
5. solis
Noklikšķinot uz saitēm dokumentos, robots saņem arī informāciju par citām vietnēm, kuras skenēšanai ir paredzētas rindas pēc šī resursa. Skenētie faili vietnē tiek saglabāti kā teksta kopija un struktūra serveros Yandex datu centros.
6. solis
Nepieciešamību pēc atkārtotas skenēšanas automātiski nosaka arī roboti. Programma salīdzina esošo skenēšanas rezultātu ar vietnes atjaunināto versiju, kad tā atkal veic indeksēšanu. Ja programmas saņemtie dati atšķiras, vietnes kopija tiek atjaunināta arī Yandex serverī.
