Vietnes indeksēšana meklētājprogrammas svarīgi katram tīmekļa pārzinim. Galu galā, lai kvalitatīvi reklamētu projektu, jums jāuzrauga tā indeksācija. Es aprakstīšu indeksēšanas pārbaudes procesu Yandex.

Indeksēšana pakalpojumā Yandex

Yandex robots katru dienu skenē vietnes, meklējot kaut ko “garšīgu”. Labākajos rezultātos apkopo tās vietnes un lapas, kuras, viņaprāt, visvairāk to ir pelnījušas. Nu vai Yandex vienkārši tā gribēja, kas zina :)

Mēs kā īsti tīmekļa pārziņi pieturēsimies pie teorijas, ka jo labāk vietne ir izveidota, jo augstāka ir tās pozīcija un lielāka trafika.

Ir vairāki veidi, kā pārbaudīt vietņu indeksāciju pakalpojumā Yandex:

• izmantojot Yandex Webmaster;
• izmantojot meklētājprogrammas operatorus;
• izmantojot paplašinājumus un spraudņus;
• izmantojot tiešsaistes pakalpojumus.

Vietņu lapu indeksēšana pakalpojumā Yandex Webmaster

Lai saprastu, ko meklētājprogramma atrada mūsu vietnē, sadaļā “Indeksēšana” ir jādodas uz mūsu mīļoto Yandex tīmekļa pārzini.

Apiet statistiku pakalpojumā Yandex Webmaster

Vispirms pārejiet uz vienumu “Apiet statistiku”. Šajā sadaļā varat uzzināt, kuras jūsu vietnes lapas robots pārmeklē. Varat identificēt adreses, kuras robots nevarēja ielādēt, jo nebija pieejams serveris, kurā atrodas vietne, vai kļūdu dēļ pašu lapu saturā.

Sadaļā ir informācija par lapām:

• jauns - lapas, kas nesen parādījās vietnē vai arī robots tajās ir tikko pārmeklējis;
• mainītas - lapas, kuras Yandex meklētājprogramma iepriekš redzēja, taču tās ir mainījušās;
• pārmeklēšanas vēsture - lapu skaits, ko Yandex pārmeklēja, ņemot vērā servera atbildes kodu (200, 301, 404 un citus).

Diagrammā redzamas jaunas (zaļas) un mainītas (zilas) lapas.

Un šis ir pārmeklēšanas vēstures grafiks.

Šis vienums parāda lapas, kuras atrada Yandex.

N/a — URL nav zināms robotam, t.i. robots viņu nekad agrāk nebija saticis.

Kādus secinājumus var izdarīt no ekrānuzņēmuma:

1. Yandex neatrada adresi /xenforo/xenforostyles/, kas patiesībā ir loģiski, jo šī lapa vairs nepastāv.
2. Yandex atrada adresi /bystrye-ssylki-v-yandex-webmaster/, kas arī ir diezgan loģiski, jo jauna lapa.

Tātad manā gadījumā Yandex Webmaster atspoguļo to, ko es gaidīju redzēt: to, kas nav vajadzīgs, Yandex ir noņēmis, un to, kas ir nepieciešams, ir pievienojis Yandex. Tas nozīmē, ka ar apvedceļu viss ir kārtībā, nav nekādu aizsprostojumu.

Lapas meklēšanā

Meklēšanas rezultāti pastāvīgi mainās – tiek pievienotas jaunas vietnes, dzēstas vecās, tiek pielāgotas pozīcijas meklēšanas rezultātos utt.

Varat izmantot informāciju sadaļā “Meklēšanas lapas”:

• lai izsekotu Yandex lapu skaita izmaiņām;
• lai izsekotu pievienotās un izslēgtās lapas;
• noskaidrot vietnes izslēgšanas iemeslus no meklēšanas rezultātiem;
• lai iegūtu informāciju par datumu, kad meklētājprogramma apmeklēja vietni;
• lai saņemtu informāciju par izmaiņām meklēšanas rezultātos.

Šī sadaļa ir nepieciešama, lai pārbaudītu lapu indeksāciju. Šeit Yandex Webmaster parāda lapas, kas pievienotas meklēšanas rezultātiem. Ja sadaļai ir pievienotas visas tavas lapas (nedēļas laikā tiks pievienota jauna), tad ar lapām viss ir kārtībā.

Lapu skaita pārbaude Yandex indeksā, izmantojot operatorus

Papildus Yandex Webmaster varat pārbaudīt lapas indeksāciju, izmantojot operatorus tieši pašā meklēšanā.

Mēs izmantosim divus operatorus:

• “vietne” - meklēt visos norādītās vietnes apakšdomēnos un lapās;
• “host” — meklējiet lapas, kas mitinātas noteiktā resursdatorā.

Izmantosim operatoru "vietne". Ņemiet vērā, ka starp operatoru un vietni nav atstarpes. 18 lapas atrodas Yandex meklēšanā.

Izmantosim operatoru "host". 19 lapas indeksēja Yandex.

Indeksēšanas pārbaude, izmantojot spraudņus un paplašinājumus

Pārbaudiet vietnes indeksāciju, izmantojot pakalpojumus

Šādu pakalpojumu ir ļoti daudz. Es jums parādīšu divus.

Serphunt

Serphunt ir tiešsaistes pakalpojums vietņu analīzei. Viņiem ir noderīgs rīks lapu indeksēšanas pārbaudei.

Izmantojot divas meklētājprogrammas - Yandex un Google, vienlaikus varat pārbaudīt līdz 100 vietņu lapām.

Lai pārbaudītu lapas indeksāciju, pievienojiet to sarakstam:

Noklikšķiniet uz "Sākt skenēšanu" un pēc dažām sekundēm mēs saņemam rezultātu:

Vairākiem SEO analītikas uzdevumiem ir jānosaka, no kura laika meklētājprogramma “zina” par konkrēta lapa. Viens no izplatītākajiem veidiem, kā uzzināt Yandex dokumenta vecumu, ir meklēt URL, izmantojot Yandex.Xml, lai iegūtu modtime parametru. Parametra “&how=tm” sadalījuma dēļ metode ieguva vēl lielāku popularitāti.

Tas izrādās ērti un ātri, par laimi ir vizuāls interfeiss vietnē https://xml.yandex.ru/test/. Bet es ar lielām šaubām Es esmu saistīts ar šo metodi.

Kas vainas modtime?

Pirmkārt, pakalpojuma dokumentācijā ir norādīts tikai tas:

Tādējādi ideja, ka tags parāda pirmās indeksācijas datumu, pilnībā pieder SEO cilvēkiem.

Otrkārt, Yandex.Xml lietotāji, maigi izsakoties, nav svarīgākie meklētājprogrammas klienti. Piekļuve tiek dota bez maksas, tur nav sludinājumu. Kāpēc Yandex LLC būtu īpaši nobažījies par xml parametru precizitāti, atbilstību un uzticamību? Lai gan tam vēl var ticēt – labi, labi programmētāji visu dara labi. Bet kāpēc nodrošināt nedokumentētas pazīmes- tas ir pilnīgi neskaidrs.

Tomēr tas viss ir dziesmu teksti un manas spekulācijas. Ķersimies pie faktiem.

Kas ir “dokumentu vecums no Yandex viedokļa”?

Kā man saka loģika un Google, šis ir laiks, kas pagājis kopš pirmās indeksēšanas. Visbiežāk mūs interesē tieši tas - no kura datuma lapa sāka piesaistīt trafiku, uzkrāt vecumu utt.

Patiesībā tas atšķiras. Piemērs nav tālu jāmeklē.

Pārbaudīsim modtime vairākas mana vecā hobiju projekta smmup.ru lapas.

Adrese	Datums no modtime
/	20140916T170528	2014-09-16
/activity.php	20150422T103533	2015-04-22
/target.php	20150208T173922	2015-02-08
/kogda.php	20141112T210047	2014-11-12

Es jau rakstīju par resursa vēsturi rakstā Ilgu laiku tas nebija pareizi indeksēts Yandex. Man ir saglabājusies sarakste ar Platonu, kas datēta ar 2015. gada 20. aprīli. Šobrīd meklēšanā bija tikai viena lapa - galvenā.

Tas nozīmē, ka modtime vismaz diviem URL vispār nebija parādīšanās datums indeksā. Vietnei /kogda.php atšķirība starp šī parametra vērtību un galīgo indeksēšanas laiku ir gandrīz sešus mēnešus! Dokumenta indeksā nav - bet modtime jau ar pieredzi (karavīrs guļ - dienests notiek).

Ko tas nozīmē? Nedaudz pārspīlējot: mēs analizējām konkurentus pieprasījumam, ieraudzījām tur daudz vecu lapu, nobijāmies un nevirzījāmies uz priekšu. Un puse konkurentu patiesībā jau sen ir zem stingriem filtriem un tos pārvarēt nav nemaz tik grūti.

Situācija ir teorētiska, aprakstīta vienkārši kā skaidrs piemērs, kāpēc paļaušanās uz modtime ir jāveic ļoti piesardzīgi.

Bet tie joprojām ir ziedi.

Modtime var ietvert datumu VĒLĀK nekā faktiskā indeksēšana

Smmup.ru gadījumā mēs vismaz mēs varam interpretēt modtime kā robota pirmās vizītes laiku. Datumi labi korelē ar faktisko lapu izskatu vietnē.

Šeit ir vēl viens piemērs. Šeit es vienkārši neuzdrošinos izvirzīt hipotēzi par to, no kurienes viss nāk.

• Manam emuāram nav problēmu ar indeksēšanu (jo īpaši tāpēc, ka šis raksts tika atkārtoti publicēts vairākās populārās grupās).
• Nebija novirzīšanas, adrešu maiņas vai tamlīdzīgi.

Lai kliedētu pēdējās šaubas:

Tas ir: modtime ievērojami nenovērtēja lapas vecumu.

Šis piemērs tika atrasts tieši 2 minūtēs (tikko paskatījos parametru blogu lapām, bez papildus trikiem), kas liecina par šādu rezultātu lielo izplatību. Turklāt es redzēju daudzus līdzīgus gadījumus vietnēs, kuras es pārbaudīju (es tos nerādu acīmredzamu iemeslu dēļ), dažreiz kļūda bija gadiem ilgi.

Rezultāti

1. Modtime ne vienmēr parāda pareizo indeksācijas datumu (patiesībā neviens no Yandex to nesolīja).
2. Lai noteiktu lapu vecumu, paļaujieties tikai uz šo parametru tas ir aizliegts. Rezultāti ir neuzticami.
3. Tāpēc tā izmantošana konkurentu vietņu analīzei ir liels jautājums. Varat to izmantot, strādājot ar saviem projektiem, pateicoties citu datu pieejamībai kontrolei. Taču šādi risināmo problēmu loks ir visai šaurs.

Priecāšos saņemt papildu interpretācijas un interesantus piemērus!

p.s. FB par šo tēmu bija ilga un ne īpaši produktīva diskusija. Varbūt es nevarēju pietiekami labi noformulēt raksta vēstījumu. Lieta nav tāda, ka ar modtime ir dažas kļūmes. Ir skaidrs, ka Yandex viena vai otra iemesla dēļ var atiestatīt lapas “vecumu”. Galvenais ir tas, ka šie piemēri ilustrē: a) nevar paļauties uz modtime kā pirmās indeksēšanas datumu b) nav pārliecības, ka vecuma “atiestatīšana” saskaņā ar modtime nozīmē pilnīgu lapas attīrīšanu no uzkrātajiem faktoriem, kas ir tieši saistīti. vai netieši saistīta ar vecumu .

Divas metodes lapas pirmās indeksēšanas datuma iegūšanai pārstāja darboties:

• datuma operators nedarbojas pareizi;
• pievienojot vaicājuma virknei parametru &how=tm, vairs netiek rādīti indeksēšanas datumi.

Bet šo informāciju joprojām var iegūt, izmantojot Yandex XML. Lai to izdarītu, sekojiet saitei https://xml.yandex.ru/test/ un laukā “&query” ievadiet vaicājumu, piemēram, url:%page%, kur %page% ir lapas adrese. Pēc tam noklikšķiniet uz “Atrast” un iegūtajā rezultātā mēs meklējam tagu, kas norādīs datumu, kad lapa pirmo reizi tika indeksēta.

Meklēšanas robota pārmeklēšanas datums un statuss meklēšanas datu bāzē

Lai uzzinātu lapas pēdējās rāpuļprogrammas datumu un informāciju par to, kura versija atrodas, veidojot meklēšanas rezultātus, pakalpojuma Yandex.Webmaster sadaļā “Indeksēšana” ir jāizvēlas “Pārbaudīt URL statusu”. Tālāk norādiet nepieciešamo adresi un saņemiet datus. Šī metode darbojas tikai verificētai vietnei.

Saglabātās kopijas izveides datums

Lai uzzinātu saglabātās kopijas izveides datumu, meklēšanas rezultātos jānoklikšķina uz nolaižamās izvēlnes (blakus lapas adreses nosaukumam).

Skatot saglabātās kopijas meklētājprogrammās Bing un Mail, tiks rādītas vecākas lapu versijas, jo tās pārindeksē tās lēnāk nekā Yandex un Google meklēšanas roboti.

Secinājums

1. Kā parādīts iepriekš minētajā piemērā, saglabātā lapas kopija ne vienmēr tiek izmantota indeksa bāzes izveidošanai. Bet bieži vien tā ir taisnība.
2. Turklāt, ja esat veicis kādas izmaiņas lapā un gaidāt, kad šīs izmaiņas tiks indeksētas atkārtoti, jums nevajadzētu secināt, ka izmaiņas ir ņemtas vērā, pamatojoties uz meklēšanas robota pēdējās pārmeklēšanas datumu.

Divas metodes lapas pirmās indeksēšanas datuma iegūšanai pārstāja darboties:

• datuma operators nedarbojas pareizi;
• pievienojot vaicājuma virknei parametru &how=tm, vairs netiek rādīti indeksēšanas datumi.

Bet šo informāciju joprojām var iegūt, izmantojot Yandex XML. Lai to izdarītu, sekojiet saitei https://xml.yandex.ru/test/ un laukā “&query” ievadiet vaicājumu, piemēram, url:%page%, kur %page% ir lapas adrese. Pēc tam noklikšķiniet uz “Atrast” un iegūtajā rezultātā mēs meklējam tagu, kas norādīs datumu, kad lapa pirmo reizi tika indeksēta.

Meklēšanas robota pārmeklēšanas datums un statuss meklēšanas datu bāzē

Lai uzzinātu lapas pēdējās rāpuļprogrammas datumu un informāciju par to, kura versija atrodas, veidojot meklēšanas rezultātus, pakalpojuma Yandex.Webmaster sadaļā “Indeksēšana” ir jāizvēlas “Pārbaudīt URL statusu”. Tālāk norādiet nepieciešamo adresi un saņemiet datus. Šī metode darbojas tikai verificētai vietnei.

Saglabātās kopijas izveides datums

Lai uzzinātu saglabātās kopijas izveides datumu, meklēšanas rezultātos jānoklikšķina uz nolaižamās izvēlnes (blakus lapas adreses nosaukumam).

Skatot saglabātās kopijas meklētājprogrammās Bing un Mail, tiks rādītas vecākas lapu versijas, jo tās pārindeksē tās lēnāk nekā Yandex un Google meklēšanas roboti.

Secinājums

1. Kā parādīts iepriekš minētajā piemērā, saglabātā lapas kopija ne vienmēr tiek izmantota indeksa bāzes izveidošanai. Bet bieži vien tā ir taisnība.
2. Turklāt, ja esat veicis kādas izmaiņas lapā un gaidāt, kad šīs izmaiņas tiks indeksētas atkārtoti, jums nevajadzētu secināt, ka izmaiņas ir ņemtas vērā, pamatojoties uz meklēšanas robota pēdējās pārmeklēšanas datumu.