Indexovanie stránok v vyhľadávače dôležité pre každého správcu webu. Koniec koncov, pre kvalitnú propagáciu projektu by ste mali sledovať jeho indexovanie. Popíšem proces kontroly indexovania v Yandex.

Indexovanie v Yandex

Robot Yandex skenuje stránky deň čo deň a hľadá niečo „chutné“. Zhromažďuje v top výsledkoch tie weby a stránky, ktoré si to podľa neho najviac zaslúžia. Alebo to tak Yandex len chcel, ktovie :)

My ako skutoční webmasteri sa budeme držať teórie, že čím lepšie je stránka spravená, tým má vyššiu pozíciu a väčšiu návštevnosť.

Existuje niekoľko spôsobov, ako skontrolovať indexovanie stránok v Yandex:

• pomocou správcu webu Yandex;
• používanie operátorov vyhľadávacích nástrojov;
• používanie rozšírení a doplnkov;
• pomocou online služieb.

Indexovanie webových stránok v správcovi webu Yandex

Ak chcete pochopiť, čo vyhľadávací nástroj vykopal na našej stránke, musíte prejsť na nášho milovaného správcu webu Yandex v sekcii „Indexovanie“.

Obíďte štatistiky v správcovi webu Yandex

Najprv prejdime na položku „Obísť štatistiku“. Táto sekcia vám umožňuje zistiť, ktoré stránky vášho webu robot prehľadáva. Môžete identifikovať adresy, ktoré robot nedokázal načítať z dôvodu nedostupnosti servera, na ktorom sa stránka nachádza, alebo z dôvodu chýb v obsahu samotných stránok.

Sekcia obsahuje informácie o stránkach:

• nové - stránky, ktoré sa nedávno objavili na webe alebo ich robot práve prehľadal;
• zmenené - stránky, ktoré predtým videl vyhľadávací nástroj Yandex, ale zmenili sa;
• história prehľadávania - počet stránok, ktoré Yandex prehľadával, berúc do úvahy kód odpovede servera (200, 301, 404 a ďalšie).

Graf zobrazuje nové (zelené) a zmenené (modré) strany.

A toto je graf histórie prehľadávania.

Táto položka zobrazuje stránky, ktoré Yandex našiel.

N/a — URL nie je robotovi známe, t.j. robot ju ešte nikdy nestretol.

Aké závery možno vyvodiť zo snímky obrazovky:

1. Yandex nenašiel adresu /xenforo/xenforostyles/, čo je v skutočnosti logické, pretože táto stránka už neexistuje.
2. Yandex našiel adresu /bystrye-ssylki-v-yandex-webmaster/, čo je tiež celkom logické, pretože nová stránka.

Takže v mojom prípade Yandex Webmaster odráža to, čo som očakával, že uvidím: čo nie je potrebné, Yandex odstránil a čo je potrebné, Yandex pridal. To znamená, že s bypassom je všetko v poriadku, nie sú žiadne upchávky.

Stránky vo vyhľadávaní

Výsledky vyhľadávania sa neustále menia – pribúdajú nové stránky, staré sa odstraňujú, upravujú sa pozície vo výsledkoch vyhľadávania atď.

Môžete použiť informácie v časti „Stránky vo vyhľadávaní“:

• sledovať zmeny v počte stránok v Yandex;
• sledovať pridané a vylúčené stránky;
• zistiť dôvody vylúčenia stránky z výsledkov vyhľadávania;
• získať informácie o dátume, kedy vyhľadávač stránku navštívil;
• získať informácie o zmenách vo výsledkoch vyhľadávania.

Táto sekcia je potrebná na kontrolu indexovania stránok. Tu Yandex Webmaster zobrazuje stránky pridané do výsledkov vyhľadávania. Ak sú do sekcie pridané všetky vaše stránky (do týždňa pribudne nová), tak je so stránkami všetko v poriadku.

Kontrola počtu stránok v indexe Yandex pomocou operátorov

Okrem správcu webu Yandex môžete indexovanie stránky skontrolovať pomocou operátorov priamo v samotnom vyhľadávaní.

Budeme používať dva operátory:

• „stránka“ – vyhľadávanie vo všetkých subdoménach a stránkach zadanej lokality;
• „hostiteľ“ – vyhľadávanie stránok hosťovaných na danom hostiteľovi.

Použime operátor „stránky“. Upozorňujeme, že medzi operátorom a webom nie je medzera. 18 stránok je vo vyhľadávaní Yandex.

Použime operátor „hostiteľ“. 19 stránok indexovaných Yandexom.

Kontrola indexovania pomocou doplnkov a rozšírení

Skontrolujte indexovanie stránok pomocou služieb

Takýchto služieb je veľa. Ukážem vám dve.

Serphunt

Serphunt je online služba na analýzu webových stránok. Majú užitočný nástroj na kontrolu indexovania stránok.

Súčasne môžete skontrolovať až 100 webových stránok pomocou dvoch vyhľadávacích nástrojov - Yandex a Google.

Ak chcete skontrolovať indexovanie stránky, pridajte ju do zoznamu:

Kliknite na „Spustiť skenovanie“ a po niekoľkých sekundách dostaneme výsledok:

Pre množstvo úloh SEO analýzy je potrebné určiť, odkedy vyhľadávač „vie“ o existencii konkrétnu stránku. Jedným z bežných spôsobov, ako zistiť vek dokumentu v Yandex, je vyhľadať adresu URL pomocou Yandex.Xml na získanie parametra modtime. Vďaka členeniu parametra „&how=tm“ si metóda získala ešte väčšiu obľubu.

Ukazuje sa to pohodlné a rýchle, našťastie existuje vizuálne rozhranie na https://xml.yandex.ru/test/. Ale ja s veľkými pochybnosťami Mám vzťah k tejto metóde.

Čo je zlé na modtime?

Po prvé, servisná dokumentácia uvádza iba toto:

Myšlienka, že značka zobrazuje dátum prvého indexovania, teda patrí výlučne ľuďom zo SEO.

Po druhé, používatelia Yandex.Xml nie sú, mierne povedané, najdôležitejšími klientmi pre vyhľadávací nástroj. Prístup je bezplatný, nie sú tam žiadne reklamy. Prečo by sa spoločnosť Yandex LLC obzvlášť zaujímala o presnosť, relevantnosť a spoľahlivosť parametrov xml? Aj keď tomu stále môžete veriť - no, dobrí programátori robia všetko dobre. Ale prečo poskytovať nezdokumentované funkcie- je to úplne nejasné.

To všetko sú však texty a moje špekulácie. Poďme k faktom.

Čo je „vek dokumentov z pohľadu Yandex“?

Ako mi hovorí logika a Google, toto je čas, ktorý uplynul od prvého indexovania. Najčastejšie nás zaujíma presne toto - odkedy stránka začala priťahovať návštevnosť, hromadiť vek atď.

V skutočnosti sa to líši. Príklad netreba hľadať ďaleko.

Pozrime sa na modtime na niekoľkých stránkach môjho starého hobby projektu smmup.ru.

Adresa	Dátum od modtime
/	20140916T170528	2014-09-16
/activity.php	20150422T103533	2015-04-22
/target.php	20150208T173922	2015-02-08
/kogda.php	20141112T210047	2014-11-12

O histórii zdroja som už písal v článku Dlho nebol správne indexovaný spoločnosťou Yandex. Mám zachovanú korešpondenciu s Platónom z 20.4.2015. V tejto chvíli bola vo vyhľadávaní iba jedna stránka - hlavná.

To znamená, že modtime pre najmenej dve adresy URL sa ukázalo ako dátum zobrazenia v indexe. Pre /kogda.php je rozdiel medzi hodnotou z tohto parametra a konečným časom indexovania takmer šesť mesiacov! Dokument nie je v indexe - ale modtime je už so skúsenosťami (vojak spí - služba prebieha).

Čo to znamená? Aby som to trochu prehnal: analyzovali sme konkurentov na požiadavku, videli sme tam kopu starých stránok, zľakli sme sa a neposunuli sme sa ďalej. A polovica súťažiacich je vlastne už dávno pod prísnymi filtrami a nie je také ťažké ich prekonať.

Situácia je teoretická, opísaná jednoducho ako jasný príklad, prečo je potrebné spoliehať sa na modtime s veľkou opatrnosťou.

Ale stále sú to kvety.

Modtime môže obsahovať dátum NESKORŠÍ ako skutočné indexovanie

V prípade smmup.ru sme najmenej modtime môžeme interpretovať ako čas prvej návštevy robota. Dátumy dobre korelujú so skutočným vzhľadom stránok na lokalite.

Tu je ďalší príklad. Tu si jednoducho netrúfam vysloviť hypotézu o tom, odkiaľ všetko pochádza.

• Môj blog nemá problémy s indexovaním (obzvlášť preto, že tento článok bol uverejnený v niekoľkých populárnych skupinách).
• Neboli žiadne presmerovania, zmeny adries a podobne.

Aby som rozptýlil posledné pochybnosti:

Teda: modtime výrazne podcenil vek stránky.

Tento príklad bol nájdený presne za 2 minúty (práve som sa pozrel na parameter pre blogové stránky bez ďalších trikov), čo naznačuje vysokú prevalenciu takýchto výsledkov. Okrem toho som videl veľa podobných prípadov na stránkach, ktoré som kontroloval (nezobrazujem ich zo zrejmých dôvodov), niekedy bola chyba roky.

Výsledky

1. Modtime nie vždy zobrazuje správny dátum indexácie (v skutočnosti to nikto z Yandex nesľúbil).
2. Pri určovaní veku stránok sa spoliehajte iba na tento parameter je zakázané. Výsledky sú nespoľahlivé.
3. Preto je jeho použitie na analýzu webových stránok konkurentov veľkou otázkou. Využijete ho pri práci s vlastnými projektmi – vďaka dostupnosti ďalších údajov pre kontrolu. Spektrum problémov, ktoré je možné týmto spôsobom vyriešiť, je však dosť úzke.

Budem rád, ak dostanem ďalšie interpretácie a zaujímavé príklady!

p.s. Na FB sa na túto tému viedla dlhá a nijako zvlášť produktívna diskusia. Možno som nedokázal dostatočne dobre sformulovať posolstvo článku. Nejde o to, že s modtime sú nejaké chyby. Je jasné, že Yandex môže z jedného alebo druhého dôvodu resetovať „vek“ stránky. Hlavná vec je, že tieto príklady ilustrujú: a) nemôžete sa spoľahnúť na modtime ako dátum prvého indexovania b) nie je isté, že „reset“ veku podľa modtime znamená úplné vyčistenie stránky od nahromadených faktorov, ktoré sú priamo alebo nepriamo súvisí s vekom .

Dva spôsoby získania dátumu prvého indexovania stránky prestali fungovať:

• operátor dátumu nefunguje správne;
• pridanie parametra &how=tm do reťazca dotazu už nezobrazuje dátumy indexovania.

Tieto informácie je však stále možné získať prostredníctvom Yandex XML. Ak to chcete urobiť, musíte prejsť na odkaz https://xml.yandex.ru/test/ a do poľa „&query“ zadať dopyt ako url:%page%, kde %page% je adresa stránky. Potom kliknite na „Nájsť“ a vo výslednom výsledku hľadáme značku, ktorá bude označovať dátum prvého indexovania stránky.

Dátum prehľadávania vyhľadávacím robotom a stav vo vyhľadávacej databáze

Ak chcete zistiť dátum posledného prehľadávania stránky a informácie o tom, ktorá verzia sa nachádza pri vytváraní výsledkov vyhľadávania, musíte v službe Yandex.Webmaster v časti „Indexovanie“ vybrať možnosť „Skontrolovať stav adresy URL“. Ďalej uveďte požadovanú adresu a prijmite údaje. Táto metóda funguje iba pre overené stránky.

Dátum vytvorenia uloženej kópie

Ak chcete zistiť dátum vytvorenia uloženej kópie, musíte kliknúť na rozbaľovaciu ponuku vo výsledkoch vyhľadávania (vedľa názvu adresy stránky).

Prezeraním uložených kópií vo vyhľadávačoch Bing a Mail sa zobrazia staršie verzie stránok, pretože ich indexujú pomalšie ako vyhľadávacie roboty Yandex a Google.

Záver

1. Ako je uvedené v príklade vyššie, uložená kópia stránky sa nie vždy používa na vytvorenie základne indexu. Ale často je to pravda.
2. Okrem toho, ak ste na stránke vykonali nejaké zmeny a čakáte na opätovné indexovanie týchto zmien, nemali by ste dospieť k záveru, že zmeny boli zohľadnené na základe dátumu posledného prehľadávania vyhľadávacím robotom.

Dva spôsoby získania dátumu prvého indexovania stránky prestali fungovať:

• operátor dátumu nefunguje správne;
• pridanie parametra &how=tm do reťazca dotazu už nezobrazuje dátumy indexovania.

Tieto informácie je však stále možné získať prostredníctvom Yandex XML. Ak to chcete urobiť, musíte prejsť na odkaz https://xml.yandex.ru/test/ a do poľa „&query“ zadať dopyt ako url:%page%, kde %page% je adresa stránky. Potom kliknite na „Nájsť“ a vo výslednom výsledku hľadáme značku, ktorá bude označovať dátum prvého indexovania stránky.

Dátum prehľadávania vyhľadávacím robotom a stav vo vyhľadávacej databáze

Ak chcete zistiť dátum posledného prehľadávania stránky a informácie o tom, ktorá verzia sa nachádza pri vytváraní výsledkov vyhľadávania, musíte v službe Yandex.Webmaster v časti „Indexovanie“ vybrať možnosť „Skontrolovať stav adresy URL“. Ďalej uveďte požadovanú adresu a prijmite údaje. Táto metóda funguje iba pre overené stránky.

Dátum vytvorenia uloženej kópie

Ak chcete zistiť dátum vytvorenia uloženej kópie, musíte kliknúť na rozbaľovaciu ponuku vo výsledkoch vyhľadávania (vedľa názvu adresy stránky).

Prezeraním uložených kópií vo vyhľadávačoch Bing a Mail sa zobrazia staršie verzie stránok, pretože ich indexujú pomalšie ako vyhľadávacie roboty Yandex a Google.

Záver

1. Ako je uvedené v príklade vyššie, uložená kópia stránky sa nie vždy používa na vytvorenie základne indexu. Ale často je to pravda.
2. Okrem toho, ak ste na stránke vykonali nejaké zmeny a čakáte na opätovné indexovanie týchto zmien, nemali by ste dospieť k záveru, že zmeny boli zohľadnené na základe dátumu posledného prehľadávania vyhľadávacím robotom.