Jak zjistit datum indexování stránky. Parametr modtime v Yandex.Xml. Opravdu Yandex označuje stáří stránky z obavy o SEO? Zkontrolujte datum, kdy byla stránka indexována Yandexem

Indexování stránek v vyhledávače důležité pro každého webmastera. Pro kvalitní propagaci projektu byste totiž měli sledovat jeho indexaci. Popíšu proces kontroly indexování v Yandexu.

Indexování v Yandex

Robot Yandex skenuje stránky den za dnem a hledá něco „chutného“. Shromažďuje v nejlepších výsledcích ty weby a stránky, které si to podle něj nejvíce zaslouží. No, nebo to tak Yandex prostě chtěl, kdo ví :)

My jako skuteční webmasteři se budeme držet teorie, že čím kvalitnější je web, tím vyšší je jeho pozice a větší návštěvnost.

Existuje několik způsobů, jak zkontrolovat indexování stránek v Yandexu:

pomocí Yandex Webmaster;
používání operátorů vyhledávačů;
používání rozšíření a pluginů;
pomocí online služeb.

Indexování webových stránek v Yandex Webmaster

Chcete-li porozumět tomu, co vyhledávač vykopal na našem webu, musíte přejít na našeho milovaného webmastera Yandex v sekci „Indexování“.

Obejít statistiky v Yandex Webmaster

Nejprve přejděte k položce „Statistika obcházení“. Tato sekce vám umožňuje zjistit, které stránky vašeho webu robot prochází. Můžete identifikovat adresy, které robot nedokázal načíst kvůli nedostupnosti serveru, na kterém se stránka nachází, nebo kvůli chybám v obsahu stránek samotných.

Sekce obsahuje informace o stránkách:

nové - stránky, které se na webu nedávno objevily nebo je robot právě prolezl;
změněné - stránky, které dříve viděl vyhledávač Yandex, ale změnily se;
historie procházení - počet stránek, které Yandex procházel, s ohledem na kód odezvy serveru (200, 301, 404 a další).

Graf zobrazuje nové (zelené) a změněné (modré) stránky.

A toto je graf historie procházení.

Tato položka zobrazuje stránky, které Yandex našel.

N/a — URL robot nezná, tzn. robot se s ní nikdy předtím nesetkal.

Jaké závěry lze vyvodit ze snímku obrazovky:

Yandex nenašel adresu /xenforo/xenforostyles/, což je ve skutečnosti logické, protože tato stránka již neexistuje.
Yandex našel adresu /bystrye-ssylki-v-yandex-webmaster/, což je také celkem logické, protože nová stránka.

Takže v mém případě Yandex Webmaster odráží to, co jsem očekával, že uvidím: co není potřeba, Yandex odstranil, a co je potřeba, Yandex přidal. To znamená, že s bypassem je vše v pořádku, nejsou žádné ucpávky.

Stránky ve vyhledávání

Výsledky vyhledávání se neustále mění – přibývají nové weby, staré se mažou, upravují se pozice ve výsledcích vyhledávání a tak dále.

Můžete použít informace v sekci „Stránky ve vyhledávání“:

sledovat změny v počtu stránek v Yandexu;
sledovat přidané a vyloučené stránky;
zjistit důvody pro vyloučení webu z výsledků vyhledávání;
získat informace o datu, kdy vyhledávač navštívil web;
získat informace o změnách ve výsledcích vyhledávání.

Tato sekce je potřebná pro kontrolu indexování stránek. Zde Yandex Webmaster zobrazuje stránky přidané do výsledků vyhledávání. Pokud jsou do sekce přidány všechny vaše stránky (do týdne bude přidána nová), pak je se stránkami vše v pořádku.

Kontrola počtu stránek v indexu Yandex pomocí operátorů

Kromě webu Yandex Webmaster můžete přímo v samotném vyhledávání zkontrolovat indexování stránky pomocí operátorů.

Použijeme dva operátory:

„site“ – vyhledávání ve všech subdoménách a stránkách zadaného webu;
„hostitel“ – vyhledá stránky hostované na daném hostiteli.

Použijme operátor „site“. Všimněte si, že mezi operátorem a webem není mezera. 18 stránek je ve vyhledávání Yandex.

Použijme operátor „host“. 19 stránek indexovaných Yandexem.

Kontrola indexování pomocí pluginů a rozšíření

Zkontrolujte indexování stránek pomocí služeb

Takových služeb je spousta. Ukážu vám dva.

Serphunt

Serphunt je online služba pro analýzu webových stránek. Mají užitečný nástroj pro kontrolu indexování stránek.

Současně můžete zkontrolovat až 100 webových stránek pomocí dvou vyhledávačů - Yandex a Google.

Chcete-li zkontrolovat indexování stránky, přidejte ji do seznamu:

Klikněte na „Spustit skenování“ a po několika sekundách dostaneme výsledek:

U řady úloh SEO analýzy je nutné určit, od kdy vyhledávač „ví“ o existenci konkrétní stránku. Jedním z běžných způsobů, jak zjistit stáří dokumentu v Yandexu, je vyhledat adresu URL pomocí Yandex.Xml a získat parametr modtime. Díky rozpadu parametru „&how=tm“ si metoda získala ještě větší oblibu.

Ukazuje se to pohodlné a rychlé, naštěstí existuje vizuální rozhraní na https://xml.yandex.ru/test/. Ale já s velkou pochybností Mám vztah k této metodě.

Co je špatného na modtime?

Za prvé, servisní dokumentace uvádí pouze toto:

Myšlenka, že značka zobrazuje datum prvního indexování, tedy patří výhradně lidem se SEO.

Za druhé, uživatelé Yandex.Xml nejsou, mírně řečeno, nejdůležitějšími klienty pro vyhledávač. Přístup je zdarma, nejsou tam žádné reklamy. Proč by se společnost Yandex LLC zvlášť zajímala o přesnost, relevanci a spolehlivost parametrů xml? I když tomu stále můžete věřit – no, dobří programátoři dělají všechno dobře. Ale proč poskytovat nezdokumentované funkce- je to zcela nejasné.

To vše jsou však texty a moje spekulace. Pojďme k faktům.

Co je „věk dokumentů z pohledu Yandexu“?

Jak mi říká logika a Google, toto je doba, která uplynula od prvního indexování. Nejčastěji nás zajímá přesně toto - od jakého data začala stránka přitahovat provoz, hromadit věk atd.

Ve skutečnosti se to liší. Příklad nemusíte hledat daleko.

Pojďme se podívat na modtime pro několik stránek mého starého hobby projektu smmup.ru.

Adresa	Datum od modtime
/	20140916T170528	2014-09-16
/activity.php	20150422T103533	2015-04-22
/target.php	20150208T173922	2015-02-08
/kogda.php	20141112T210047	2014-11-12

O historii zdroje jsem již psal v článku Dlouho nebyl správně indexován Yandexem. Mám zachovanou korespondenci s Platónem ze dne 20. dubna 2015. V tuto chvíli byla ve vyhledávání pouze jedna stránka – ta hlavní.

To znamená, že se ukázalo, že modtime pro alespoň dvě adresy URL vůbec není datem zobrazení v indexu. Pro /kogda.php je rozdíl mezi hodnotou z tohoto parametru a konečným časem indexování téměř šest měsíců! Dokument není v indexu - ale modtime je již se zkušenostmi (voják spí - služba probíhá).

Co to znamená? Abych to trochu přehnal: analyzovali jsme konkurenty na žádost, viděli jsme tam hromadu starých stránek, vyděsili jsme se a neposunuli se dál. A polovina závodníků je vlastně dlouhodobě pod přísnými filtry a není tak těžké je překonat.

Situace je teoretická, popsána jednoduše jako jasný příklad, proč je třeba spoléhat se na modtime s velkou opatrností.

Ale to jsou stále květiny.

Modtime může obsahovat datum POZDĚJŠÍ než skutečné indexování

V případě smmup.ru my alespoň modtime můžeme interpretovat jako čas první návštěvy robota. Data dobře korelují se skutečným vzhledem stránek na webu.

Zde je další příklad. Tady si prostě netroufám vyslovit hypotézu o tom, odkud všechno pochází.

Můj blog nemá problémy s indexováním (zejména proto, že tento článek byl znovu publikován v několika populárních skupinách).
Nedošlo k žádnému přesměrování, změnám adres a podobně.

Abych rozptýlil poslední pochybnosti:

Tedy: modtime výrazně podcenil stáří stránky.

Tento příklad byl nalezen přesně za 2 minuty (jen jsem se podíval na parametr pro stránky blogu, bez dalších triků), což ukazuje na vysokou prevalenci takových výsledků. Kromě toho jsem viděl mnoho podobných případů na webech, které jsem auditoval (nezobrazuji je ze zřejmých důvodů), někdy byla chyba roky.

Výsledek

Modtime ne vždy zobrazuje správné datum indexace (ve skutečnosti to nikdo z Yandexu neslíbil).
Při určování stáří stránek spoléhejte pouze na tento parametr je to zakázáno. Výsledky jsou nespolehlivé.
Proto je jeho použití pro analýzu konkurenčních webů velkou otázkou. Využijete jej při práci s vlastními projekty – díky dostupnosti dalších dat pro kontrolu. Spektrum problémů, které lze tímto způsobem řešit, je však značně úzké.

Rád obdržím další výklady a zajímavé příklady!

p.s. Na toto téma se na FB vedla dlouhá a nijak zvlášť produktivní diskuze. Možná jsem nedokázal dostatečně dobře formulovat poselství článku. Nejde o to, že by s modtime byly nějaké závady. Je jasné, že Yandex může z jednoho nebo druhého důvodu resetovat „stáří“ stránky. Hlavní věc je, že tyto příklady ilustrují: a) nemůžete se spolehnout na modtime jako datum prvního indexování b) neexistuje jistota, že „reset“ věku podle modtime znamená úplné vyčištění stránky od nahromaděných faktorů, které jsou přímo nebo nepřímo související s věkem .

Dva způsoby, jak získat datum, kdy byla stránka poprvé indexována, přestaly fungovat:

operátor data nefunguje správně;
přidání parametru &how=tm do řetězce dotazu již nezobrazuje data indexování.

Tyto informace však lze stále získat prostřednictvím Yandex XML. Chcete-li to provést, musíte přejít na odkaz https://xml.yandex.ru/test/ a do pole „&query“ zadat dotaz jako url:%page%, kde %page% je adresa stránky. Dále klikněte na „Najít“ a ve výsledném výsledku hledáme značku, která bude udávat datum, kdy byla stránka poprvé indexována.

Datum procházení vyhledávacím robotem a stav ve vyhledávací databázi

Chcete-li zjistit datum posledního procházení stránky a informace o tom, která verze se nachází při vytváření výsledků vyhledávání, musíte ve službě Yandex.Webmaster v části „Indexování“ vybrat „Zkontrolovat stav adresy URL“. Dále zadejte požadovanou adresu a přijměte data. Tato metoda funguje pouze pro ověřené stránky.

Datum vytvoření uložené kopie

Chcete-li zjistit datum vytvoření uložené kopie, musíte kliknout na rozbalovací nabídku ve výsledcích vyhledávání (vedle názvu adresy stránky).

Zobrazení uložených kopií ve vyhledávačích Bing a Mail zobrazí starší verze stránek, protože je reindexují pomaleji než vyhledávací roboti Yandex a Google.

Závěr

Jak je ukázáno v příkladu výše, uložená kopie stránky není vždy použita k vytvoření základny indexu. Ale často je to pravda.
Kromě toho, pokud jste na stránce provedli nějaké změny a čekáte na opětovné indexování těchto změn, neměli byste usuzovat, že změny byly zohledněny na základě data posledního procházení vyhledávacím robotem.