Indeksiranje stranice u tražilice važno za svakog webmastera. Uostalom, za visokokvalitetnu promociju projekta, trebali biste pratiti njegovo indeksiranje. Opisat ću postupak provjere indeksiranja u Yandexu.

Indeksiranje u Yandexu

Robot Yandex dan za danom skenira stranice u potrazi za nečim "ukusnim". Prikuplja u top rezultate one stranice i stranice koje to, po njegovom mišljenju, najviše zaslužuju. Pa, ili je Yandex samo tako htio, tko zna :)

Mi, kao pravi webmasteri, držat ćemo se teorije da što je stranica bolje napravljena, to je njena pozicija veća i posjećenija.

Postoji nekoliko načina za provjeru indeksiranja web mjesta u Yandexu:

• koristeći Yandex Webmaster;
• korištenje operatora tražilice;
• korištenje ekstenzija i dodataka;
• koristeći online usluge.

Indeksiranje web stranica u Yandex Webmasteru

Da biste razumjeli što je tražilica iskopala na našoj web stranici, morate otići do našeg voljenog Yandex Webmastera u odjeljku "Indeksiranje".

Zaobiđite statistiku u Yandex Webmasteru

Prvo, idemo na stavku "Bypass Statistics". Ovaj vam odjeljak omogućuje da saznate koje stranice vašeg web mjesta robot indeksira. Možete identificirati adrese koje robot nije mogao učitati zbog nedostupnosti poslužitelja na kojem se stranica nalazi ili zbog grešaka u sadržaju samih stranica.

Odjeljak sadrži informacije o stranicama:

• novo - stranice koje su se nedavno pojavile na stranici ili ih je robot upravo indeksirao;
• promijenjene - stranice koje je tražilica Yandex prethodno vidjela, ali su se promijenile;
• povijest indeksiranja - broj stranica koje je Yandex indeksirao, uzimajući u obzir kod odgovora poslužitelja (200, 301, 404 i drugi).

Grafikon prikazuje nove (zeleno) i promijenjene (plavo) stranice.

A ovo je grafikon povijesti indeksiranja.

Ova stavka prikazuje stranice koje je Yandex pronašao.

N/a — URL nije poznat robotu, tj. robot je nikada prije nije upoznao.

Koji se zaključci mogu izvući iz snimke zaslona:

1. Yandex nije pronašao adresu /xenforo/xenforostyles/, što je zapravo i logično, jer ova stranica više ne postoji.
2. Yandex je pronašao adresu /bystrye-ssylki-v-yandex-webmaster/, što je također sasvim logično, jer nova stranica.

Dakle, u mom slučaju Yandex Webmaster odražava ono što sam očekivao vidjeti: ono što nije potrebno, Yandex je uklonio, a ono što je potrebno, Yandex je dodao. To znači da je s premosnicom sve u redu, nema začepljenja.

Stranice u pretraživanju

Rezultati pretraživanja se stalno mijenjaju - dodaju se nove stranice, brišu se stare, prilagođavaju se pozicije u rezultatima pretraživanja i tako dalje.

Možete koristiti podatke u odjeljku "Stranice u pretraživanju":

• za praćenje promjena u broju stranica u Yandexu;
• za praćenje dodanih i isključenih stranica;
• saznati razloge za izuzimanje stranice iz rezultata pretraživanja;
• za dobivanje informacija o datumu kada je tražilica posjetila stranicu;
• za primanje informacija o promjenama u rezultatima pretraživanja.

Ovaj odjeljak je potreban za provjeru indeksiranja stranica. Ovdje Yandex Webmaster prikazuje stranice dodane u rezultate pretraživanja. Ako su sve vaše stranice dodane u odjeljak (nova će biti dodana u roku od tjedan dana), onda je sa stranicama sve u redu.

Provjera broja stranica u Yandex indeksu pomoću operatora

Osim Yandex Webmastera, možete provjeriti indeksiranje stranice koristeći operatore izravno u samom pretraživanju.

Koristit ćemo dva operatora:

• “site” - pretražite sve poddomene i stranice navedene stranice;
• “domaćin” - traži stranice hostirane na određenom hostu.

Upotrijebimo operator "site". Imajte na umu da između operatera i stranice nema razmaka. 18 stranica je u Yandex pretraživanju.

Upotrijebimo operator "host". 19 stranica indeksiranih od strane Yandexa.

Provjera indeksiranja pomoću dodataka i proširenja

Provjerite indeksiranje stranice pomoću usluga

Postoji puno takvih usluga. pokazat ću ti dvije.

Serphunt

Serphunt je online servis za analizu web stranica. Imaju koristan alat za provjeru indeksiranja stranica.

Možete istovremeno provjeriti do 100 stranica web stranice koristeći dvije tražilice - Yandex i Google.

Da biste provjerili indeksiranje stranice, dodajte je na popis:

Kliknite "Pokreni skeniranje" i nakon nekoliko sekundi dobivamo rezultat:

Za niz zadataka SEO analitike potrebno je utvrditi od kada tražilica "zna" za postojanje određenu stranicu. Jedan od uobičajenih načina da saznate starost dokumenta u Yandexu je pretraživanje URL-a pomoću Yandex.Xml za dobivanje parametra modtime. Zbog kvara na parametru "&how=tm", metoda je dobila još veću popularnost.

Ispada zgodno i brzo, srećom postoji vizualno sučelje na https://xml.yandex.ru/test/. Ali ja s velikom sumnjom Slažem se s ovom metodom.

Što nije u redu s modtimeom?

Kao prvo, u servisnoj dokumentaciji stoji samo ovo:

Dakle, ideja da oznaka prikazuje datum prvog indeksiranja u potpunosti pripada SEO ljudima.

Drugo, korisnici Yandex.Xml nisu, blago rečeno, najvažniji klijenti za tražilicu. Pristup je besplatan, tu nema reklama. Zašto bi Yandex LLC bio posebno zabrinut za točnost, relevantnost i pouzdanost xml parametara? Iako još uvijek možete vjerovati u ovo - dobro, dobri programeri rade sve dobro. Ali zašto pružati nedokumentirane značajke- potpuno je nejasno.

Međutim, sve su to tekstovi i moja nagađanja. Prijeđimo na činjenice.

Što je "starost dokumenta s gledišta Yandexa"?

Kako mi logika i Google govore, ovo je vrijeme koje je prošlo od prvog indeksiranja. Najčešće nas zanima upravo ovo - od kojeg je datuma stranica počela privlačiti promet, akumulirati starost i tako dalje.

U stvarnosti to varira. Za primjer ne morate tražiti daleko.

Provjerimo modtime za nekoliko stranica mog starog hobi projekta smmup.ru.

Adresa	Datum iz modtimea
/	20140916T170528	2014-09-16
/aktivnost.php	20150422T103533	2015-04-22
/target.php	20150208T173922	2015-02-08
/kogda.php	20141112T210047	2014-11-12

Već sam pisao o povijesti resursa u članku Dugo ga Yandex nije pravilno indeksirao. Sačuvana mi je prepiska s Platonom, od 20. travnja 2015. godine. U ovom trenutku u pretrazi je bila samo jedna stranica - glavna.

Odnosno, pokazalo se da modtime za najmanje dva url-a uopće nije datum pojavljivanja u indeksu. Za /kogda.php, razlika između vrijednosti iz ovog parametra i konačnog vremena indeksiranja je gotovo šest mjeseci! Dokumenta nema u indeksu - ali modtime je već sa iskustvom (vojnik spava - servis je u tijeku).

Što to znači? Da malo pretjerujem: analizirali smo konkurente za zahtjev, vidjeli hrpu starih stranica tamo, uplašili se i nismo krenuli dalje od toga. A polovica konkurenata zapravo je već dugo pod strogim filterima i nije ih tako teško svladati.

Situacija je teoretska, opisana jednostavno kao jasan primjer, zašto oslanjanje na modtime treba biti učinjeno s velikim oprezom.

Ali ovo je još uvijek cvijeće.

Modtime može sadržavati datum KASNIJE od stvarnog indeksiranja

U slučaju smmup.ru mi barem modtime možemo interpretirati kao vrijeme prve posjete robota. Datumi dobro koreliraju sa stvarnim izgledom stranica na web mjestu.

Evo još jedan primjer. Ovdje se jednostavno ne usuđujem postavljati hipotezu o tome odakle sve dolazi.

• Moj blog nema problema s indeksiranjem (pogotovo jer je taj članak ponovno objavljen u nekoliko popularnih grupa).
• Nije bilo nikakvih preusmjeravanja, promjena adresa i slično.

Da odagnamo sve posljednje sumnje:

Odnosno: modtime je značajno podcijenio starost stranice.

Ovaj primjer je pronađen za točno 2 minute (samo sam pogledao parametar za blog stranice, bez dodatnih trikova), što ukazuje na veliku raširenost ovakvih rezultata. Osim toga, vidio sam mnogo sličnih slučajeva na stranicama koje sam revidirao (ne prikazujem ih iz očitih razloga), ponekad je greška trajala godinama.

Rezultati

1. Modtime ne prikazuje uvijek točan datum indeksiranja (zapravo, nitko iz Yandexa to nije obećao).
2. Oslonite se samo na ovaj parametar pri određivanju starosti stranica Zabranjeno je. Rezultati su nepouzdani.
3. Stoga je njegovo korištenje za analizu web stranica konkurenata veliko pitanje. Možete ga koristiti kada radite s vlastitim projektima - zahvaljujući dostupnosti drugih podataka za kontrolu. Međutim, raspon problema koji se mogu riješiti na ovaj način prilično je uzak.

Bit će mi drago dobiti dodatna tumačenja i zanimljive primjere!

p.s. Na ovu temu na FB-u se vodila duga i ne osobito produktivna rasprava. Možda nisam uspio dovoljno dobro formulirati poruku članka. Poanta nije da postoje neki problemi s modtimeom. Jasno je da Yandex može, iz ovog ili onog razloga, poništiti "starost" stranice. Najvažnije je da ovi primjeri ilustriraju: a) ne možete se pouzdati u modtime kao datum prvog indeksiranja b) nema sigurnosti da "resetiranje" dobi prema modtimeu znači potpuno čišćenje stranice od akumuliranih čimbenika koji su izravno ili neizravno vezano uz dob .

Dvije metode za dobivanje datuma kada je stranica prvi put indeksirana prestale su raditi:

• operator datuma ne radi ispravno;
• dodavanje parametra &how=tm nizu upita više ne prikazuje datume indeksiranja.

No te se informacije još uvijek mogu dobiti putem Yandex XML-a. Da biste to učinili, morate slijediti vezu https://xml.yandex.ru/test/ i u polje "&query" unijeti upit poput url:%page%, gdje je %page% adresa stranice. Zatim kliknite na "Pronađi" iu rezultirajućem rezultatu tražimo oznaku koja će označavati datum kada je stranica prvi put indeksirana.

Datum pretraživanja po robotu za pretraživanje i status u bazi podataka za pretraživanje

Da biste saznali datum posljednjeg indeksiranja stranice i informacije o tome koja se verzija nalazi prilikom izrade rezultata pretraživanja, trebate odabrati "Provjeri status URL-a" u usluzi Yandex.Webmaster u odjeljku "Indeksiranje". Zatim navedite željenu adresu i primite podatke. Ova metoda radi samo za provjerenu stranicu.

Datum stvaranja spremljene kopije

Da biste saznali datum izrade spremljene kopije, potrebno je kliknuti na padajući izbornik u rezultatima pretraživanja (pored naziva adrese stranice).

Pregledavanje spremljenih kopija u tražilicama Bing i Mail prikazat će starije verzije stranica, budući da ih ponovno indeksiraju sporije od robota za pretraživanje Yandexa i Googlea.

Zaključak

1. Kao što je prikazano u gornjem primjeru, spremljena kopija stranice ne koristi se uvijek za izradu baze indeksa. No, često je to istina.
2. Osim toga, ako ste napravili bilo kakve izmjene na stranici i čekate da se te promjene ponovno indeksiraju, ne biste trebali zaključiti da su promjene uzete u obzir na temelju datuma zadnjeg indeksiranja od strane robota za pretraživanje.

Dvije metode za dobivanje datuma kada je stranica prvi put indeksirana prestale su raditi:

• operator datuma ne radi ispravno;
• dodavanje parametra &how=tm nizu upita više ne prikazuje datume indeksiranja.

No te se informacije još uvijek mogu dobiti putem Yandex XML-a. Da biste to učinili, morate slijediti vezu https://xml.yandex.ru/test/ i u polje "&query" unijeti upit poput url:%page%, gdje je %page% adresa stranice. Zatim kliknite na "Pronađi" iu rezultirajućem rezultatu tražimo oznaku koja će označavati datum kada je stranica prvi put indeksirana.

Datum pretraživanja po robotu za pretraživanje i status u bazi podataka za pretraživanje

Da biste saznali datum posljednjeg indeksiranja stranice i informacije o tome koja se verzija nalazi prilikom izrade rezultata pretraživanja, trebate odabrati "Provjeri status URL-a" u usluzi Yandex.Webmaster u odjeljku "Indeksiranje". Zatim navedite željenu adresu i primite podatke. Ova metoda radi samo za provjerenu stranicu.

Datum stvaranja spremljene kopije

Da biste saznali datum izrade spremljene kopije, potrebno je kliknuti na padajući izbornik u rezultatima pretraživanja (pored naziva adrese stranice).

Pregledavanje spremljenih kopija u tražilicama Bing i Mail prikazat će starije verzije stranica, budući da ih ponovno indeksiraju sporije od robota za pretraživanje Yandexa i Googlea.

Zaključak

1. Kao što je prikazano u gornjem primjeru, spremljena kopija stranice ne koristi se uvijek za izradu baze indeksa. No, često je to istina.
2. Osim toga, ako ste napravili bilo kakve izmjene na stranici i čekate da se te promjene ponovno indeksiraju, ne biste trebali zaključiti da su promjene uzete u obzir na temelju datuma zadnjeg indeksiranja od strane robota za pretraživanje.