Indeksiranje stranice u tražilice važno za svakog webmastera. Uostalom, za kvalitetnu promociju projekta, trebali biste pratiti njegovo indeksiranje. Opisaću proces provjere indeksiranja u Yandexu.

Indeksiranje u Yandexu

Yandex robot iz dana u dan skenira web stranice u potrazi za nečim "ukusnim". Sakuplja u vrhunske rezultate one stranice i stranice koje, po njegovom mišljenju, to najviše zaslužuju. Pa, ili je Yandex samo tako htio, ko zna :)

Mi ćemo se, kao pravi webmasteri, pridržavati teorije da što je stranica bolje napravljena, to je veća pozicija i više prometa.

Postoji nekoliko načina da provjerite indeksiranje stranice u Yandexu:

• koristeći Yandex Webmaster;
• korištenje operatora pretraživača;
• korištenje ekstenzija i dodataka;
• koristeći online usluge.

Indeksiranje web stranica u Yandex Webmasteru

Da biste razumjeli šta je tražilica iskopala na našoj web stranici, morate otići do našeg voljenog Yandex Webmastera u odjeljku "Indeksiranje".

Zaobići statistiku u Yandex Webmasteru

Prvo, idemo na stavku "Zaobilaženje statistike". Ovaj odjeljak vam omogućava da saznate koje stranice vaše stranice robot indeksira. Možete identificirati adrese koje robot nije mogao učitati zbog nedostupnosti servera na kojem se nalazi stranica, ili zbog grešaka u sadržaju samih stranica.

Odjeljak sadrži informacije o stranicama:

• nove - stranice koje su se nedavno pojavile na web stranici ili ih je robot upravo indeksirao;
• promijenjene - stranice koje je Yandex pretraživač ranije vidio, ali su se promijenile;
• historija indeksiranja - broj stranica koje je Yandex indeksirao, uzimajući u obzir kod odgovora servera (200, 301, 404 i drugi).

Grafikon prikazuje nove (zelene) i izmijenjene (plave) stranice.

A ovo je grafikon istorije puzanja.

Ova stavka prikazuje stranice koje je Yandex pronašao.

N/a — URL nije poznat robotu, tj. robot je nikada ranije nije sreo.

Koji se zaključci mogu izvući iz snimka ekrana:

1. Yandex nije pronašao adresu /xenforo/xenforostyles/, što je, zapravo, logično, jer ova stranica više ne postoji.
2. Yandex je pronašao adresu /bystrye-ssylki-v-yandex-webmaster/, što je takođe sasvim logično, jer stranica je nova.

Dakle, u mom slučaju Yandex Webmaster odražava ono što sam očekivao da vidim: ono što nije potrebno, Yandex je uklonio, a ono što je potrebno, Yandex je dodao. To znači da je sa bajpasom sve u redu, nema blokada.

Stranice u pretrazi

Rezultati pretrage se stalno mijenjaju – dodaju se nove stranice, brišu se stare, prilagođavaju se pozicije u rezultatima pretrage itd.

Možete koristiti informacije u odjeljku “Stranice u pretrazi”:

• za praćenje promjena u broju stranica u Yandexu;
• za praćenje dodanih i isključenih stranica;
• da saznate razloge za isključenje stranice iz rezultata pretraživanja;
• da dobijete informacije o datumu kada je pretraživač posjetio stranicu;
• za primanje informacija o promjenama u rezultatima pretraživanja.

Ovaj odjeljak je potreban za provjeru indeksiranja stranica. Ovdje Yandex Webmaster prikazuje stranice dodane u rezultate pretraživanja. Ako se sve vaše stranice dodaju u sekciju (nova će biti dodata u roku od nedelju dana), onda je sa stranicama sve u redu.

Provjera broja stranica u Yandex indeksu pomoću operatora

Pored Yandex Webmastera, možete provjeriti indeksiranje stranice koristeći operatore direktno u samoj pretrazi.

Koristićemo dva operatora:

• “site” - pretraga po svim poddomenama i stranicama navedene stranice;
• “host” - traži stranice koje se nalaze na datom hostu.

Koristimo operator "site". Imajte na umu da između operatera i stranice nema prostora. 18 stranica je u Yandex pretrazi.

Koristimo operator "host". 19 stranica indeksiranih od strane Yandexa.

Provjera indeksiranja pomoću dodataka i ekstenzija

Provjerite indeksiranje stranice pomoću servisa

Postoji mnogo takvih usluga. Pokazaću vam dvoje.

Serphunt

Serphunt je online servis za analizu web stranica. Imaju koristan alat za provjeru indeksiranja stranica.

Možete istovremeno provjeriti do 100 web stranica koristeći dva pretraživača - Yandex i Google.

Da provjerite indeksiranje stranice, dodajte je na listu:

Kliknite "Počni skeniranje" i nakon nekoliko sekundi dobivamo rezultat:

Za niz zadataka SEO analitike potrebno je odrediti od kada pretraživač „zna” za postojanje određena stranica. Jedan od uobičajenih načina da saznate starost dokumenta u Yandexu je traženje url-a pomoću Yandex.Xml da biste dobili parametar modtime. Zbog kvara parametra “&how=tm”, metoda je dobila još veću popularnost.

Ispada zgodno i brzo, na sreću postoji vizualni interfejs na https://xml.yandex.ru/test/. Ali ja sa velikom sumnjom Ja se odnosim na ovu metodu.

Šta fali modtime-u?

Prvo, u servisnoj dokumentaciji stoji samo ovo:

Dakle, ideja da oznaka prikazuje datum prvog indeksiranja u potpunosti pripada SEO ljudima.

Drugo, korisnici Yandex.Xml-a, blago rečeno, nisu najvažniji klijenti za pretraživač. Pristup je besplatan, tu nema reklama. Zašto bi Yandex LLC bila posebno zabrinuta za tačnost, relevantnost i pouzdanost xml parametara? Iako još uvijek možete vjerovati u ovo - pa, dobri programeri sve rade dobro. Ali zašto davati nedokumentovane karakteristike- potpuno je nejasno.

Međutim, sve su ovo tekstovi i moja nagađanja. Hajdemo na činjenice.

Šta je "starost dokumenta sa stanovišta Yandexa"?

Kako mi logika i Google kažu, ovo je vrijeme koje je prošlo od prvog indeksiranja. Najčešće nas zanima upravo ovo - od kog datuma je stranica počela privlačiti promet, akumulirati starost i tako dalje.

U stvarnosti varira. Ne morate daleko tražiti primjer.

Provjerimo modtime za nekoliko stranica mog starog hobi projekta smmup.ru.

Adresa	Datum od modtime
/	20140916T170528	2014-09-16
/activity.php	20150422T103533	2015-04-22
/target.php	20150208T173922	2015-02-08
/kogda.php	20141112T210047	2014-11-12

Već sam pisao o povijesti resursa u članku Dugo vremena Yandex ga nije pravilno indeksirao. Sačuvao sam prepisku sa Platonom od 20. aprila 2015. U ovom trenutku u pretrazi je bila samo jedna stranica - glavna.

Odnosno, pokazalo se da modtime za najmanje dva URL-a uopće nije datum pojavljivanja u indeksu. Za /kogda.php, razlika između vrijednosti iz ovog parametra i konačnog vremena indeksiranja je skoro šest meseci! Dokumenta nema u indeksu - ali modtime je već sa iskustvom (vojnik spava - servis je u toku).

Šta to znači? Da malo pretjeram: analizirali smo konkurente za zahtjev, vidjeli tu gomilu starih stranica, uplašili se i nismo krenuli dalje. A polovina takmičara je zapravo već duže vreme pod strogim filterima i nije ih tako teško savladati.

Situacija je teoretska, opisana jednostavno kao jasan primjer, zašto oslanjanje na modtime treba raditi s velikim oprezom.

Ali ovo je još uvijek cvijeće.

Modtime može sadržavati datum KASNIJE od stvarnog indeksiranja

U slučaju smmup.ru mi najmanje možemo protumačiti modtime kao vrijeme prve posjete robota. Datumi dobro koreliraju sa stvarnim izgledom stranica na sajtu.

Evo još jednog primjera. Ovdje se jednostavno ne usuđujem postaviti hipotezu odakle sve dolazi.

• Moj blog nema problema sa indeksiranjem (pogotovo što je taj članak ponovo objavljen u nekoliko popularnih grupa).
• Nije bilo preusmjeravanja, promjena adresa i slično.

Da otklonite sve posljednje sumnje:

To jest: modtime je značajno podcijenio starost stranice.

Ovaj primjer je pronađen za točno 2 minute (samo sam pogledao parametar za stranice bloga, bez dodatnih trikova), što ukazuje na veliku rasprostranjenost ovakvih rezultata. Osim toga, vidio sam mnogo sličnih slučajeva na stranicama koje sam pregledao (ne prikazujem ih iz očiglednih razloga), ponekad su greške bile godine.

Rezultati

1. Modtime ne prikazuje uvijek tačan datum indeksacije (u stvari, niko iz Yandexa to nije obećao).
2. Oslonite se samo na ovaj parametar pri određivanju starosti stranica zabranjeno je. Rezultati su nepouzdani.
3. Stoga je njegovo korištenje za analizu web stranica konkurenata veliko pitanje. Možete ga koristiti kada radite s vlastitim projektima - zahvaljujući dostupnosti drugih podataka za kontrolu. Međutim, raspon problema koji se mogu riješiti na ovaj način je prilično uzak.

Bit će mi drago da dobijem dodatna tumačenja i zanimljive primjere!

p.s. Na FB-u se vodila duga i ne naročito produktivna rasprava na ovu temu. Možda nisam uspio dovoljno dobro formulirati poruku članka. Poenta nije u tome da postoje neki problemi sa modtime-om. Jasno je da Yandex može, iz ovog ili onog razloga, resetirati „starost“ stranice. Glavna stvar je da ovi primjeri ilustruju: a) ne možete se osloniti na modtime kao datum prvog indeksiranja b) nema sigurnosti da "resetovanje" starosti prema modtimeu znači potpuno čišćenje stranice od akumuliranih faktora koji su direktno ili indirektno povezano sa godinama.

Dva načina za dobijanje datuma kada je stranica prvi put indeksirana prestala su raditi:

• operator datuma ne radi ispravno;
• dodavanje parametra &how=tm u niz upita više ne prikazuje datume indeksiranja.

Ali ove informacije se i dalje mogu dobiti putem Yandex XML-a. Da biste to učinili, trebate slijediti vezu https://xml.yandex.ru/test/ i u polje “&query” uneti upit poput url:%page%, gdje je %page% adresa stranice. Zatim kliknite na “Pronađi” i u rezultirajućem rezultatu tražimo oznaku koja će označavati datum kada je stranica prvi put indeksirana.

Datum indeksiranja od strane robota za pretraživanje i status u bazi podataka pretraživanja

Da biste saznali datum posljednjeg indeksiranja stranice i informacije o tome koja se verzija nalazi pri izradi rezultata pretraživanja, potrebno je da odaberete "Provjeri status URL-a" u usluzi Yandex.Webmaster u odjeljku "Indeksiranje". Zatim navedite potrebnu adresu i primite podatke. Ova metoda radi samo za provjerenu stranicu.

Datum kreiranja sačuvane kopije

Da biste saznali datum kreiranja sačuvane kopije, potrebno je da kliknete na padajući meni u rezultatima pretrage (pored naziva adrese stranice).

Pregled sačuvanih kopija u pretraživačima Bing i Mail prikazat će starije verzije stranica, jer ih ponovo indeksiraju sporije od Yandex i Google pretraživača.

Zaključak

1. Kao što je prikazano u gornjem primjeru, sačuvana kopija stranice se ne koristi uvijek za izgradnju baze indeksa. Ali, često je to istina.
2. Osim toga, ako ste izvršili bilo kakve promjene na stranici i čekate da se te promjene ponovo indeksiraju, onda ne biste trebali zaključiti da su promjene uzete u obzir na osnovu datuma posljednjeg indeksiranja od strane robota za pretraživanje.

Dva načina za dobijanje datuma kada je stranica prvi put indeksirana prestala su raditi:

• operator datuma ne radi ispravno;
• dodavanje parametra &how=tm u niz upita više ne prikazuje datume indeksiranja.

Ali ove informacije se i dalje mogu dobiti putem Yandex XML-a. Da biste to učinili, trebate slijediti vezu https://xml.yandex.ru/test/ i u polje “&query” uneti upit poput url:%page%, gdje je %page% adresa stranice. Zatim kliknite na “Pronađi” i u rezultirajućem rezultatu tražimo oznaku koja će označavati datum kada je stranica prvi put indeksirana.

Datum indeksiranja od strane robota za pretraživanje i status u bazi podataka pretraživanja

Da biste saznali datum posljednjeg indeksiranja stranice i informacije o tome koja se verzija nalazi pri izradi rezultata pretraživanja, potrebno je da odaberete "Provjeri status URL-a" u usluzi Yandex.Webmaster u odjeljku "Indeksiranje". Zatim navedite potrebnu adresu i primite podatke. Ova metoda radi samo za provjerenu stranicu.

Datum kreiranja sačuvane kopije

Da biste saznali datum kreiranja sačuvane kopije, potrebno je da kliknete na padajući meni u rezultatima pretrage (pored naziva adrese stranice).

Pregled sačuvanih kopija u pretraživačima Bing i Mail prikazat će starije verzije stranica, jer ih ponovo indeksiraju sporije od Yandex i Google pretraživača.

Zaključak

1. Kao što je prikazano u gornjem primjeru, sačuvana kopija stranice se ne koristi uvijek za izgradnju baze indeksa. Ali, često je to istina.
2. Osim toga, ako ste izvršili bilo kakve promjene na stranici i čekate da se te promjene ponovo indeksiraju, onda ne biste trebali zaključiti da su promjene uzete u obzir na osnovu datuma posljednjeg indeksiranja od strane robota za pretraživanje.