Nettstedindeksering i søkemotorer viktig for hver webmaster. Tross alt, for høykvalitets promotering av et prosjekt, bør du overvåke indekseringen. Jeg vil beskrive prosessen med å sjekke indeksering i Yandex.

Indeksering i Yandex

Yandex-roboten skanner nettsteder dag etter dag på jakt etter noe «velsmakende». Samler i toppresultatene de nettstedene og sidene som, etter hans mening, mest fortjener det. Vel, eller Yandex ville bare ha det sånn, hvem vet :)

Vi, som ekte webmastere, vil følge teorien om at jo bedre siden er laget, jo høyere plassering og mer trafikk.

Det er flere måter å sjekke nettstedindeksering i Yandex:

• bruker Yandex Webmaster;
• bruke søkemotoroperatører;
• bruk av utvidelser og plugins;
• ved å bruke nettjenester.

Indeksering av nettsider i Yandex Webmaster

For å forstå hva søkemotoren gravde opp på nettstedet vårt, må du gå til vår elskede Yandex Webmaster i delen "Indeksering".

Omgå statistikk i Yandex Webmaster

Først, la oss gå til elementet "Omgå statistikk". Denne delen lar deg finne ut hvilke sider på nettstedet ditt som roboten gjennomsøker. Du kan identifisere adresser som roboten ikke var i stand til å laste på grunn av utilgjengelighet til serveren som nettstedet er plassert på, eller på grunn av feil i innholdet på selve sidene.

Seksjonen inneholder informasjon om sidene:

• ny - sider som nylig dukket opp på nettstedet eller roboten har nettopp gjennomsøkt dem;
• endret - sider som Yandex-søkemotoren tidligere så, men de har endret seg;
• crawl history - antall sider som Yandex gjennomsøkte, tatt i betraktning serverens svarkode (200, 301, 404 og andre).

Grafen viser nye (grønne) og endrede (blå) sider.

Og dette er en graf over crawl-historien.

Dette elementet viser sidene som Yandex fant.

N/a — URL er ikke kjent for roboten, dvs. roboten hadde aldri møtt henne før.

Hvilke konklusjoner kan trekkes fra skjermbildet:

1. Yandex fant ikke adressen /xenforo/xenforostyles/, som faktisk er logisk, fordi denne siden eksisterer ikke lenger.
2. Yandex fant adressen /bystrye-ssylki-v-yandex-webmaster/, som også er ganske logisk, fordi ny side.

Så, i mitt tilfelle, gjenspeiler Yandex Webmaster det jeg forventet å se: det som ikke er nødvendig, har Yandex fjernet, og det som trengs, har Yandex lagt til. Det betyr at alt er bra med bypass, det er ingen blokkeringer.

Sider i søk

Søkeresultatene endres hele tiden – nye nettsteder legges til, gamle slettes, posisjoner i søkeresultater justeres, og så videre.

Du kan bruke informasjonen i «Sider i søk»-delen:

• for å spore endringer i antall sider i Yandex;
• for å spore lagt til og ekskluderte sider;
• for å finne ut årsakene til å ekskludere et nettsted fra søkeresultater;
• for å få informasjon om datoen søkemotoren besøkte nettstedet;
• for å motta informasjon om endringer i søkeresultater.

Denne delen er nødvendig for å sjekke indekseringen av sider. Her viser Yandex Webmaster sider lagt til i søkeresultater. Hvis alle sidene dine er lagt til seksjonen (en ny legges til innen en uke), så er alt i orden med sidene.

Sjekke antall sider i Yandex-indeksen ved hjelp av operatører

I tillegg til Yandex Webmaster, kan du sjekke indekseringen av en side ved å bruke operatører direkte i selve søket.

Vi vil bruke to operatører:

• "site" - søk på tvers av alle underdomener og sider på det angitte nettstedet;
• "vert" - søk etter sider som er vert på en gitt vert.

La oss bruke "site"-operatoren. Merk at det ikke er plass mellom operatøren og stedet. 18 sider er i Yandex-søk.

La oss bruke "host"-operatoren. 19 sider indeksert av Yandex.

Sjekke indeksering ved hjelp av plugins og utvidelser

Sjekk nettstedindeksering ved hjelp av tjenester

Det finnes mange slike tjenester. Jeg skal vise dere to.

Serphunt

Serphunt er en nettbasert tjeneste for nettstedsanalyse. De har et nyttig verktøy for å sjekke sideindeksering.

Du kan sjekke opptil 100 nettsider samtidig ved hjelp av to søkemotorer - Yandex og Google.

For å sjekke indekseringen av en side, legg den til i listen:

Klikk på "Start skanning" og etter noen sekunder får vi resultatet:

For en rekke SEO-analyseoppgaver er det nødvendig å bestemme fra hvilket tidspunkt søkemotoren "vet" om eksistensen av spesifikk side. En av de vanlige måtene å finne ut alderen til et dokument i Yandex er å søke etter url ved hjelp av Yandex.Xml for å få modtime-parameteren. På grunn av sammenbruddet av "&how=tm"-parameteren, fikk metoden enda mer popularitet.

Det viser seg praktisk og raskt, heldigvis er det et visuelt grensesnitt på https://xml.yandex.ru/test/. Men jeg med stor tvil Jeg forholder meg til denne metoden.

Hva er galt med modtime?

For det første sier tjenestedokumentasjonen kun dette:

Dermed tilhører ideen om at taggen viser datoen for første indeksering utelukkende SEO-folk.

For det andre er Yandex.Xml-brukere mildt sagt ikke de viktigste klientene for søkemotoren. Tilgang gis gratis, det er ingen annonser der. Hvorfor skulle Yandex LLC være spesielt bekymret for nøyaktigheten, relevansen og påliteligheten til xml-parametere? Selv om du fortsatt kan tro dette - vel, gode programmerere gjør alt bra. Men hvorfor gi udokumenterte funksjoner– Det er helt uklart.

Alt dette er imidlertid tekster og mine spekulasjoner. La oss komme ned til fakta.

Hva er "dokumentalder fra Yandex synspunkt"?

Som logikk og Google forteller meg, er dette tiden som har gått siden den første indekseringen. Oftest er vi interessert i akkurat dette - fra hvilken dato siden begynte å tiltrekke seg trafikk, akkumulere alder og så videre.

I virkeligheten varierer det. Du trenger ikke lete langt etter et eksempel.

La oss sjekke modtime for flere sider av mitt gamle hobbyprosjekt smmup.ru.

Adresse	Dato fra modtime
/	20140916T170528	2014-09-16
/activity.php	20150422T103533	2015-04-22
/target.php	20150208T173922	2015-02-08
/kogda.php	20141112T210047	2014-11-12

Jeg har allerede skrevet om historien til ressursen i artikkelen I lang tid ble den ikke riktig indeksert av Yandex. Jeg har bevart korrespondanse med Platon, datert 20. april 2015. På dette tidspunktet var det bare én side i søket - den viktigste.

Det vil si at modtime for minst to nettadresser viste seg å ikke være datoen for opptreden i indeksen i det hele tatt. For /kogda.php er forskjellen mellom verdien fra denne parameteren og den endelige indekseringstiden nesten seks måneder! Dokumentet er ikke i indeksen - men modtime er allerede med erfaring (soldaten sover - tjenesten er i gang).

Hva betyr dette? For å overdrive litt: vi analyserte konkurrenter for forespørselen, så en haug med gamle sider der, ble redde og gikk ikke videre med det. Og halvparten av konkurrentene har faktisk vært under strenge filtre i lang tid, og det er ikke så vanskelig å overvinne dem.

Situasjonen er teoretisk, beskrevet enkelt som klart eksempel, hvorfor å stole på modtime må gjøres med stor forsiktighet.

Men disse er fortsatt blomster.

Modtime kan inneholde en dato SENERE enn den faktiske indekseringen

I tilfelle av smmup.ru vi i det minste vi kan tolke modtime som tidspunktet for robotens første besøk. Datoene samsvarer godt med det faktiske utseendet til sidene på nettstedet.

Her er et annet eksempel. Her tør jeg rett og slett ikke sette frem en hypotese om hvor alt kommer fra.

• Bloggen min har ingen problemer med indeksering (spesielt siden den artikkelen ble publisert på nytt i flere populære grupper).
• Det var ingen omdirigeringer, adresseendringer eller lignende.

For å fjerne enhver siste tvil:

Det vil si: modtime undervurderte alderen på siden betydelig.

Dette eksemplet ble funnet på nøyaktig 2 minutter (jeg så nettopp på parameteren for bloggsider, uten ekstra triks), noe som indikerer den høye forekomsten av slike resultater. I tillegg så jeg mange lignende saker på nettsteder som jeg reviderte (jeg viser dem ikke av åpenbare grunner), noen ganger var feilen år.

Resultater

1. Modtime viser ikke alltid riktig indekseringsdato (faktisk var det ingen fra Yandex som lovet dette).
2. Stol bare på denne parameteren for å bestemme alderen på sidene det er forbudt. Resultatene er upålitelige.
3. Derfor er bruken for å analysere konkurrenters nettsteder et stort spørsmål. Du kan bruke den når du arbeider med dine egne prosjekter - takket være tilgjengeligheten av andre data for kontroll. Utvalget av problemer som kan løses på denne måten er imidlertid ganske snevert.

Jeg vil gjerne motta flere tolkninger og interessante eksempler!

p.s. Det ble en lang og ikke spesielt produktiv diskusjon om dette temaet på FB. Kanskje jeg ikke klarte å formulere artikkelens budskap godt nok. Poenget er ikke at det er noen feil med modtime. Det er klart at Yandex av en eller annen grunn kan tilbakestille "alderen" på en side. Hovedsaken er at disse eksemplene illustrerer: a) du kan ikke stole på modtime som dato for første indeksering b) det er ingen sikkerhet for at en alders-"tilbakestilling" i henhold til modtime betyr en fullstendig fjerning av siden fra akkumulerte faktorer som er direkte eller indirekte relatert til alder.

To metoder for å finne datoen en side ble indeksert for første gang sluttet å virke:

• datooperatøren fungerer ikke riktig;
• Hvis du legger til parameteren &how=tm i spørringsstrengen, vises ikke lenger indekseringsdatoer.

Men denne informasjonen kan fortsatt fås via Yandex XML. For å gjøre dette, må du følge lenken https://xml.yandex.ru/test/ og i "&query"-feltet skriv inn en spørring som url:%page%, der %page% er sideadressen. Deretter klikker du på "Finn" og i resultatet ser vi etter en tag som vil indikere datoen siden først ble indeksert.

Dato for gjennomsøking etter søkerobot og status i søkedatabasen

For å finne ut datoen for siste gjennomgang av siden og informasjon om hvilken versjon som er plassert når du bygger søkeresultater, må du velge "Sjekk URL-status" i Yandex.Webmaster-tjenesten i "Indeksering"-delen. Angi deretter den nødvendige adressen og motta dataene. Denne metoden fungerer bare for et verifisert nettsted.

Dato for opprettelse av den lagrede kopien

For å finne ut datoen for opprettelsen av den lagrede kopien, må du klikke på rullegardinmenyen i søkeresultatene (ved siden av navnet på sidens adresse).

Visning av lagrede kopier i Bing- og Mail-søkemotorene vil vise eldre versjoner av sidene, siden de re-indekserer dem saktere enn Yandex og Googles søkeroboter.

Konklusjon

1. Som vist i eksempelet ovenfor, brukes ikke alltid den lagrede kopien av siden til å bygge indeksbasen. Men ofte er dette sant.
2. I tillegg, hvis du har gjort noen endringer på siden og venter på at disse endringene skal indekseres på nytt, bør du ikke konkludere med at endringene er tatt i betraktning basert på datoen for siste gjennomgang av søkeroboten.

To metoder for å finne datoen en side ble indeksert for første gang sluttet å virke:

• datooperatøren fungerer ikke riktig;
• Hvis du legger til parameteren &how=tm i spørringsstrengen, vises ikke lenger indekseringsdatoer.

Men denne informasjonen kan fortsatt fås via Yandex XML. For å gjøre dette, må du følge lenken https://xml.yandex.ru/test/ og i "&query"-feltet skriv inn en spørring som url:%page%, der %page% er sideadressen. Deretter klikker du på "Finn" og i resultatet ser vi etter en tag som vil indikere datoen siden først ble indeksert.

Dato for gjennomsøking etter søkerobot og status i søkedatabasen

For å finne ut datoen for siste gjennomgang av siden og informasjon om hvilken versjon som er plassert når du bygger søkeresultater, må du velge "Sjekk URL-status" i Yandex.Webmaster-tjenesten i "Indeksering"-delen. Angi deretter den nødvendige adressen og motta dataene. Denne metoden fungerer bare for et verifisert nettsted.

Dato for opprettelse av den lagrede kopien

For å finne ut datoen for opprettelsen av den lagrede kopien, må du klikke på rullegardinmenyen i søkeresultatene (ved siden av navnet på sidens adresse).

Visning av lagrede kopier i Bing- og Mail-søkemotorene vil vise eldre versjoner av sidene, siden de re-indekserer dem saktere enn Yandex og Googles søkeroboter.

Konklusjon

1. Som vist i eksempelet ovenfor, brukes ikke alltid den lagrede kopien av siden til å bygge indeksbasen. Men ofte er dette sant.
2. I tillegg, hvis du har gjort noen endringer på siden og venter på at disse endringene skal indekseres på nytt, bør du ikke konkludere med at endringene er tatt i betraktning basert på datoen for siste gjennomgang av søkeroboten.