Yandex søkemotor hva er nytt. Yandex - hva er Yandex og hvorfor heter det Yandex. Sammensetning og prinsipper for drift av søkesystemet
De har lenge blitt en integrert del av det russiske Internett. Søkemotorer er nå enorme og komplekse mekanismer som representerer ikke bare et informasjonssøkeverktøy, men også fristende områder for virksomheten.
De fleste søkemotorbrukere har aldri tenkt (eller tenkt på det, men ikke funnet et svar) på prinsippet om søkemotorer, om ordningen for behandling av brukerforespørsler, om hva disse systemene består av og hvordan de fungerer...
Denne mesterklassen er designet for å svare på spørsmålet om hvordan søkemotorer fungerer. Her finner du imidlertid ikke faktorer som påvirker rangeringen av dokumenter. Dessuten bør du ikke stole på en detaljert forklaring av Yandex-algoritmen. Han, ifølge Ilya Segalovich, direktør for teknologi og utvikling av Yandex-søkemotoren, kan bare gjenkjennes "under tortur" av Ilya Segalovich selv ...
2. Konsept og funksjoner til en søkemotor
Et søkesystem er et programvare- og maskinvarekompleks designet for å søke på Internett og svare på en brukerforespørsel, spesifisert i form av en tekstfrase (søkespørring), ved å produsere en liste med lenker til informasjonskilder, i rekkefølge av relevans ( i samsvar med forespørselen). De største internasjonale søkemotorene: "Google", Yahoo , MSN . På det russiske Internett er disse Yandex, Rambler, Aport.
La oss se nærmere på konseptet med et søk ved å bruke Yandex-søkemotoren som eksempel. Søket bør formuleres av brukeren i samsvar med det han ønsker å finne, så kort og enkelt som mulig. La oss si at vi ønsker å finne informasjon i Yandex om hvordan du velger en bil. For å gjøre dette, åpne Yandex hovedside og skriv inn teksten i søket "hvordan velge en bil." Deretter kommer vår oppgave ned til å åpne lenkene som er gitt på vår forespørsel til informasjonskilder på Internett. Det er imidlertid godt mulig at vi ikke finner den informasjonen vi trenger. Hvis dette skjer, må du enten omformulere forespørselen din, eller så har søkemotordatabasen virkelig ingen relevant informasjon om forespørselen vår (dette kan skje når du spør veldig "smale" søk, som for eksempel "hvordan velge en bil i Arkhangelsk")
Hovedmålet med enhver søkemotor er å levere til folk akkurat den informasjonen de leter etter. Og lære brukerne å komme med «riktige» forespørsler til systemet, dvs. spørringer som samsvarer med driftsprinsippene til søkemotorer er umulige. Derfor lager utviklere algoritmer og driftsprinsipper for søkemotorer som lar brukere finne informasjonen de leter etter.
Dette betyr at søkemotoren må "tenke" på samme måte som brukeren tenker når de søker etter informasjon. Når en bruker sender en forespørsel til en søkemotor, ønsker han å finne det han trenger så raskt og enkelt som mulig. Når han mottar resultatet, evaluerer han ytelsen til systemet, styrt av flere grunnleggende parametere. Fant han det han lette etter? Hvis han ikke fant det, hvor mange ganger måtte han omformulere søket for å finne det han lette etter? Hvor mye relevant informasjon kunne han finne? Hvor raskt behandlet søkemotoren søket? Hvor praktisk ble søkeresultatene presentert? Var resultatet du lette etter det første eller det hundrere? Hvor mye unødvendig søppel ble funnet sammen med nyttig informasjon? Vil den nødvendige informasjonen bli funnet når du får tilgang til en søkemotor, for eksempel om en uke eller om en måned?
For å tilfredsstille alle disse spørsmålene med svar, forbedrer søkemotorutviklere stadig søkealgoritmer og prinsipper, legger til nye funksjoner og muligheter, og prøver på alle mulige måter å fremskynde driften av systemet.
3. Hovedtrekk ved en søkemotor
La oss beskrive hovedkarakteristikkene til søkemotorer:
- Fullstendighet
Fullstendighet er en av hovedkarakteristikkene til et søkesystem, som er forholdet mellom antall dokumenter funnet ved forespørsel og det totale antallet dokumenter på Internett som tilfredsstiller den gitte forespørselen. For eksempel, hvis det er 100 sider på Internett som inneholder uttrykket "hvordan velge en bil", og bare 60 av dem ble funnet for det tilsvarende søket, vil fullstendigheten av søket være 0,6. Jo mer fullstendig søket er, jo mindre sannsynlig er det at brukeren ikke finner dokumentet han trenger, forutsatt at det finnes på Internett i det hele tatt.
- Nøyaktighet
Nøyaktighet er en annen hovedkarakteristikk ved en søkemotor, som bestemmes av i hvilken grad de funnet dokumentene samsvarer med brukerens søk. For eksempel, hvis spørringen "hvordan velge en bil" inneholder 100 dokumenter, inneholder 50 av dem uttrykket "hvordan velge en bil", og resten inneholder bare disse ordene ("hvordan velge riktig radio og installere den i en bil»), så anses søkenøyaktigheten som lik 50/100 (=0,5). Jo mer nøyaktig søket er, jo raskere vil brukeren finne dokumentene han trenger, jo mindre forskjellige typer "søppel" vil bli funnet blant dem, jo sjeldnere vil ikke de funnet dokumentene samsvare med forespørselen.
- Relevans
Relevans er en like viktig komponent i søk, som kjennetegnes av tiden som går fra det øyeblikket dokumenter publiseres på Internett til de legges inn i søkemotorindeksdatabasen. For eksempel, dagen etter at interessante nyheter dukket opp, vendte et stort antall brukere seg til søkemotorer med relevante søk. Objektivt sett har det gått mindre enn en dag siden publiseringen av nyhetsinformasjon om dette emnet, men hoveddokumentene er allerede indeksert og tilgjengelige for søk, takket være eksistensen av den såkalte "raske databasen" med store søkemotorer, som oppdateres flere ganger om dagen.
- Søkehastighet
Søkehastighet er nært knyttet til belastningsmotstanden. For eksempel, ifølge Rambler Internet Holding LLC, mottar Rambler-søkemotoren i dag, i arbeidstiden, omtrent 60 forespørsler per sekund. Slik arbeidsbelastning krever å redusere behandlingstiden for en individuell forespørsel. Her faller brukerens og søkemotorens interesser sammen: den besøkende ønsker å få resultater så raskt som mulig, og søkemotoren må behandle forespørselen så raskt som mulig, for ikke å bremse utregningen av påfølgende søk.
- Synlighet
4. Kort historie om utviklingen av søkemotorer
I den innledende perioden med Internett-utvikling var antallet brukere lite, og mengden tilgjengelig informasjon var relativt liten. For det meste var det bare forskningspersonell som hadde tilgang til Internett. På dette tidspunktet var ikke oppgaven med å søke etter informasjon på Internett så presserende som nå.
En av de første måtene å organisere tilgang til nettverksinformasjonsressurser på var å lage åpne kataloger over nettsteder, lenker til ressurser som ble gruppert etter emne. Det første slike prosjektet var Yahoo.com-nettstedet, som åpnet våren 1994. Etter at antallet nettsteder i katalogen økte betydelig, ble muligheten til å søke etter nødvendig informasjon i katalogen lagt til. I full forstand var det ennå ikke en søkemotor, siden søkeområdet bare var begrenset til ressursene i katalogen, og ikke til alle Internett-ressurser.
Link kataloger ble mye brukt i fortiden, men har nesten fullstendig mistet sin popularitet i dag. Siden selv moderne kataloger, store i volum, inneholder informasjon bare om en ubetydelig del av Internett. Den største katalogen i DMOZ-nettverket (også kalt Open Directory Project) inneholder informasjon om 5 millioner ressurser, mens Googles søkemotordatabase består av mer enn 8 milliarder dokumenter.
I 1995 dukket søkemotorene Lycos og AltaVista opp. Sistnevnte har vært ledende innen informasjonssøk på Internett i mange år.
I 1997 opprettet Sergey Brin og Larry Page Googles søkemotor som en del av et forskningsprosjekt ved Stanford University. Google er for tiden den mest populære søkemotoren i verden!
I september 1997 ble Yandex-søkemotoren, som er den mest populære på det russiskspråklige Internett, offisielt annonsert.
For tiden er det tre hovedsøkemotorer (internasjonale) - Google, Yahoo og, som har sine egne databaser og søkealgoritmer. De fleste andre søkemotorer (som det er et stort antall av) bruker i en eller annen form resultatene til de tre oppførte. For eksempel bruker AOL-søk (search.aol.com) Google-databasen, mens AltaVista, Lycos og AllTheWeb bruker Yahoo-databasen.
5. Sammensetning og prinsipper for drift av søkesystemet
I Russland er hovedsøkemotoren Yandex, etterfulgt av Rambler.ru, Google.ru, Aport.ru, Mail.ru. Dessuten bruker Mail.ru for øyeblikket Yandex søkemotor og database.
Nesten alle store søkemotorer har sin egen struktur, forskjellig fra andre. Det er imidlertid mulig å identifisere hovedkomponentene som er felles for alle søkemotorer. Forskjeller i struktur kan bare være i form av implementering av mekanismene for interaksjon mellom disse komponentene.
Indekseringsmodul
Indekseringsmodulen består av tre hjelpeprogrammer (roboter):
Spider er et program laget for å laste ned nettsider. Edderkoppen laster ned siden og henter alle interne lenker fra den siden. HTML-koden for hver side lastes ned. Roboter bruker HTTP-protokoller for å laste ned sider. Edderkoppen fungerer som følger. Roboten sender forespørselen "get/path/document" og noen andre HTTP-forespørselskommandoer til serveren. Som svar mottar roboten en tekststrøm som inneholder tjenesteinformasjon og selve dokumentet.
- Side URL
- dato siden ble lastet ned
- Serverrespons http-header
- sidetekst (html-kode)
Crawler ("reisende" edderkopp) er et program som automatisk følger alle lenkene som finnes på siden. Velger alle lenker på siden. Dens jobb er å bestemme hvor edderkoppen skal gå videre, basert på lenker eller en forhåndsbestemt adresseliste. Crawler, følger lenkene som er funnet, søker etter nye dokumenter som fortsatt er ukjente for søkemotoren.
Indexer (robot indexer) er et program som analyserer nettsider lastet ned av edderkopper. Indekseren analyserer siden inn i dens komponentdeler og analyserer dem ved hjelp av sine egne leksikalske og morfologiske algoritmer. Ulike sideelementer blir analysert, for eksempel tekst, overskrifter, lenker, struktur- og stilfunksjoner, spesielle HTML-tagger, etc.
Dermed lar indekseringsmodulen deg gjennomsøke et gitt sett med ressurser ved å bruke lenker, laste ned påkjørte sider, trekke ut lenker til nye sider fra mottatte dokumenter og utføre en fullstendig analyse av disse dokumentene.
Database
En database, eller søkemotorindeks, er et datalagringssystem, en informasjonsarray der spesialkonverterte parametere for alle dokumenter som er lastet ned og behandlet av indekseringsmodulen lagres.
Søk server
Søkeserveren er det viktigste elementet i hele systemet, siden kvaliteten og hastigheten på søket er direkte avhengig av algoritmene som ligger til grunn for dets funksjon.
Søkeserveren fungerer som følger:
- Forespørselen mottatt fra brukeren er gjenstand for morfologisk analyse. Informasjonsmiljøet til hvert dokument som finnes i databasen genereres (som deretter vil vises i skjemaet, det vil si tekstinformasjon som tilsvarer forespørselen på søkeresultatsiden).
- De mottatte dataene sendes som inngangsparametere til en spesiell rangeringsmodul. Data behandles for alle dokumenter, som et resultat av at hvert dokument har sin egen vurdering som karakteriserer relevansen til spørringen som er lagt inn av brukeren og de ulike komponentene i dette dokumentet som er lagret i søkemotorindeksen.
- Avhengig av brukerens valg, kan denne vurderingen justeres av tilleggsbetingelser (for eksempel såkalt "avansert søk").
- Deretter genereres en kodebit, det vil si at for hvert dokument som er funnet, hentes tittelen, et kort sammendrag som passer best med søket, og en lenke til selve dokumentet fra dokumenttabellen, og ordene som ble funnet utheves.
- De resulterende søkeresultatene overføres til brukeren i form av en SERP (Search Engine Result Page) – en søkeresultatside.
Som du kan se, er alle disse komponentene nært knyttet til hverandre og fungerer i samspill, og danner en klar, ganske kompleks mekanisme for driften av søkesystemet, som krever enorme mengder ressurser.
6. Konklusjon
La oss nå oppsummere alt det ovennevnte.
- Hovedmålet med enhver søkemotor er å levere til folk akkurat den informasjonen de leter etter.
- Hovedtrekk ved søkemotorer:
- Fullstendighet
- Nøyaktighet
- Relevans
- Søkehastighet
- Synlighet
- Den første fullverdige søkemotoren var WebCrawler-prosjektet, publisert i 1994.
- Søkesystemet inkluderer følgende komponenter:
- Indekseringsmodul
- Database
- Søk server
Vi håper at mesterklassen vår vil tillate deg å bli mer kjent med konseptet med en søkemotor og bedre forstå hovedfunksjonene, egenskapene og driftsprinsippene til søkemotorer.
Hei kjære venner! I denne artikkelen vil vi fortsette å se på Yandex-søkemotoren, og som du husker, diskuterte vi i tidligere artikler historien om opprettelsen av dette flotte selskapet, som rangerer først blant sine konkurrenter i Russland og utover.
Alt dette er bra, men nybegynnere og erfarne nettstedbyggere er selvfølgelig interessert i det viktigste spørsmålet knyttet til hvordan de skal bringe prosjektene sine til de første plassene i de TOP-søkeresultatene.
La oss derfor se på hvordan Yandex-søkemotoren fungerer for å forstå hvilke feil du kan tråkke på, og hva du kan forvente av en russisk søkemotor generelt.
I den siste artikkelen diskuterte vi. Emnet viste seg å være ganske interessant og nyttig. Derfor bestemte jeg meg for å supplere den, utdype den, for å si det sånn.
Så jeg ble nok litt revet med av spørsmålet "Hvorfor indekserer en søkemotor"? Det er en no brainer. Alt som gjenstår er å finne ut "hvordan"-spørsmålet.
Nettstedsrangeringsalgoritmer
Først, la oss bli kjent med noen algoritmer som er grunnleggende for enhver søkemotor:
— Direkte søkealgoritme.
Hva er det - du husker å ha lest en fantastisk historie i en av bøkene. Og du begynner å lete en etter en. De tok en bok, så gjennom den, fant den ikke, tok en annen ... Prinsippet er klart, men denne metoden er ekstremt lang. Dette er også forståelig.
— Omvendt søkealgoritme.
For denne algoritmen opprettes en tekstfil fra hver side på bloggen din. Denne filen viser i alfabetisk rekkefølge ALLE ordene du brukte. Til og med plasseringen til dette ordet i teksten er angitt (koordinater i teksten).
Dette er en ganske rask metode, men søket skjer allerede med en viss feil.
Det viktigste å forstå her er at denne algoritmen ikke søker på Internett, ikke ved å søke på en blogg. Og i en egen tekstfil som ble laget for lenge siden. Da roboten kom til deg. Og disse filene (omvendte indekser) er lagret på Yandex-servere.
Så dette var de grunnleggende søkealgoritmene. De. hvordan Yandex ganske enkelt finner de nødvendige dokumentene. Det skal ikke se ut til å være noen problemer med dette.
Men Yandex kjenner til mer enn ett eller til og med 100 dokumenter, men ifølge de siste dataene fra mine kilder kjenner Yandex til rundt 11 milliarder dokumenter (10 727 736 489 sider).
Og blant all denne mengden må du velge dokumenter som samsvarer med forespørselen. Og enda viktigere, du må på en eller annen måte rangere dem. De. ordne etter graden av betydning, eller rettere sagt etter graden av nytte for leseren.
Matematiske søkemodeller
For å løse dette problemet kommer matematiske modeller til unnsetning. Nå skal vi snakke om de enkleste modellene.
Boolsk matematisk modell– Hvis et ord forekommer i et dokument, anses dokumentet som funnet. Bare en tilfeldighet og ingenting komplisert.
Men det er problemer her. For eksempel, hvis du som bruker skriver inn et populært ord, eller enda bedre, preposisjonen "v", som er det vanligste ordet i det russiske språket og finnes i HVER dokument, vil du få så mange resultater at du ikke engang skjønner et slikt tall, hvor mange dokumenter fant du? Derfor dukket følgende mattemodell opp.
Vektor matematisk modell– denne modellen bestemmer "vekten" av dokumentet. Ikke bare oppstår tilfeldighetene, men ordet må forekomme flere ganger. Dessuten, jo mer et ord vises, jo høyere relevans (compliance).
Det er vektormodellen som ALLE søkemotorer bruker.
Sannsynlighetsmodell- mer kompleks. Prinsippet er dette: søkemotoren fant selve sidemalen. For eksempel leter du etter informasjon om historien til Yandex. Yandex lagrer en slags standard, la oss si at dette vil være min forrige artikkel om Yandex.
Og han vil sammenligne alle andre dokumenter med denne artikkelen. Og logikken her er denne: jo mer lik bloggsiden din er til artikkelen min, desto MER SYNLIG er det at bloggsiden din også vil være nyttig for leseren og også forteller om historien til Yandex.
For å redusere antall dokumenter som må vises til brukeren ble relevansbegrepet introdusert, dvs. samsvar.
Hvor relevant er bloggsiden din for emnet? Dette er et viktig tema når det gjelder søkekvalitet.
Bedømmere – hvem er de og hva har de ansvar for?
Denne relevansen er også nødvendig for å vurdere kvaliteten på algoritmene.
For dette formålet er det et spesialstyrkehovedkvarter - de kalles Assessors. Dette er spesielle personer som ser gjennom søkeresultater med hendene.
De har instruksjoner om hvordan du sjekker nettsteder, hvordan du evaluerer osv. Og de bestemmer manuelt om sidene dine egner seg for søk eller ikke.
Og kvaliteten på søkealgoritmene avhenger av vurderingene til vurderingene. Hvis alle bedømmerne sier at søkeresultatene ikke samsvarer med forespørslene, betyr dette at rangeringsalgoritmen er feil og Yandex er den eneste å klandre.
Hvis bedømmerne sier at kun ett nettsted ikke oppfyller forespørselen, betyr det at siden flyr et sted langt unna og senkes i søkeresultatene. Mer presist, ikke hele nettstedet, men bare én artikkel, men dette er "ikke poenget."
Selvsagt kan ikke bedømmere gjennomgå og vurdere ALLE artikler med hendene og øynene. Dette er forståelig.
Og andre parametere som sidene rangeres etter, kommer til unnsetning.
Det er mange av dem, for eksempel:
- sidevekt (vIC, PageRank, baby støt Alt i alt);
- domeneautoritet;
- tekstens relevans for forespørselen;
- relevansen av eksterne lenketekster til spørringen;
- samt mange andre rangeringsfaktorer.
Evaluatorer kommer med kommentarer, og personene som er ansvarlige for å sette opp den matematiske rangeringsmodellen, redigerer på sin side formelen, som et resultat av at søkemotoren fungerer mer effektivt.
Hovedkriteriene for å evaluere ytelsen til formelen:
1. Nøyaktighet i søkemotorresultater- prosentandel av dokumenter som samsvarer med forespørselen (relevant). De. Jo færre sider som ikke samsvarer med forespørselen, jo bedre.
2. Fullstendighet av søkemotorresultater- dette er forholdet mellom relevante nettsider for et gitt søk og det totale antallet relevante dokumenter i samlingen (totaliteten av sider funnet i søkemotoren).
Hvis det for eksempel er flere relevante sider i hele samlingen enn i søkeresultatene, betyr dette at resultatene er ufullstendige. Dette skjedde fordi noen av de relevante nettsidene ble filtrert.
3. Relevans av søkemotorresultater- dette er nettsidens samsvar med det som er skrevet i kodebiten. For eksempel kan et dokument være svært forskjellig eller ikke eksistere i det hele tatt, men fortsatt være tilstede i søkeresultatene.
Relevansen til søkeresultatene avhenger direkte av hvor ofte søkeroboten skanner dokumenter fra samlingen.
Samlingsinnsamling (indeksering av nettstedssider) utføres av et spesielt program - en søkerobot.
Søkeroboten mottar en liste over adresser for indeksering, kopierer dem, og sender deretter innholdet på de kopierte nettsidene for behandling til en algoritme som konverterer dem til omvendte indekser.
Vel, "i et nøtteskall," så å si, diskuterte vi prinsippene for søkemotoren.
La oss oppsummere:
- En søkerobot kommer til bloggen din.
- Søkeroboten lagrer den omvendte indeksen til siden for påfølgende søk.
- Ved hjelp av en matematisk modell blir dokumentet behandlet og vist i søkeresultater ved hjelp av formler og under hensyntagen til vurderingsmannens mening.
Dette er veldig, veldig forenklet. Bare for å få en grunnleggende forståelse av hvordan Yandex-søkemotoren fungerer.
Jeg har nå skrevet så mye tekst, og kanskje så mye er uklart. Derfor foreslår jeg at du går tilbake til denne artikkelen litt senere og ser denne videoen.
Dette er en utmerket guide, som jeg også lærte av på en gang.
Jeg håper denne informasjonen vil hjelpe deg å bedre forstå hvorfor et av nettstedene dine inntar passende posisjoner i søk og gjøre alt for å forbedre dem.
Med dette sier jeg farvel til deg, hvis du har spørsmål, er jeg alltid glad for å svare på dem i kommentarene. Eller kanskje du vil legge til artikkelen?
I alle fall si din mening. !
Vi er ikke så unike som vi tror: millioner av mennesker før oss undret oss og millioner etter oss vil forvirre søkemotoren med nesten identiske spørsmål. På den annen side er vi for uforutsigbare: Formuleringen av forespørselen vår påvirkes av et stort antall faktorer som vi ikke er klar over. Og i det minste av denne grunn krever forespørselen fra hver enkelt av oss, uansett hvor banal den måtte være, en individuell tilnærming.
Faktisk kommer hele arbeidet til Yandex-søkemotoren ned til to enkle ting: å forstå hva en person virkelig vil vite, og på noen få sekunder å finne passende blant milliarder av dokumenter på Internett.
Ta fingeravtrykk
Søkemotorens operativsystem ligner noe på Matrix, og søkeroboten (det komplekse, uavhengige beslutningsprogrammet den opprettet) ligner på Agent Smith.
For ikke å søke på hele Internett hver gang noen trenger å vite noe, gjør søkemotoren en del av arbeidet på forhånd – den sjekker hva som er på nettet og hvor det er, ved hjelp av tusenvis av søkeroboter. De kommer i to typer: grunnleggende og raske. Den viktigste gjennomsøker og behandler Internett som helhet, og den raske - dokumenter som dukket opp for et minutt eller til og med et par sekunder siden. Robotprogrammenes oppgave er å velge egnet og nyttig informasjon for brukerne, behandle den, luke ut alt utdatert og unødvendig. På noen måter minner dette om å sortere søppel: papir i en beholder, glass i en annen, plast i en tredje, matavfall i en fjerde...
Informasjonen som samles inn av roboter utgjør den såkalte internett-casten. Den er lagret på tusenvis av Yandex-servere og oppdateres kontinuerlig. En nugget er som en liste som forteller deg hvor du finner hvilken informasjon. I denne listen har hvert søkeord ikke én, men millioner av "sider". For å sikre at alle nuggetoppdateringer er tilgjengelige for brukere, flyttes de fra depotet til "basesøket". Data fra hovedroboten overføres med noen få dagers mellomrom, og fra den raske roboten – i sanntid.
Ta med rent vann
 ILLUSTRASJON: EVGENY TONKONOGY |
Mens den søker etter svaret på et gitt spørsmål i en forberedt database, står maskinen overfor to hovedvansker. Den første vanskeligheten er språket. Før du leter etter svar på et spørsmål, er det viktig for maskinen å forstå på hvilket språk den skal gjøre det. For eksempel, for en russisktalende person, vil søket etter "Prins Igors tropp" finne dokumenter med informasjon om hæren, og for en ukrainer vil "Prins Igors tropp" også returnere dokumenter som nevner prinsesse Olga, hans kone, siden på ukrainsk er "kone" "lag". Og i det rike russiske språket kan det samme ordet eller dets derivater bety forskjellige ting. For eksempel er ordet "stål" en av formene for substantivet "stål" og verbet "bli". Den andre vanskeligheten er menneskelig psykologi. Når vi legger inn en forespørsel, forventer vi et raskt og nøyaktig svar, uten naturlig å bekymre oss for om ordlyden i forespørselen samsvarer med prinsippene for matematisk analyse som maskinens hjerne fungerer etter. For eksempel, ved å skrive inn ordet "Napoleon" i søkefeltet, hva ønsker en person å få: en kakeoppskrift eller en biografi om den franske keiseren, kjøpe konjakk eller finne adressen til et psykiatrisk sykehus?
 |
I slike situasjoner spiller flere teknologier inn. Du kan gi deg flere hint under søkefeltet som spesifiserer forespørselen din. Som, velg det du trenger: Napoleon-oppskrifter eller Napoleon - Bonaparte. Hvis brukeren ikke svarer på maskinens forespørsel og ikke legger til ord til "Napoleon", hjelper "Spectrum" -teknologien saken: uten å håpe på hjelp, søker maskinen umiddelbart etter informasjon i flere kategorier (om kaken, og om keiseren, og om hesten). ...). I tillegg hjelper personaliseringsmekanismer til å forstå brukeren - maskinens kunnskap om hva denne brukeren lette etter på datamaskinen sin for en dag, to, tre eller måneder siden: hvis du ofte stilte Yandex-spørsmål om matlaging, vil maskinen først vise resultater som sier at Napoleon er en kake.
Kombinasjoner: interesseklubber
Oppgaven til en søkemotor er ikke bare å velge dokumenter som inneholder ord og uttrykk fra søket. Maskinen må forstå hvilke dokumenter som oppfyller våre motstridende krav og hvorfor de oppfyller dem. Ønsker vi å få informasjon om kaken Napoleon, eller kanskje vi besøkte en treningsklubb med et pretensiøst navn i et par år, eller er til og med helt bekymret for kompleksene til lave mennesker. I alle fall krever løsning av problemet en ikke-triviell tilnærming.
 |
Skaperne av Yandex-søkeprogrammet fant denne tilnærmingen ved å delegere valgretten til maskinen. På den ene siden, en sjelløs, men veldig rask og smart maskin vet ikke og vil ikke vite noe om oss som individer, og på den andre siden prøver den å finne ut så mye som mulig om alle.
I tillegg til den geografiske plasseringen til brukeren og språklig analyse av søkene hans, bruker søkemotoren flere tusen kriterier som slett ikke er åpenbare for mennesker.
Trikset er at maskinen utvikler og oppdaterer disse kriteriene uavhengig.
Den bruker ganske enkelt data om preferansene og brukeratferden til millioner av mennesker og relaterer dette "aritmetiske gjennomsnittet" til historien til søkene våre. Prinsippene som styrer matrisen i seg selv, og sammenligner de tusenvis av kategorier av brukerinteresser den har utviklet, passer ofte ikke inn i tradisjonelle menneskelige ideer om hva "interesser" i prinsippet kan være. Det er titusenvis av dem. De skaper forskjellige, noen ganger morsomme, kombinasjoner med hverandre. En av disse kombinasjonene kan for eksempel være at søkeresultater samsvarer med interessene til en person som avler salamander. Samtidig er en person ikke bare interessert i salamander, men avler dem allerede, men bare det første året.
Vurderinger. Hjelpende hender
 |
Matrisen bestemmer selvfølgelig selv (ved hjelp av høyere matematikk) hva og i hvilken rekkefølge som skal vises til brukere basert på titusenvis av kriterier. Men Matrix bruker også levende mennesker - 1000 Yandex-ansatte, de såkalte assessorene, evaluerer søkeresultatene for en bestemt forespørsel (selvfølgelig blir ikke alle forespørselen evaluert, og dette gjøres ikke i sanntid) for å avgjøre om de oppfyller forventninger til en vanlig bruker: ikke så rasjonell som en maskin, ikke så presis i formuleringen, motstridende og følelsesmessig.
God ettermiddag, kjære lesere av min SEO-blogg. . Denne artikkelen handler om hvordan Yandex-søkemotoren fungerer hvilke teknologier og algoritmer den bruker for å rangere nettsteder, og hva den gjør for å forberede et svar til brukerne. Mange vet at dette flaggskipet for russisk søk angir tonen i Runet, eier den største databasen i Eurasia, håndterer innholdet på mer enn en milliard sider og vet svaret på alle spørsmål. I følge Liveinternet-data for august 2012 er Yandex sin andel i Russland 60,5 %. Portalens månedlige publikum er 48,9 millioner mennesker. Men det viktigste for oss bloggere er hvordan søkemotoren mottar forespørslene våre, hvordan den behandler dem og hva resultatet blir som et resultat. På den ene siden gjør å kjenne og forstå denne informasjonen det lettere for oss å bruke alle Yandex-ressurser; på den annen side er det lettere å markedsføre bloggene våre. Derfor foreslår jeg å se med meg på de viktigste teknologiene til den beste Runet-søkemotoren.
Når en Internett-bruker først vil henvende seg til en søkemotor for informasjon, kan han ha ett spørsmål: "Hvordan fungerer søket?" Men når han mottar det, endres dette spørsmålet ofte til et annet: "Hvorfor så fort?" Og egentlig, hvorfor tar det 20 sekunder å søke etter en fil på en datamaskin, og resultatet av en forespørsel fra et helt nettverk av datamaskiner rundt om i verden vises på et sekund? Det mest interessante er at de to første spørsmålene (hvordan søket skjer og hvorfor 1 sekund) kan besvares i ett svar - søkemotoren har forberedt på forhånd for brukerens forespørsel.
For å forstå operasjonsprinsippet til Yandex, som andre søkemotorer, la oss tegne en analogi med en telefonkatalog. For å finne et telefonnummer, må du kjenne abonnentens etternavn, og ethvert søk i dette tilfellet tar maksimalt et minutt, fordi alle sidene i katalogen er en kontinuerlig alfabetisk indeks. Men tenk om søket ble utført ved hjelp av et annet alternativ, der telefonnumre ble bestilt etter selve numrene. Etter slike søk, som vil trekke ut i lengre tid, vil tallene stå foran øynene på søkeren i svært lang tid. 🙂
På samme måte viser søkemotoren all informasjon fra Internett i en form som passer for den. Og viktigst av alt, alle disse dataene er plassert i katalogen hennes på forhånd, før den besøkende kommer med sine forespørsler. Det vil si at når vi stiller et spørsmål til Yandex, vet det allerede svaret vårt. Og gir det til oss på et sekund. Men denne andre inkluderer en rekke viktige prosesser, som vi nå skal vurdere i detalj.
Internett-indeksering
Yandex ru samler inn all informasjon den kan få tak i på Internett. Ved hjelp av spesialutstyr blir alt innhold gjennomgått, inkludert bilder basert på visuelle parametere. Søkemotoren er engasjert i slik innsamling, og prosessen med å samle inn og forberede data kalles indeksering. Grunnlaget for en slik maskin er et datasystem, som ellers kalles en søkerobot. Den gjennomsøker regelmessig indekserte nettsteder, sjekker dem for nytt innhold, og skanner også Internett for slettede sider. Hvis den oppdager at en slik side ikke lenger eksisterer eller er stengt fra indeksering, fjerner den den fra søket.
Hvordan finner en søkerobot nye nettsteder? For det første takket være linker fra andre nettsteder. For hvis en lenke er plassert på en ny nettressurs fra et allerede indeksert nettsted, vil roboten besøke det første neste gang du besøker det andre. For det andre er det en fantastisk tjeneste, populært kalt "addurlka" (fra uttrykket på engelsk -addurl - legg til adresse). I den kan du skrive inn adressen til det nye nettstedet ditt, som vil bli besøkt av en søkerobot etter en stund. For det tredje, ved hjelp av et spesielt program "Yandex.Bar", spores besøkene til brukere som bruker det. Følgelig, hvis en person lander på en ny nettressurs, vil en robot snart dukke opp der.
Er alle sider inkludert i søket? Millioner av sider indekseres hver dag. Blant dem er det sider av varierende kvalitet, som kan inneholde forskjellig informasjon – fra unikt innhold til fullstendig søppel. Dessuten, som statistikken sier, er det mye mer søppel på Internett. Søkeroboten analyserer hvert dokument ved hjelp av spesielle algoritmer. Den avgjør om den har nyttig informasjon og om den kan svare på brukerens forespørsel. Hvis ikke, aksepteres ikke slike sider som "kosmonauter", men i så fall er det inkludert i søket.
Etter at en robot har besøkt en side og bestemt dens nytteverdi, vises den i søkemotorens lagring. Her analyserer vi ethvert dokument ned til det helt grunnleggende, som autosentermesterne sier – ned til tannhjulene. Siden er tømt for html-oppmerking, den rene teksten gjennomgår en full inventar - plasseringen av hvert ord beregnes. I denne demonterte formen blir siden til en tabell med tall og bokstaver, som ellers kalles en indeks. Nå, uansett hva som skjer med nettressursen som inneholder denne siden, er den siste kopien alltid tilgjengelig i søket. Selv om siden ikke eksisterer lenger, lagres kopier av dokumentene på Internett i noen tid.
Hver indeks, sammen med data om dokumenttyper, koding, språk, sammen med kopier, utgjør søkedatabase . Den oppdateres med jevne mellomrom, så den ligger på spesielle servere ved hjelp av hvilke forespørsler fra søkemotorbrukere behandles.
Hvor ofte skjer indekseringsprosessen? Først av alt avhenger det av typene nettsteder. Den første typen nettressurs endrer innholdet på sidene svært ofte. Det vil si at når en søkerobot kommer til disse sidene hver gang, inneholder de forskjellig innhold hver gang. Neste gang vil du ikke kunne finne noe ved å bruke dem, så slike nettsteder er ikke inkludert i indeksen. Den andre typen nettsted er et datavarehus, på sidene hvor lenker til dokumenter for nedlasting blir lagt til med jevne mellomrom. Innholdet på et slikt nettsted endres vanligvis ikke, så roboten besøker det ekstremt sjelden. Andre nettsteder avhenger av hvor ofte materialet oppdateres. Dette betyr følgende: jo raskere nytt innhold dukker opp på siden, jo oftere kommer søkeroboten. Og prioritet gis først til de viktigste nettressursene (en nyhetsside er en størrelsesorden viktigere enn noen blogg, for eksempel).
Indeksering lar deg utføre den første funksjonen til en søkemotor - å samle informasjon på nye sider på Internett. Men Yandex har også en annen funksjon - å søke etter et svar på en brukers forespørsel i en allerede forberedt søkedatabase.
Yandex forbereder et svar
Prosessen med å behandle forespørselen og gi relevante svar håndteres av datasystem "Metasearch" . For arbeidet samler den først all inndatainformasjon: fra hvilken region forespørselen ble gjort, hvilken klasse den tilhører, om det er feil i forespørselen, etc. Etter slik behandling sjekker metasearch om det er nøyaktig de samme spørringene med de samme parameterne i databasen. Hvis svaret er ja, viser systemet brukeren de tidligere lagrede resultatene. Hvis et slikt spørsmål ikke finnes i databasen, adresserer metasøket søkedatabasen som inneholder indeksdataene.
Og det er her fantastiske ting skjer. Tenk deg at det er én superkraftig datamaskin som lagrer hele Internett behandlet av søkeroboter. Brukeren setter en spørring og et søk begynner i minnecellene for alle dokumenter som er involvert i spørringen. Svaret er funnet og alle er fornøyde. Men la oss ta et annet tilfelle når det er mange forespørsler som inneholder de samme ordene i kroppen deres. Systemet må gå gjennom de samme minnecellene hver gang, noe som kan øke tiden det tar å behandle data betraktelig. Følgelig øker tiden, noe som kan føre til tap av brukeren - han vil henvende seg til en annen søkemotor for å få hjelp.
For å unngå slike forsinkelser er alle kopier i sideindeksen fordelt på forskjellige datamaskiner. Etter å ha overført forespørselen, instruerer metasearch slike servere om å søke etter teksten deres. Deretter returneres alle dataene fra disse maskinene til den sentrale datamaskinen, den kombinerer alle oppnådde resultater og gir brukeren de ti beste svarene. Med denne teknologien blir to fluer drept på en gang: søketiden reduseres flere ganger (svaret oppnås på et splitsekund), og takket være økningen i plattformer dupliseres informasjon (data går ikke tapt på grunn av plutselige sammenbrudd) . Selve datamaskinene med duplikatinformasjon utgjør et datasenter - dette er et rom med servere.
Når en søkemotorbruker stiller et søk, 20 ganger av 100, er målene i spørsmålet tvetydige. For eksempel, hvis han skriver ordet "Napoleon" i søkefeltet, er det ennå ikke kjent hvilket svar han forventer - en kakeoppskrift eller en biografi om den store sjefen. Eller uttrykket "Brødre Grimm" - eventyr, filmer, musikalsk gruppe. For å begrense et slikt mulig spekter av mål til spesifikke svar, har Yandex en spesiell teknologi Område. Den tar hensyn til brukerbehov ved å bruke søkestatistikk. Av alle spørsmålene som stilles i Yandex av besøkende, identifiserer Spectrum ulike objekter i dem (navn på personer, titler på bøker, bilmodeller, etc.) Disse objektene er fordelt i visse kategorier. For tiden er det mer enn 60 slike kategorier. Med deres hjelp har søkemotoren i sin database forskjellige betydninger av ord i brukersøk. Interessant nok blir disse kategoriene kontrollert med jevne mellomrom (analyse skjer et par ganger i uken), noe som gjør at Yandex kan gi mer nøyaktige svar på spørsmålene som stilles.
Basert på Spectrum-teknologi, organiserte Yandex dialogmeldinger. De vises under søkefeltet der brukeren skriver inn det tvetydige søket sitt. Denne linjen gjenspeiler kategoriene som emnet for spørsmålet kan tilhøre. Ytterligere søkeresultater avhenger av brukerens valg av denne kategorien.
Fra 15 til 30 % av alle brukere av Yandex-søkemotoren ønsker kun å motta lokal informasjon (data fra regionen de bor i). For eksempel om nye filmer på kino i byen din. Derfor bør svaret på en slik forespørsel være forskjellig for hver region. I denne forbindelse bruker Yandex sin teknologi søk basert på regioner
. Dette er for eksempel svarene innbyggere som leter etter et repertoar av filmer på Oktyabr-kinoen kan få:
Men dette er resultatet som innbyggerne i byen Stavropol vil motta for samme forespørsel:
Brukerens region bestemmes først og fremst av IP-adressen. Noen ganger er disse dataene ikke nøyaktige, fordi en rekke leverandører kan jobbe i flere regioner samtidig, og derfor endre IP-adressene til brukerne sine. I prinsippet, hvis dette skjer med deg, kan du enkelt endre din region i innstillingene i søkemotoren. Den er oppført i øvre høyre hjørne av resultatsiden. Du kan endre det.
Søkemotor Yandex ru - svarresultater
Når Metasearch har forberedt et svar, skal Yandex-søkemotoren vise det på resultatsiden. Det er en liste over lenker til funnet dokumenter med litt informasjon om hver. Oppgaven til teknologien for å gi resultater er å gi brukeren de mest relevante svarene på den mest informative måten. Malen for en slik lenke ser slik ut:
La oss se på denne formen for resultat mer detaljert. Til søkeresultattittel Yandex bruker ofte navnet på sidetittelen (det optimerere skriver i tittelkoden). Hvis det ikke er der, vises ordene fra tittelen på artikkelen eller innlegget her. Hvis tittelteksten er stor, plasserer søkemotoren i dette feltet det fragmentet som er mest relevant for det gitte søket.
Svært sjelden, men det hender at tittelen ikke stemmer med innholdet i forespørselen. I dette tilfellet danner Yandex sin søkeresultattittel ved å bruke teksten i artikkelen eller innlegget. Den vil definitivt ha søkeord.
Til utdrag søkemotoren bruker all teksten på siden. Den velger alle fragmentene der svaret på spørringen finnes, og velger deretter den mest relevante og setter inn lenker til dokumentet i skjemafeltet. Takket være denne tilnærmingen kan en kompetent optimerer lage den på nytt etter å ha sett et utdrag, og dermed forbedre lenkens attraktivitet.
For bedre å oppfatte resultatet av en brukers forespørsel, formateres overskrifter som lenker i teksten (uthevet i blått med understreking). For å gjøre nettressursen attraktiv og gjenkjennelig, legges et favorittikon til - et lite bedriftsikon på nettstedet. Den vises til venstre for teksten på første linje før overskriften. Alle ord som var inkludert i forespørselen i svaret er også uthevet med fet skrift for å gjøre det lettere å forstå.
Nylig har Yandex-søkemotoren lagt til forskjellig informasjon til kodebiten som vil hjelpe brukeren med å finne svaret sitt enda raskere og mer nøyaktig. For eksempel, hvis en bruker skriver navnet på en organisasjon i forespørselen sin, vil Yandex legge til adressen, kontaktnumrene og en lenke til plasseringen i geografiske kart i kodebiten. Hvis søkemotoren er kjent med strukturen til nettstedet, som inneholder et dokument med et svar til brukeren, vil den definitivt vise det. I tillegg kan Yandex umiddelbart legge til de mest besøkte sidene i en slik nettressurs til kodebiten, slik at den besøkende, hvis ønskelig, umiddelbart kan gå til delen han trenger, og spare tid.
Det finnes utdrag som inneholder prisen på et produkt for en nettbutikk, en hotell- eller restaurantvurdering i form av stjerner og annen interessant informasjon med ulike tall om objekter i søkedokumenter. Formålet med slik informasjon er å gi en fullstendig liste over data om de elementene eller objektene som er av interesse for brukeren.
Generelt, med forskjellige eksempler, vil siden med svar se slik ut:
Rangering og bedømmere
Yandex sin oppgave inkluderer ikke bare å søke etter alle mulige svaralternativer, men også velge de beste (relevante). Tross alt vil brukeren ikke rote gjennom alle lenkene som Yandex vil gi ham som et søkeresultat. Prosessen med å organisere søkeresultater kalles rangering . Det vil si at det er rangeringen som avgjør kvaliteten på de foreslåtte svarene.
Det er regler som Yandex bestemmer relevante sider etter:
- Nettsteder som forringer søkekvaliteten vil bli nedgradert i posisjoner på resultatsiden. Vanligvis er dette nettressurser hvis eiere prøver å lure søkemotoren. Dette er for eksempel nettsteder med sider som inneholder meningsløs eller usynlig tekst. Selvfølgelig er det synlig og forståelig for en søkerobot, men ikke for en besøkende som leser dette dokumentet. Eller nettsteder som, når du klikker på en lenke i søkeresultatområdet, umiddelbart overfører brukeren til et helt annet nettsted.
- Nettsteder som inneholder erotisk innhold er ikke inkludert i resultatene eller er sterkt redusert i rangering. Dette skyldes det faktum at slike nettressurser ofte bruker aggressive markedsføringsmetoder.
- Nettsteder infisert med virus senkes ikke i søkeresultatene og ekskluderes ikke fra søkeresultatene - i dette tilfellet blir brukeren informert om faren ved hjelp av et spesielt ikon. Dette skyldes det faktum at Yandex antar at slike nettressurser kan inneholde viktige dokumenter på forespørsel fra en søkemotorbesøkende.
Dette er for eksempel hvordan Yandex vil rangere nettsteder for søket "eple":
I tillegg til rangeringsfaktorer, bruker Yandex spesielle prøver med spørsmål og svar som søkemotorbrukere anser som best egnet. Ingen maskin kan lage slike prøver for øyeblikket - dette er menneskets privilegium. I Yandex kalles slike spesialister bedømmere. Deres oppgave er å fullstendig analysere alle søkedokumenter og evaluere svar på spesifiserte forespørsler. De velger ut de beste svarene og lager et spesielt treningssett. I den ser søkemotoren forholdet mellom relevante sider og deres egenskaper. Med slik informasjon kan Yandex velge den optimale rangeringsformelen for hver forespørsel. Metoden for å konstruere en slik formel kalles Matrixnet. Fordelen med dette systemet er at det er motstandsdyktig mot overfitting, noe som lar deg ta hensyn til et stort antall rangeringsfaktorer uten å øke antall unødvendige vurderinger og mønstre.
På slutten av innlegget mitt vil jeg vise deg interessant statistikk samlet inn av Yandex-søkemotoren i prosessen med arbeidet.
1. Populariteten til personlige navn i Russland og russiske byer (data hentet fra kontoer til bloggere og brukere av sosiale nettverk i mars 2012).
I 1863 skapte den store forfatteren Jules Verne sin neste bok, "Paris i det 20. århundre." I den beskrev han i detalj t-banen, bilen, den elektriske stolen, datamaskinen og til og med Internett. Imidlertid nektet forlaget å trykke boken og den lå der i mer enn 120 år til den ble funnet av oldebarnet til Jules Verne i 1989. Boken ble utgitt i 1994.
