Yandex tražilica što je novo. Yandex - što je Yandex i zašto se zove Yandex. Sastav i principi rada sustava za pretraživanje
Oni su odavno postali sastavni dio ruskog interneta. Tražilice su danas ogromni i složeni mehanizmi koji predstavljaju ne samo alat za pretraživanje informacija, već i primamljiva područja za poslovanje.
Većina korisnika tražilica nikada nije razmišljala (ili razmišljala, ali nije našla odgovor) o principu rada tražilica, o shemi obrade korisničkih zahtjeva, o tome od čega se ti sustavi sastoje i kako funkcioniraju...
Ova majstorska klasa osmišljena je kako bi odgovorila na pitanje kako rade tražilice. Međutim, ovdje nećete pronaći faktore koji utječu na rangiranje dokumenata. Štoviše, ne biste trebali računati na detaljno objašnjenje algoritma Yandex. Njega, prema Ilyi Segalovichu, direktoru za tehnologiju i razvoj tražilice Yandex, može prepoznati samo “pod torturom” samog Ilya Segalovicha...
2. Pojam i funkcije tražilice
Sustav za pretraživanje je programski i hardverski kompleks dizajniran za pretraživanje interneta i odgovor na zahtjev korisnika, specificiran u obliku tekstualne fraze (upita za pretraživanje), izradom popisa poveznica na izvore informacija, poredanih po važnosti ( u skladu sa zahtjevom). Najveće međunarodne tražilice: "Google", Yahoo , MSN . Na ruskom internetu to su Yandex, Rambler, Aport.
Pogledajmo pobliže koncept upita za pretraživanje na primjeru tražilice Yandex. Upit za pretraživanje korisnik treba formulirati u skladu s onim što želi pronaći, što je moguće kraće i jednostavnije. Recimo da u Yandexu želimo pronaći informacije o tome kako odabrati automobil. Da biste to učinili, otvorite glavnu stranicu Yandexa i unesite tekst upita za pretraživanje "kako odabrati automobil". Dalje, naš zadatak se svodi na otvaranje poveznica koje smo dobili na naš zahtjev na izvore informacija na internetu. Međutim, vrlo je moguće da nećemo pronaći informacije koje su nam potrebne. Ako se to dogodi, ili trebate preformulirati svoj zahtjev ili baza podataka tražilice stvarno nema relevantne informacije o našem zahtjevu (to se može dogoditi kada postavljate vrlo „uske“ upite, kao što je, na primjer, „kako odabrati auto u Arhangelsku”)
Primarni cilj svake tražilice je isporučiti ljudima točno one informacije koje traže. I naučite korisnike da postavljaju "ispravne" zahtjeve sustavu, tj. upiti koji su u skladu s načelima rada tražilica su nemogući. Stoga programeri stvaraju algoritme i principe rada za tražilice koje bi korisnicima omogućile pronalaženje informacija koje traže.
To znači da tražilica mora "misliti" na isti način na koji misli korisnik kada traži informacije. Kada korisnik postavlja zahtjev tražilici, želi što brže i jednostavnije pronaći ono što mu treba. Primivši rezultat, ocjenjuje rad sustava, vodeći se nekoliko osnovnih parametara. Je li našao ono što je tražio? Ako ga nije pronašao, koliko je puta morao preformulirati upit da pronađe ono što je tražio? Koliko je relevantnih informacija mogao pronaći? Koliko je brzo tražilica obradila upit? Koliko su prikladni rezultati pretraživanja? Je li rezultat koji ste tražili bio prvi ili stoti? Koliko je nepotrebnog smeća pronađeno uz korisne informacije? Hoće li se potrebne informacije pronaći prilikom pristupa tražilici, recimo, za tjedan ili mjesec dana?
Kako bi odgovorili na sva ova pitanja, programeri tražilica konstantno poboljšavaju algoritme i principe pretraživanja, dodaju nove funkcije i mogućnosti te na sve moguće načine nastoje ubrzati rad sustava.
3. Glavne karakteristike tražilice
Opišimo glavne karakteristike tražilica:
- Potpunost
Cjelovitost je jedno od glavnih obilježja sustava pretraživanja, a to je omjer broja dokumenata pronađenih zahtjevom i ukupnog broja dokumenata na Internetu koji zadovoljavaju zadani zahtjev. Na primjer, ako na internetu postoji 100 stranica koje sadrže frazu "kako odabrati automobil", a samo 60 njih je pronađeno za odgovarajući upit, tada će cjelovitost pretraživanja biti 0,6. Očito, što je pretraga potpunija, to je manja vjerojatnost da korisnik neće pronaći dokument koji mu treba, pod uvjetom da on uopće postoji na internetu.
- Točnost
Točnost je još jedna glavna karakteristika tražilice, koja je određena stupnjem u kojem pronađeni dokumenti odgovaraju korisnikovom upitu. Na primjer, ako upit "kako odabrati auto" sadrži 100 dokumenata, 50 od njih sadrži frazu "kako odabrati auto", a ostatak jednostavno sadrži ove riječi ("kako odabrati pravi radio i instalirati ga u automobil”), tada se točnost pretraživanja smatra jednakom 50/100 (=0,5). Što je točnije pretraživanje, to će korisnik brže pronaći dokumente koji su mu potrebni, što će se manje naći raznih vrsta "smeća" među njima, to će rjeđe pronađeni dokumenti ne odgovarati zahtjevu.
- Relevantnost
Relevantnost je jednako važna komponenta pretraživanja koju karakterizira vrijeme koje prođe od trenutka objave dokumenata na Internetu do njihovog unosa u bazu indeksa tražilice. Na primjer, dan nakon što su se pojavile zanimljive vijesti, veliki broj korisnika obratio se tražilicama s relevantnim upitima. Objektivno, od objave vijesti o ovoj temi nije prošlo ni jedan dan, ali su glavni dokumenti već indeksirani i dostupni za pretraživanje, zahvaljujući postojanju tzv. “brze baze podataka” velikih tražilica koje ažurira se nekoliko puta dnevno.
- Brzina pretraživanja
Brzina pretraživanja usko je povezana s njegovom otpornošću na opterećenje. Na primjer, prema Rambler Internet Holding LLC, danas, tijekom radnog vremena, tražilica Rambler prima oko 60 zahtjeva u sekundi. Takvo opterećenje zahtijeva smanjenje vremena obrade pojedinog zahtjeva. Ovdje se poklapaju interesi korisnika i tražilice: posjetitelj želi dobiti rezultate što je brže moguće, a tražilica mora obraditi zahtjev što je brže moguće, kako ne bi usporio izračun sljedećih upita.
- Vidljivost
4. Kratka povijest razvoja tražilica
U početnom razdoblju razvoja Interneta broj njegovih korisnika bio je malen, a količina dostupnih informacija relativno mala. Pristup Internetu uglavnom je imalo samo istraživačko osoblje. U to vrijeme zadatak traženja informacija na internetu nije bio hitan kao sada.
Jedan od prvih načina organiziranja pristupa mrežnim informacijskim resursima bilo je stvaranje otvorenih direktorija web stranica, poveznice na resurse u kojima su bile grupirane prema temi. Prvi takav projekt bila je web stranica Yahoo.com, otvorena u proljeće 1994. godine. Nakon što se broj stranica u katalogu značajno povećao, dodana je mogućnost pretraživanja potrebnih informacija u katalogu. U punom smislu to još nije bila tražilica, budući da je područje pretraživanja bilo ograničeno samo na resurse prisutne u katalogu, a ne na sve internetske izvore.
Imenici poveznica bili su naširoko korišteni u prošlosti, ali su danas gotovo potpuno izgubili svoju popularnost. Budući da čak i moderni katalozi, golemog volumena, sadrže informacije samo o neznatnom dijelu Interneta. Najveći imenik mreže DMOZ (koji se naziva i Open Directory Project) sadrži podatke o 5 milijuna izvora, dok se baza Google tražilice sastoji od više od 8 milijardi dokumenata.
Godine 1995. pojavljuju se tražilice Lycos i AltaVista. Potonji je već dugi niz godina vodeći u području pretraživanja informacija na internetu.
Godine 1997. Sergey Brin i Larry Page stvorili su tražilicu Google kao dio istraživačkog projekta na Sveučilištu Stanford. Google je trenutno najpopularnija tražilica na svijetu!
U rujnu 1997. službeno je objavljena tražilica Yandex, koja je najpopularnija na Internetu na ruskom jeziku.
Trenutno postoje tri glavne tražilice (međunarodne) - Google, Yahoo i, koje imaju vlastite baze podataka i algoritme pretraživanja. Većina drugih tražilica (kojih je velik broj) koristi u ovom ili onom obliku rezultate od tri navedena. Na primjer, AOL pretraga (search.aol.com) koristi Google bazu podataka, dok AltaVista, Lycos i AllTheWeb koriste Yahoo bazu podataka.
5. Sastav i principi rada sustava pretraživanja
U Rusiji je glavna tražilica Yandex, a slijede je Rambler.ru, Google.ru, Aport.ru, Mail.ru. Štoviše, u ovom trenutku Mail.ru koristi Yandex tražilicu i bazu podataka.
Gotovo sve glavne tražilice imaju vlastitu strukturu, različitu od ostalih. Međutim, moguće je identificirati glavne komponente zajedničke svim tražilicama. Razlike u strukturi mogu biti samo u obliku implementacije mehanizama interakcije ovih komponenti.
Modul za indeksiranje
Modul za indeksiranje sastoji se od tri pomoćna programa (robota):
Spider je program dizajniran za preuzimanje web stranica. Pauk preuzima stranicu i dohvaća sve interne poveznice s te stranice. Preuzima se html kod svake stranice. Roboti koriste HTTP protokole za preuzimanje stranica. Pauk radi na sljedeći način. Robot šalje zahtjev "get/path/document" i neke druge naredbe HTTP zahtjeva poslužitelju. Kao odgovor, robot prima tekstualni tok koji sadrži servisne informacije i sam dokument.
- URL stranice
- datum kada je stranica preuzeta
- http zaglavlje odgovora poslužitelja
- tijelo stranice (html kod)
Crawler ("putujući" pauk) je program koji automatski prati sve linkove koji se nalaze na stranici. Odabire sve poveznice prisutne na stranici. Njegov je posao odrediti kamo bi pauk trebao ići dalje, na temelju poveznica ili na temelju unaprijed određenog popisa adresa. Crawler, prateći pronađene poveznice, traži nove dokumente koji su još nepoznati tražilici.
Indexer (robot indexer) je program koji analizira web stranice koje preuzimaju pauci. Indeksator raščlanjuje stranicu na sastavne dijelove i analizira ih pomoću vlastitih leksičkih i morfoloških algoritama. Analiziraju se različiti elementi stranice, kao što su tekst, naslovi, veze, strukturne i stilske značajke, posebne servisne HTML oznake itd.
Stoga vam modul za indeksiranje omogućuje indeksiranje zadanog skupa resursa pomoću poveznica, preuzimanje stranica na koje ste naišli, izdvajanje poveznica na nove stranice iz primljenih dokumenata i izvođenje potpune analize tih dokumenata.
Baza podataka
Baza podataka ili indeks tražilice je sustav za pohranjivanje podataka, informacijski niz u kojem se pohranjuju posebno konvertirani parametri svih dokumenata koje preuzima i obrađuje modul za indeksiranje.
Poslužitelj za pretraživanje
Poslužitelj za pretraživanje je najvažniji element cijelog sustava, budući da kvaliteta i brzina pretraživanja izravno ovise o algoritmima na kojima se temelji njegovo funkcioniranje.
Poslužitelj za pretraživanje radi na sljedeći način:
- Zahtjev primljen od korisnika podvrgava se morfološkoj analizi. Generira se informacijsko okruženje svakog dokumenta sadržanog u bazi (koje će se naknadno prikazati u formi, odnosno tekstualne informacije koje odgovaraju zahtjevu na stranici rezultata pretraživanja).
- Primljeni podaci prosljeđuju se kao ulazni parametri posebnom modulu za rangiranje. Podaci se obrađuju za sve dokumente, zbog čega svaki dokument ima svoju ocjenu koja karakterizira relevantnost upita koji korisnik unese te različite komponente tog dokumenta pohranjene u indeksu tražilice.
- Ovisno o izboru korisnika, ova se ocjena može prilagoditi dodatnim uvjetima (na primjer, tzv. "napredno pretraživanje").
- Zatim se generira isječak, odnosno za svaki pronađeni dokument iz tabele dokumenata izdvajaju se naslov, kratki sažetak koji najbolje odgovara upitu i poveznica na sam dokument, a pronađene riječi su istaknute.
- Rezultirajući rezultati pretraživanja prenose se korisniku u obliku SERP-a (Search Engine Result Page) – stranica s rezultatima pretraživanja.
Kao što možete vidjeti, sve ove komponente su usko povezane jedna s drugom i rade u interakciji, tvoreći jasan, prilično složen mehanizam za rad sustava pretraživanja, koji zahtijeva ogromne količine resursa.
6. Zaključak
Sada rezimiramo sve gore navedeno.
- Primarni cilj svake tražilice je isporučiti ljudima točno one informacije koje traže.
- Glavne karakteristike tražilica:
- Potpunost
- Točnost
- Relevantnost
- Brzina pretraživanja
- Vidljivost
- Prva potpuna tražilica bio je projekt WebCrawler, objavljen 1994. godine.
- Sustav pretraživanja uključuje sljedeće komponente:
- Modul za indeksiranje
- Baza podataka
- Poslužitelj za pretraživanje
Nadamo se da će vam naš majstorski tečaj omogućiti da se bolje upoznate s konceptom tražilice i bolje razumijete glavne funkcije, karakteristike i principe rada tražilica.
Pozdrav dragi prijatelji! U ovom ćemo članku nastaviti gledati tražilicu Yandex, a kao što se sjećate, u prethodnim člancima razgovarali smo o povijesti stvaranja ove velike tvrtke, koja je na prvom mjestu među svojim konkurentima u Rusiji i šire.
Sve je to dobro, ali početnike i iskusne graditelje stranica zanima najvažnije pitanje, naravno, vezano za to kako svoje projekte dovesti na prva mjesta u TOP rezultatima pretraživanja.
Stoga, pogledajmo kako radi tražilica Yandex kako bismo razumjeli na koje pogreške možete stati i što općenito očekivati od ruske tražilice.
U prošlom članku smo raspravljali. Tema se pokazala vrlo zanimljivom i korisnom. Stoga sam je odlučio dopuniti, produbiti, da tako kažem.
Dakle, vjerojatno sam se malo zanio s pitanjem "Zašto tražilica indeksira dokumente"? Nije pametno. Sve što preostaje je shvatiti pitanje "kako".
Algoritmi za rangiranje web stranica
Prvo, upoznajmo se s nekim algoritmima koji su temeljni za svaku tražilicu:
— Algoritam izravnog pretraživanja.
Što je to - sjećate se da ste u jednoj od knjiga pročitali prekrasnu priču. I počnete tražiti jedan po jedan. Uzeli su jednu knjigu, pregledali je, nisu je našli, uzeli drugu... Princip je jasan, ali ova metoda je izuzetno duga. To je također razumljivo.
— Algoritam obrnutog pretraživanja.
Za ovaj algoritam, tekstualna datoteka se stvara sa svake stranice vašeg bloga. Ova datoteka navodi abecednim redom SVE riječi koje ste upotrijebili. Naveden je čak i položaj ove riječi u tekstu (koordinate u tekstu).
Ovo je prilično brza metoda, ali pretraživanje se već događa s nekom pogreškom.
Glavna stvar koju ovdje treba razumjeti je da ovaj algoritam ne pretražuje na Internetu, niti pretražuje na blogu. I to u zasebnoj tekstualnoj datoteci koja je davno stvorena. Kad je robot došao k vama. A ove datoteke (obrnuti indeksi) pohranjuju se na Yandex poslužiteljima.
Dakle, ovo su bili osnovni algoritmi pretraživanja. Oni. kako Yandex jednostavno pronalazi potrebne dokumente. Čini se da s ovim ne bi trebalo biti nikakvih problema.
Ali Yandex poznaje više od jednog ili čak 100 dokumenata, ali prema posljednjim podacima iz mojih izvora, Yandex zna oko 11 milijardi dokumenata (10.727.736.489 stranica).
I među svom tom količinom trebate odabrati dokumente koji odgovaraju zahtjevu. I što je još važnije, morate ih nekako rangirati. Oni. rasporediti prema stupnju važnosti, odnosno prema stupnju korisnosti za čitatelja.
Modeli matematičkog pretraživanja
Za rješavanje ovog problema u pomoć dolaze matematički modeli. Sada ćemo govoriti o najjednostavnijim modelima.
Booleov matematički model– Ako se riječ pojavi u dokumentu, dokument se smatra pronađenim. Samo slučajnost i ništa komplicirano.
Ali tu postoje problemi. Na primjer, ako vi kao korisnik unesete neku popularnu riječ ili još bolje prijedlog "v", koji je najčešća riječ u ruskom jeziku i nalazi se u SVAKOM dokumentu, tada ćete dobiti toliko rezultata da čak i ne shvaćate toliki broj, Koliko ste dokumenata pronašli? Stoga se pojavio sljedeći model prostirke.
Vektorski matematički model– ovaj model određuje “težinu” dokumenta. Ne samo da se događa slučajnost, nego se riječ mora pojaviti nekoliko puta. Štoviše, što se više riječi pojavljuje, veća je relevantnost (sukladnost).
To je vektorski model koji koriste SVE tražilice.
Probabilistički model- kompleksnije. Princip je sljedeći: tražilica je sama pronašla predložak stranice. Na primjer, tražite informacije o povijesti Yandexa. Yandex pohranjuje neku vrstu standarda, recimo da će ovo biti moj prethodni članak o Yandexu.
I on će sve ostale dokumente usporediti s ovim člankom. A ovdje je logika sljedeća: što je stranica vašeg bloga sličnija mom članku, VJEROJATNIJA je činjenica da će stranica vašeg bloga također biti korisna čitatelju i također govoriti o povijesti Yandexa.
Kako bi se smanjio broj dokumenata koje je potrebno prikazati korisniku, uveden je koncept relevantnosti, tj. usklađenost.
Koliko je stranica vašeg bloga relevantna za temu? Ovo je važna tema kada se radi o kvaliteti pretraživanja.
Procjenitelji - tko su i za što su zaduženi?
Ova je relevantnost također potrebna za procjenu kvalitete algoritama.
U tu svrhu postoji stožer specijalnih snaga - oni se zovu procjenitelji. To su posebni ljudi koji rukama pregledavaju rezultate pretraživanja.
Imaju upute kako provjeriti stranice, kako ocijeniti itd. I oni ručno određuju jesu li vaše stranice prikladne za upite pretraživanja ili ne.
A kvaliteta algoritama pretraživanja ovisi o mišljenju ocjenjivača. Ako svi procjenitelji kažu da rezultati pretraživanja ne odgovaraju zahtjevima, to znači da algoritam rangiranja nije točan i Yandex je jedini krivac.
Ako procjenitelji kažu da samo jedna stranica ne ispunjava zahtjev, to znači da stranica leti negdje daleko i spušta se u rezultatima pretraživanja. Točnije, ne cijela stranica, već samo jedan članak, ali to “nije poenta”.
Naravno, procjenitelji ne mogu rukama i očima pregledavati i ocjenjivati SVE artikle. Ovo je razumljivo.
A u pomoć priskaču i ostali parametri po kojima se stranice rangiraju.
Ima ih puno, npr.
- težina stranice (vIC, PageRank, dječje kvrge Sve u svemu);
- autoritet domene;
- relevantnost teksta za zahtjev;
- relevantnost tekstova vanjskih poveznica za upit;
- kao i mnogi drugi faktori rangiranja.
Procjenitelji daju komentare, a osobe koje su odgovorne za postavljanje matematičkog modela rangiranja zauzvrat uređuju formulu, zbog čega tražilica radi učinkovitije.
Glavni kriteriji za ocjenu učinkovitosti formule:
1. Točnost rezultata tražilice- postotak dokumenata koji odgovaraju zahtjevu (relevantno). Oni. Što manje stranica ne odgovara zahtjevu, to bolje.
2. Potpunost rezultata tražilice- ovo je omjer relevantnih web stranica za određeni upit i ukupnog broja relevantnih dokumenata u zbirci (ukupan broj stranica pronađenih u tražilici).
Na primjer, ako u cijeloj zbirci ima više relevantnih stranica nego u rezultatima pretraživanja, to znači da su rezultati nepotpuni. To se dogodilo jer su neke od relevantnih web stranica bile filtrirane.
3. Relevantnost rezultata tražilice- ovo je usklađenost web stranice s onim što je napisano u isječku. Na primjer, dokument može biti vrlo različit ili uopće ne postoji, ali i dalje biti prisutan u rezultatima pretraživanja.
Relevantnost rezultata pretraživanja izravno ovisi o tome koliko često robot za pretraživanje skenira dokumente iz svoje zbirke.
Prikupljanje zbirke (indeksiranje stranica stranice) provodi poseban program - robot za pretraživanje.
Robot za pretraživanje prima popis adresa za indeksiranje, kopira ih, a zatim šalje sadržaj kopiranih web stranica na obradu algoritmu koji ih pretvara u obrnute indekse.
Pa, "ukratko", da tako kažemo, razgovarali smo o principima tražilice.
Ukratko:
- Robot za pretraživanje dolazi na vaš blog.
- Robot za pretraživanje pohranjuje obrnuti indeks stranice za sljedeća pretraživanja.
- Pomoću matematičkog modela dokument se obrađuje i prikazuje u rezultatima pretraživanja pomoću formula i uzimajući u obzir mišljenje ocjenjivača.
Ovo je vrlo, vrlo pojednostavljeno. Samo da steknete osnovno razumijevanje rada tražilice Yandex.
Sada sam napisao toliko teksta, a možda toliko toga nije jasno. Stoga predlažem da se malo kasnije vratite na ovaj članak i pogledate ovaj video.
Ovo je odličan vodič iz kojeg sam i ja svojedobno učio.
Nadam se da će vam ove informacije pomoći da bolje shvatite zašto jedna od vaših stranica zauzima odgovarajuće pozicije u pretraživanjima i učinite sve da ih poboljšate.
Ovime se opraštam od vas, ako imate pitanja, uvijek ću rado odgovoriti na njih u komentarima. Ili možda želite dodati članak?
U svakom slučaju, izrazite svoje mišljenje. !
Nismo jedinstveni kao što mislimo: milijuni ljudi prije nas zbunjivali su i milijuni poslije nas zbunjivat će tražilicu gotovo identičnim pitanjima. S druge strane, previše smo nepredvidivi: na formulaciju našeg zahtjeva utječe ogroman broj faktora kojih nismo svjesni. I barem zato, zahtjev svakoga od nas, ma koliko banalan bio, zahtijeva individualan pristup.
Zapravo, cijeli rad tražilice Yandex svodi se na dvije jednostavne stvari: razumjeti što osoba stvarno želi znati i za nekoliko sekundi pronaći odgovarajuće među milijardama dokumenata na Internetu.
Uzmi otiske prstiju
Operativni sustav tražilice donekle je sličan Matrixu, a robot za pretraživanje (složen program za samostalno donošenje odluka koji je kreirao) sličan je agentu Smithu.
Kako ne bi pretraživali cijeli Internet svaki put kad netko treba nešto saznati, tražilica dio posla obavlja unaprijed - provjerava što je na Webu i gdje se nalazi, koristeći tisuće robota za pretraživanje. Dolaze u dvije vrste: osnovni i brzi. Glavni indeksira i obrađuje Internet u cjelini, a brzi - dokumente koji su se pojavili prije minutu ili čak nekoliko sekundi. Zadaća robotskih programa je odabrati prikladne i korisne informacije za korisnike, obraditi ih, ukloniti sve zastarjelo i nepotrebno. Na neki način ovo podsjeća na razvrstavanje smeća: papir u jedan kontejner, staklo u drugi, plastika u treći, otpad od hrane u četvrti...
Informacije koje prikupljaju roboti čine takozvani internetski cast. Pohranjuje se na tisućama Yandex poslužitelja i stalno se ažurira. Grumen je poput popisa koji vam govori gdje možete pronaći koju informaciju. Na ovom popisu svaka ključna riječ nema jednu, već milijune "stranica". Kako bi se osiguralo da su sva ažuriranja nuggeta dostupna korisnicima, ona se premještaju iz repozitorija u "osnovno pretraživanje". Podaci s glavnog robota prenose se svakih nekoliko dana, a s brzog robota - u stvarnom vremenu.
Dovesti do čiste vode
 ILUSTRACIJA: EVGENY TONKONOGY |
Dok traži odgovor na zadano pitanje u pripremljenoj bazi podataka, stroj se suočava s dvije glavne poteškoće. Prva poteškoća je jezik. Prije traženja odgovora na pitanje, važno je da stroj razumije na kojem bi jeziku to trebao učiniti. Na primjer, za osobu koja govori ruski, pretraga za “odred kneza Igora” će pronaći dokumente s podacima o vojsci, a za Ukrajinca će “odred kneza Igora” također vratiti dokumente u kojima se spominje kneginja Olga, njegova supruga, od na ukrajinskom "supruga" je "odred". A u bogatom ruskom jeziku ista riječ ili njezine izvedenice mogu značiti različite stvari. Na primjer, riječ "čelik" jedan je od oblika imenice "čelik" i glagola "postati". Druga poteškoća je ljudska psihologija. Prilikom unosa zahtjeva očekujemo brz i točan odgovor, naravno bez brige o tome odgovara li formulacija zahtjeva principima matematičke analize po kojoj funkcionira mozak stroja. Na primjer, unosom riječi "Napoleon" u traku za pretraživanje, što osoba želi dobiti: recept za tortu ili biografiju francuskog cara, kupiti konjak ili pronaći adresu psihijatrijske bolnice?
 |
U takvim situacijama u igru dolazi nekoliko tehnologija. Ispod trake za pretraživanje možete dati nekoliko savjeta koji će specificirati vaš zahtjev. Kao, odaberite što vam treba: Napoleon recepti ili Napoleon - Bonaparte. Ako korisnik ne odgovori na zahtjev stroja i ne doda riječi u "Napoleon", tada tehnologija "Spectrum" pomaže: bez nade za pomoć, stroj odmah traži informacije u nekoliko kategorija (o torti, i o caru i o konju) ..). Osim toga, mehanizmi personalizacije pomažu razumjeti korisnika - znanje stroja o tome što je ovaj korisnik tražio na svom računalu prije dan, dva, tri ili mjesec dana: ako ste često postavljali Yandexu pitanja o kuhanju, tada će stroj prvo pokazati ti rezultati koji govore da je Napoleon torta.
Kombinacije: interesni klubovi
Zadatak tražilice nije jednostavno odabrati dokumente koji sadrže riječi i izraze iz upita za pretraživanje. Stroj mora razumjeti koji dokumenti ispunjavaju naše proturječne zahtjeve i zašto ih ispunjavaju. Želimo li se informirati o torti Napoleon, ili smo možda nekoliko godina posjećivali fitness klub pretencioznog imena, ili smo čak potpuno zabrinuti zbog kompleksa niskih ljudi. U svakom slučaju, rješavanje problema zahtijeva netrivijalan pristup.
 |
Tvorci programa za pretraživanje Yandex pronašli su ovaj pristup delegiranjem prava izbora na stroj. S jedne strane bezdušna, ali vrlo brza i pametna mašina ne zna i ne želi znati ništa o nama kao pojedincima, a s druge strane nastoji o svakom saznati što više.
Uz geografsku lokaciju korisnika i jezičnu analizu njegovih upita, tražilica koristi nekoliko tisuća kriterija koji čovjeku nisu nimalo očiti.
Trik je u tome što stroj samostalno razvija i ažurira te kriterije.
Jednostavno koristi podatke o preferencijama i ponašanju korisnika milijuna ljudi i povezuje ovaj "aritmetički prosjek" s poviješću naših upita. Načela koja vode Matrix unutar sebe, uspoređujući tisuće kategorija korisničkih interesa koje je razvio, često se ne uklapaju u tradicionalne ljudske ideje o tome što "interesi" mogu biti u načelu. Ima ih na desetke tisuća. Međusobno stvaraju različite, ponekad smiješne, kombinacije. Na primjer, jedna od ovih kombinacija može biti da rezultati pretraživanja odgovaraju interesima osobe koja uzgaja tritone. Pritom, osoba nije samo zainteresirana za tritone, već ih već uzgaja, ali samo prve godine.
Ocjene. Ruke pomoći
 |
Matrica, naravno, na temelju desetaka tisuća kriterija sama odlučuje (uz pomoć više matematike) što i kojim redoslijedom treba prikazati korisnicima. Ali Matrix koristi i žive ljude - 1000 zaposlenika Yandexa, takozvanih procjenitelja, ocjenjuju rezultate pretraživanja za određeni zahtjev (naravno, ne ocjenjuje se svaki zahtjev i to se ne radi u stvarnom vremenu) kako bi utvrdili zadovoljavaju li zahtjeve. očekivanja običnog korisnika: nije tako racionalan kao stroj, nije tako precizan u formulaciji, kontradiktoran i emotivan.
Dobar dan, dragi čitatelji mog SEO bloga. . Ovaj članak govori o kako radi Yandex tražilica koje tehnologije i algoritme koristi za rangiranje stranica i što radi za pripremu odgovora korisnicima. Mnogi ljudi znaju da ovaj vodeći ruski pretraživač postavlja ton u Runetu, posjeduje najveću bazu podataka u Euroaziji, obrađuje sadržaj s više od milijardu stranica i zna odgovor na svako pitanje. Prema podacima Liveinterneta za kolovoz 2012., Yandexov udio u Rusiji je 60,5%. Mjesečna publika portala je 48,9 milijuna ljudi. Ali nama blogerima najvažnije je kako tražilica prima naše zahtjeve, kako ih obrađuje i kakav je rezultat kao rezultat. S jedne strane, poznavanje i razumijevanje ovih informacija olakšava nam korištenje svih resursa Yandexa; s druge strane, lakše je promovirati naše blogove. Stoga predlažem da sa mnom pogledate najvažnije tehnologije najbolje tražilice Runet.
Kada se korisnik interneta prvi put želi obratiti tražilici za informacije, može imati jedno pitanje: "Kako funkcionira pretraga?" Ali kad ga primi, ovo se pitanje često promijeni u drugo: "Zašto tako brzo?" I stvarno, zašto traženje datoteke na računalu traje 20 sekundi, a rezultat zahtjeva cijele mreže računala diljem svijeta pojavi se u sekundi? Najzanimljivije je to što se na prva dva pitanja (kako se događa pretraga i zašto 1 sekunda) može odgovoriti jednim odgovorom - tražilica se unaprijed pripremila za zahtjev korisnika.
Da bismo razumjeli princip rada Yandexa, kao i drugih tražilica, povucimo analogiju s telefonskim imenikom. Da biste pronašli bilo koji telefonski broj, morate znati prezime pretplatnika, a svaka pretraga u ovom slučaju traje najviše minutu, jer su sve stranice imenika kontinuirani abecedni indeks. Ali zamislite da je pretraga provedena pomoću druge opcije, gdje su telefonski brojevi poredani po samim brojevima. Nakon takvih potraga, koje će se povući duže vrijeme, brojke će vrlo dugo ostati pred očima tražitelja. 🙂
Isto tako, tražilica prikazuje sve informacije s interneta u obliku koji joj odgovara. I što je najvažnije, svi se ti podaci unaprijed stavljaju u njezin imenik, prije nego što posjetitelj stigne sa svojim zahtjevima. Odnosno, kada Yandexu postavimo pitanje, on već zna naš odgovor. I daje nam ga u sekundi. Ali ovaj drugi uključuje niz važnih procesa, koje ćemo sada detaljno razmotriti.
Internet indeksiranje
Yandex ru prikuplja sve informacije do kojih može doći na internetu. Pomoću posebne opreme pregledava se sav sadržaj, uključujući i slike na temelju vizualnih parametara. Takvim prikupljanjem bavi se tražilica, a proces prikupljanja i pripreme podataka naziva se indeksiranje. Osnova takvog stroja je računalni sustav, koji se inače naziva robot za pretraživanje. Redovito indeksira indeksirane stranice, provjerava ima li na njima novog sadržaja, a također skenira internet u potrazi za izbrisanim stranicama. Ako otkrije da neka takva stranica više ne postoji ili je zatvorena za indeksiranje, uklanja je iz pretraživanja.
Kako robot za pretraživanje pronalazi nove stranice? Prvo, zahvaljujući vezama s drugih stranica. Jer ako je poveznica postavljena na novi web izvor s već indeksirane stranice, sljedeći put kada posjetite drugu, robot će posjetiti prvu. Drugo, postoji prekrasna usluga, popularno nazvana “addurlka” (od fraze na engleskom -addurl - dodaj adresu). U njemu možete unijeti adresu svoje nove stranice koju će nakon nekog vremena posjetiti robot za pretraživanje. Treće, uz pomoć posebnog programa "Yandex.Bar" prate se posjeti korisnika koji ga koriste. U skladu s tim, ako osoba sleti na novi web resurs, uskoro će se tamo pojaviti robot.
Jesu li sve stranice uključene u pretraživanje? Svaki dan se indeksiraju milijuni stranica. Među njima postoje stranice različite kvalitete, koje mogu sadržavati različite informacije - od jedinstvenog sadržaja do potpunog smeća. Štoviše, kako kaže statistika, na internetu ima puno više smeća. Robot za pretraživanje analizira svaki dokument pomoću posebnih algoritama. Utvrđuje ima li korisne informacije i može li odgovoriti na zahtjev korisnika. Ako nije, onda se takve stranice ne prihvaćaju kao "kozmonauti", ali ako je tako, onda su uključene u pretragu.
Nakon što je robot posjetio stranicu i utvrdio njezinu korisnost, ona se pojavljuje u pohrani tražilice. Ovdje svaki dokument analiziramo do temelja, kako kažu majstori autocentra – do zuba. Stranica je očišćena od html markupa, čisti tekst prolazi punu inventuru - izračunava se mjesto svake riječi. U ovom rastavljenom obliku stranica se pretvara u tablicu s brojevima i slovima, koja se inače naziva indeksom. Sada, bez obzira što se dogodi s web resursom koji sadrži ovu stranicu, njegova najnovija kopija uvijek je dostupna u pretraživanju. Čak i ako stranica više ne postoji, kopije njenih dokumenata neko su vrijeme pohranjene na internetu.
Svaki indeks, zajedno s podacima o vrstama dokumenata, kodiranju, jeziku, zajedno s kopijama, čini pretraživanje baze podataka . Periodično se ažurira pa se nalazi na posebnim poslužiteljima uz pomoć kojih se obrađuju zahtjevi korisnika tražilice.
Koliko se često odvija proces indeksiranja? Prije svega, to ovisi o vrstama stranica. Prva vrsta web resursa vrlo često mijenja sadržaj svojih stranica. To jest, kada robot za pretraživanje svaki put dođe na te stranice, svaki put sadrže drugačiji sadržaj. Sljedeći put pomoću njih nećete moći ništa pronaći, stoga takve stranice nisu uključene u indeks. Druga vrsta web stranice je skladište podataka, na čije se stranice povremeno dodaju poveznice na dokumente za preuzimanje. Sadržaj takve stranice najčešće se ne mijenja, pa je robot izuzetno rijetko posjećuje. Ostala mjesta ovise o učestalosti ažuriranja materijala. To znači sljedeće: što se novi sadržaj brže pojavljuje na stranici, to robot za pretraživanje češće dolazi. I prioritet se daje najvažnijim web resursima (stranica s vijestima je red veličine važnija od bilo kojeg bloga, na primjer).
Indeksiranje vam omogućuje obavljanje prve funkcije tražilice - prikupljanje informacija o novim stranicama na internetu. Ali Yandex ima i drugu funkciju - traženje odgovora na zahtjev korisnika u već pripremljenoj bazi podataka za pretraživanje.
Yandex priprema odgovor
Procesom obrade zahtjeva i izdavanja odgovarajućih odgovora upravlja računalni sustav "Metasearch" . Za svoj rad prvo prikuplja sve ulazne informacije: iz koje regije je zahtjev poslan, kojoj klasi pripada, ima li grešaka u zahtjevu itd. Nakon takve obrade metapretraživanje provjerava postoje li potpuno isti upiti s istim parametrima u bazi podataka. Ako je odgovor potvrdan, tada sustav korisniku prikazuje prethodno spremljene rezultate. Ako takvo pitanje ne postoji u bazi podataka, metapretraživanje se obraća bazi podataka pretraživanja koja sadrži indeksne podatke.
I ovdje se događaju nevjerojatne stvari. Zamislite da postoji jedno super-moćno računalo koje pohranjuje cijeli Internet koji su obradili roboti za pretraživanje. Korisnik postavlja upit i počinje pretraživanje u memorijskim ćelijama za sve dokumente uključene u upit. Odgovor je pronađen i svi su zadovoljni. Ali uzmimo drugi slučaj kada postoji mnogo zahtjeva koji sadrže iste riječi u svom tijelu. Sustav mora proći kroz iste memorijske ćelije svaki put, što može značajno povećati vrijeme potrebno za obradu podataka. Sukladno tome, vrijeme se povećava, što može dovesti do gubitka korisnika - on će se obratiti drugoj tražilici za pomoć.
Kako bi se izbjegla takva kašnjenja, sve kopije u indeksu web-mjesta distribuiraju se na različita računala. Nakon slanja zahtjeva, metasearch upućuje takve poslužitelje da potraže njihov dio teksta. Nakon toga se svi podaci s tih strojeva vraćaju u središnje računalo, ono kombinira sve dobivene rezultate i daje korisniku prvih deset najboljih odgovora. Ovom tehnologijom ubijaju se dvije muhe odjednom: vrijeme pretrage se smanjuje nekoliko puta (odgovor se dobiva u djeliću sekunde) i, zahvaljujući povećanju platformi, informacije se dupliciraju (podaci se ne gube zbog iznenadnih kvarova) . Sama računala s dupliciranim informacijama čine podatkovni centar - ovo je soba s poslužiteljima.
Kada korisnik tražilice postavi upit, 20 puta od 100, ciljevi u pitanju su dvosmisleni. Na primjer, ako u traci za pretraživanje napiše riječ "Napoleon", tada još nije poznato koji odgovor očekuje - recept za tortu ili biografiju velikog zapovjednika. Ili izraz "Braća Grimm" - bajke, filmovi, glazbena grupa. Kako bi suzio takav mogući raspon ciljeva na specifične odgovore, Yandex ima posebnu tehnologiju Raspon. Uzima u obzir potrebe korisnika koristeći statistiku upita za pretraživanje. Od svih pitanja koja posjetitelji postavljaju u Yandexu, Spectrum identificira različite objekte u njima (imena ljudi, naslove knjiga, modele automobila itd.) Ti su objekti raspoređeni u određene kategorije. Trenutno postoji više od 60 takvih kategorija. Uz njihovu pomoć, tražilica u svojoj bazi podataka ima različita značenja riječi u upitima korisnika. Zanimljivo je da se te kategorije povremeno provjeravaju (analiza se odvija nekoliko puta tjedno), što Yandexu omogućuje točnije odgovore na postavljena pitanja.
Na temelju tehnologije Spectrum, Yandex je organizirao dijaloške upite. Pojavljuju se ispod trake za pretraživanje u koju korisnik upisuje svoj dvosmisleni upit. Ovaj redak odražava kategorije kojima predmet pitanja može pripadati. Daljnji rezultati pretraživanja ovise o korisnikovom odabiru ove kategorije.
Od 15 do 30% svih korisnika Yandex tražilice želi primati samo lokalne informacije (podatke iz regije u kojoj žive). Na primjer, o novim filmovima u kinima u vašem gradu. Stoga bi odgovor na takav zahtjev trebao biti različit za svaku regiju. U tom smislu Yandex koristi svoju tehnologiju pretraživanje na temelju regija
. Na primjer, ovo su odgovori koje stanovnici koji traže repertoar filmova u svom kinu Oktobar mogu dobiti:
Ali ovo je rezultat koji će dobiti stanovnici grada Stavropol za isti zahtjev:
Regija korisnika prvenstveno je određena njegovom IP adresom. Ponekad ti podaci nisu točni, jer više pružatelja usluga može raditi u nekoliko regija odjednom, te stoga mijenjati IP adrese svojih korisnika. U principu, ako vam se to dogodi, lako možete promijeniti regiju u postavkama u tražilici. Naveden je u gornjem desnom kutu stranice s rezultatima. Možete ga promijeniti.
Tražilica Yandex ru - rezultati odgovora
Kada Metasearch pripremi odgovor, Yandex tražilica bi ga trebala prikazati na stranici s rezultatima. To je popis poveznica na pronađene dokumente s malo informacija o svakom. Zadaća tehnologije za izdavanje rezultata je pružiti korisniku najrelevantnije odgovore na što informativniji način. Predložak za jednu takvu vezu izgleda ovako:
Pogledajmo detaljnije ovaj oblik rezultata. Za naslov rezultata pretraživanja Yandex često koristi naziv naslova stranice (ono što optimizatori pišu u naslovnoj oznaci). Ako ga nema, onda se ovdje pojavljuju riječi iz naslova članka ili posta. Ako je tekst naslova velik, tražilica u ovo polje stavlja fragment koji je najrelevantniji za dani upit.
Vrlo rijetko, ali se događa da naslov ne odgovara sadržaju zahtjeva. U ovom slučaju Yandex oblikuje naslov rezultata pretraživanja pomoću teksta u članku ili objavi. Definitivno će sadržavati upitne riječi.
Za isječak tražilica koristi sav tekst na stranici. Odabire sve fragmente u kojima se nalazi odgovor na upit, a zatim odabire najrelevantniji i ubacuje poveznice na dokument u polje obrasca. Zahvaljujući ovom pristupu, kompetentni optimizator može ga preraditi nakon što vidi isječak, čime se poboljšava atraktivnost veze.
Kako bi se bolje uočio rezultat korisničkog zahtjeva, naslovi su oblikovani kao poveznice u tekstu (istaknute plavom bojom s podcrtavanjem). Kako bi web resurs bio privlačan i prepoznatljiv, dodaje se favicon - mala korporativna ikona web mjesta. Pojavljuje se lijevo od teksta u prvom retku prije naslova. Sve riječi koje su bile uključene u zahtjev u odgovoru su također označene masnim slovima radi lakše percepcije.
Odnedavno tražilica Yandex u isječak dodaje razne informacije koje će pomoći korisniku da još brže i točnije pronađe svoj odgovor. Na primjer, ako korisnik u svom zahtjevu napiše naziv organizacije, tada će Yandex u isječak dodati njezinu adresu, kontakt brojeve i poveznicu na lokaciju u geografskim kartama. Ako je tražilica upoznata sa strukturom stranice, koja sadrži dokument s odgovorom za korisnika, ona će ga svakako prikazati. Osim toga, Yandex može odmah dodati najposjećenije stranice takvog web resursa u isječak tako da, ako želi, posjetitelj može odmah otići na odjeljak koji mu je potreban, štedeći svoje vrijeme.
Postoje isječci koji sadrže cijenu proizvoda za online trgovinu, ocjenu hotela ili restorana u obliku zvjezdica i druge zanimljive informacije s raznim brojevima o objektima u dokumentima pretraživanja. Svrha takvih informacija je pružiti potpuni popis podataka o onim predmetima ili objektima koji su od interesa za korisnika.
Općenito, s raznim primjerima, stranica s odgovorima izgledat će ovako:
Rangiranje i ocjenjivači
Yandexov zadatak uključuje ne samo traženje svih mogućih opcija odgovora, već i odabir najboljih (relevantnih). Uostalom, korisnik neće preturati po svim poveznicama koje će mu Yandex dati kao rezultat pretraživanja. Proces organiziranja rezultata pretraživanja naziva se rangiranje . Odnosno, rangiranje je ono što određuje kvalitetu predloženih odgovora.
Postoje pravila prema kojima Yandex određuje relevantne stranice:
- Mjesta koja pogoršavaju kvalitetu pretraživanja bit će spuštena na niži položaj na stranici s rezultatima. Obično su to web resursi čiji vlasnici pokušavaju prevariti tražilicu. Na primjer, to su stranice sa stranicama koje sadrže besmislen ili nevidljiv tekst. Naravno, vidljiv je i razumljiv robotu za pretraživanje, ali ne i posjetitelju koji čita ovaj dokument. Ili stranice koje, kada kliknu na poveznicu u području rezultata pretraživanja, odmah prebacuju korisnika na potpuno drugu stranicu.
- Stranice s erotskim sadržajem nisu uključene u rezultate ili su uvelike smanjene u poretku. To je zbog činjenice da takvi web resursi često koriste agresivne metode promocije.
- Mjesta zaražena virusima ne spuštaju se u rezultatima pretraživanja i ne isključuju se iz rezultata pretraživanja - u ovom slučaju korisnik se obavještava o opasnosti pomoću posebne ikone. To je zbog činjenice da Yandex pretpostavlja da takvi web resursi mogu sadržavati važne dokumente na zahtjev posjetitelja tražilice.
Na primjer, ovako će Yandex rangirati stranice za upit "jabuka":
Uz faktore rangiranja, Yandex koristi posebne uzorke s upitima i odgovorima koje korisnici tražilice smatraju najprikladnijima. Nijedan stroj trenutno ne može napraviti takve uzorke - to je prerogativ čovjeka. U Yandexu se takvi stručnjaci nazivaju procjenitelji. Njihova je zadaća u potpunosti analizirati sve tražene dokumente i ocijeniti odgovore na navedene upite. Oni odabiru najbolje odgovore i stvaraju poseban set za obuku. U njemu tražilica vidi odnos između relevantnih stranica i njihovih svojstava. Imajući takve informacije, Yandex može odabrati optimalnu formulu rangiranja za svaki zahtjev. Metoda za konstruiranje takve formule zove se Matrixnet. Prednost ovog sustava je u tome što je otporan na prekomjerno opremanje, što vam omogućuje da uzmete u obzir veliki broj faktora rangiranja bez povećanja broja nepotrebnih ocjena i uzoraka.
Na kraju svog posta želim vam pokazati zanimljive statistike koje je prikupila tražilica Yandex u procesu svog rada.
1. Popularnost osobnih imena u Rusiji i ruskim gradovima (podaci preuzeti s naloga blogera i korisnika društvenih mreža u ožujku 2012.).
Godine 1863. veliki pisac Jules Verne napisao je svoju sljedeću knjigu, “Pariz u 20. stoljeću”. U njemu je detaljno opisao podzemnu željeznicu, automobil, električnu stolicu, računalo pa čak i internet. Međutim, izdavač je odbio tiskati knjigu i ona je tamo ležala više od 120 godina dok je nije pronašao praunuk Julesa Vernea 1989. godine. Knjiga je objavljena 1994. godine.
