Yandex iskalnik kaj je novega. Yandex - kaj je Yandex in zakaj se imenuje Yandex. Sestava in principi delovanja iskalnega sistema
Že dolgo so postali sestavni del ruskega interneta. Iskalniki so zdaj ogromni in zapleteni mehanizmi, ki ne predstavljajo le orodja za iskanje informacij, temveč tudi mamljiva področja za poslovanje.
Večina uporabnikov iskalnikov še nikoli ni razmišljala (ali razmišljala, a ni našla odgovora) o principu delovanja iskalnikov, o shemi obdelave uporabniških zahtev, o tem, iz česa so ti sistemi sestavljeni in kako delujejo ...
Ta mojstrski tečaj je zasnovan tako, da odgovori na vprašanje, kako delujejo iskalniki. Vendar tukaj ne boste našli dejavnikov, ki bi vplivali na razvrščanje dokumentov. Poleg tega ne smete računati na podrobno razlago algoritma Yandex. Po besedah Ilye Segaloviča, direktorja tehnologije in razvoja iskalnika Yandex, ga lahko "pod mučenjem" prepozna le sam Ilya Segalovič ...
2. Pojem in funkcije iskalnika
Iskalni sistem je kompleks programske in strojne opreme, zasnovan za iskanje po internetu in odziv na zahtevo uporabnika, podano v obliki besedilne fraze (iskalna poizvedba), s pripravo seznama povezav do virov informacij po pomembnosti ( v skladu z zahtevo). Največji mednarodni iskalniki: "Google", Yahoo , MSN . V ruskem internetu so to Yandex, Rambler, Aport.
Oglejmo si podrobneje koncept iskalne poizvedbe na primeru iskalnika Yandex. Iskalno poizvedbo naj uporabnik oblikuje v skladu s tem, kar želi najti, čim bolj kratko in preprosto. Recimo, da želimo v Yandexu najti informacije o tem, kako izbrati avto. Če želite to narediti, odprite glavno stran Yandex in vnesite besedilo iskalne poizvedbe »kako izbrati avto«. Nato se naša naloga zmanjša na to, da na našo zahtevo odpremo povezave do virov informacij na internetu. Vendar pa je zelo možno, da ne bomo našli informacij, ki jih potrebujemo. Če se to zgodi, potem morate bodisi preoblikovati svojo zahtevo ali pa zbirka podatkov iskalnika res nima ustreznih informacij o naši zahtevi (to se lahko zgodi pri postavljanju zelo "ozkih" poizvedb, kot je na primer "kako izbrati" avto v Arhangelsku")
Primarni cilj vsakega iskalnika je ljudem posredovati točno tiste informacije, ki jih iščejo. In naučite uporabnike, da dajo "pravilne" zahteve sistemu, tj. poizvedbe, ki so v skladu z načeli delovanja iskalnikov, so nemogoče. Zato razvijalci ustvarjajo algoritme in principe delovanja iskalnikov, ki bi uporabnikom omogočili najti informacije, ki jih iščejo.
To pomeni, da mora iskalnik »razmišljati« na enak način kot misli uporabnik, ko išče informacije. Ko uporabnik odda povpraševanje iskalniku, želi čim hitreje in lažje najti tisto, kar potrebuje. Ko prejme rezultat, oceni delovanje sistema, ki ga vodi več osnovnih parametrov. Je našel, kar je iskal? Če je ni našel, kolikokrat je moral preoblikovati poizvedbo, da je našel, kar je iskal? Koliko ustreznih informacij bi lahko našel? Kako hitro je iskalnik obdelal poizvedbo? Kako priročni so bili predstavljeni rezultati iskanja? Je bil rezultat, ki ste ga iskali, prvi ali stoti? Koliko nepotrebnih smeti je bilo najdenih skupaj s koristnimi informacijami? Ali bodo potrebne informacije najdene ob dostopu do iskalnika, recimo v enem tednu ali mesecu?
Da bi na vsa ta vprašanja odgovorili, razvijalci iskalnikov nenehno izboljšujejo iskalne algoritme in principe, dodajajo nove funkcije in zmožnosti ter na vse možne načine poskušajo pospešiti delovanje sistema.
3. Glavne značilnosti iskalnika
Naj opišemo glavne značilnosti iskalnikov:
- Popolnost
Popolnost je ena glavnih značilnosti iskalnega sistema, ki je razmerje med številom dokumentov, najdenih z zahtevo, in skupnim številom dokumentov na internetu, ki ustrezajo dani zahtevi. Na primer, če je na internetu 100 strani, ki vsebujejo besedno zvezo "kako izbrati avto", in le 60 jih je bilo najdenih za ustrezno poizvedbo, bo popolnost iskanja 0,6. Očitno je, da bolj ko je iskanje popolno, manj verjetno je, da uporabnik ne bo našel dokumenta, ki ga potrebuje, pod pogojem, da sploh obstaja na internetu.
- Natančnost
Natančnost je še ena glavna značilnost iskalnika, ki jo določa stopnja ujemanja najdenih dokumentov z uporabnikovo poizvedbo. Na primer, če poizvedba »kako izbrati avto« vsebuje 100 dokumentov, jih 50 vsebuje besedno zvezo »kako izbrati avto«, ostali pa preprosto vsebujejo te besede (»kako izbrati pravi radio in ga namestiti v avto«), potem je natančnost iskanja enaka 50/100 (=0,5). Bolj natančno kot je iskanje, hitreje bo uporabnik našel dokumente, ki jih potrebuje, manj bo med njimi najdenih različnih vrst "smeti", manj pogosto najdeni dokumenti ne bodo ustrezali zahtevi.
- Ustreznost
Relevantnost je prav tako pomembna sestavina iskanja, za katero je značilen čas, ki preteče od trenutka, ko so dokumenti objavljeni na internetu, do vnosa v indeksno bazo iskalnika. Na primer, dan po pojavu zanimivih novic se je veliko število uporabnikov obrnilo na iskalnike z ustreznimi poizvedbami. Objektivno je od objave novic o tej temi minil manj kot en dan, vendar so glavni dokumenti že indeksirani in na voljo za iskanje, zahvaljujoč obstoju tako imenovane »hitre baze podatkov« velikih iskalnikov, ki se posodablja večkrat na dan.
- Hitrost iskanja
Hitrost iskanja je tesno povezana z njegovo odpornostjo na obremenitev. Na primer, po podatkih Rambler Internet Holding LLC danes med delovnim časom iskalnik Rambler prejme približno 60 zahtev na sekundo. Takšna obremenitev zahteva skrajšanje časa obdelave posamezne zahteve. Tu se interesi uporabnika in iskalnika ujemajo: obiskovalec želi čim hitreje dobiti rezultate, iskalnik pa mora zahtevo obdelati čim hitreje, da ne upočasni izračunavanja naslednjih poizvedb.
- Vidnost
4. Kratka zgodovina razvoja iskalnikov
V začetnem obdobju razvoja interneta je bilo število njegovih uporabnikov majhno, količina dostopnih informacij pa relativno majhna. Večinoma so imeli dostop do interneta le raziskovalci. V tem času naloga iskanja informacij na internetu ni bila tako nujna, kot je zdaj.
Eden od prvih načinov organiziranja dostopa do omrežnih informacijskih virov je bilo ustvarjanje odprtih imenikov spletnih mest, povezave do virov, v katerih so bile razvrščene glede na teme. Prvi tak projekt je bila spletna stran Yahoo.com, ki je bila odprta spomladi 1994. Ko se je število spletnih mest v katalogu znatno povečalo, je bila dodana možnost iskanja potrebnih informacij v katalogu. V polnem smislu še ni bil iskalnik, saj je bilo območje iskanja omejeno le na vire v katalogu in ne na vse internetne vire.
Imeniki povezav so bili v preteklosti zelo razširjeni, vendar so trenutno skoraj popolnoma izgubili priljubljenost. Ker tudi sodobni katalogi, ogromni po obsegu, vsebujejo informacije le o zanemarljivem delu interneta. Največji imenik omrežja DMOZ (imenovan tudi Open Directory Project) vsebuje informacije o 5 milijonih virov, medtem ko baza podatkov iskalnika Google obsega več kot 8 milijard dokumentov.
Leta 1995 sta se pojavila iskalnika Lycos in AltaVista. Slednji je že vrsto let vodilni na področju iskanja informacij na internetu.
Leta 1997 sta Sergey Brin in Larry Page kot del raziskovalnega projekta na univerzi Stanford ustvarila iskalnik Google. Google je trenutno najbolj priljubljen iskalnik na svetu!
Septembra 1997 je bil uradno objavljen iskalnik Yandex, ki je najbolj priljubljen na internetu v ruskem jeziku.
Trenutno obstajajo trije glavni iskalniki (mednarodni) - Google, Yahoo in, ki imajo svoje baze podatkov in iskalne algoritme. Večina drugih iskalnikov (teh je ogromno) v takšni ali drugačni obliki uporablja rezultate treh naštetih. Iskanje AOL (search.aol.com) na primer uporablja bazo podatkov Google, medtem ko AltaVista, Lycos in AllTheWeb uporabljajo bazo podatkov Yahoo.
5. Sestava in principi delovanja iskalnega sistema
V Rusiji je glavni iskalnik Yandex, sledijo mu Rambler.ru, Google.ru, Aport.ru, Mail.ru. Poleg tega Mail.ru trenutno uporablja iskalnik in bazo podatkov Yandex.
Skoraj vsi glavni iskalniki imajo svojo strukturo, ki se razlikuje od drugih. Vendar pa je mogoče prepoznati glavne komponente, ki so skupne vsem iskalnikom. Razlike v strukturi so lahko le v obliki izvajanja mehanizmov interakcije teh komponent.
Modul za indeksiranje
Modul za indeksiranje je sestavljen iz treh pomožnih programov (robotov):
Spider je program za prenos spletnih strani. Pajek prenese stran in pridobi vse notranje povezave s te strani. Prenese se html koda vsake strani. Roboti za prenos strani uporabljajo protokole HTTP. Pajek deluje na naslednji način. Robot strežniku pošlje zahtevo »get/path/document« in nekatere druge ukaze zahteve HTTP. Kot odgovor robot prejme besedilni tok, ki vsebuje storitvene informacije in sam dokument.
- URL strani
- datum prenosa strani
- http glava odgovora strežnika
- telo strani (html koda)
Crawler (“potujoči” pajek) je program, ki samodejno sledi vsem povezavam, ki jih najdete na strani. Izbere vse povezave na strani. Njegova naloga je določiti, kam naj gre pajek naprej, na podlagi povezav ali vnaprej določenega seznama naslovov. Pajek po najdenih povezavah išče nove dokumente, ki jih iskalnik še ne pozna.
Indexer (robot indekser) je program, ki analizira spletne strani, ki jih naložijo pajki. Indeksator razčleni stran na sestavne dele in jih analizira z lastnimi leksikalnimi in morfološkimi algoritmi. Analizirajo se različni elementi strani, kot so besedilo, naslovi, povezave, strukturne in slogovne značilnosti, posebne storitvene oznake HTML itd.
Tako vam modul za indeksiranje omogoča pajkanje danega niza virov z uporabo povezav, prenos najdenih strani, ekstrahiranje povezav do novih strani iz prejetih dokumentov in izvedbo popolne analize teh dokumentov.
Baza podatkov
Podatkovna baza ali indeks iskalnika je sistem za shranjevanje podatkov, informacijski niz, v katerem so shranjeni posebej pretvorjeni parametri vseh dokumentov, ki jih prenese in obdela modul za indeksiranje.
Iskalni strežnik
Iskalni strežnik je najpomembnejši element celotnega sistema, saj sta kakovost in hitrost iskanja neposredno odvisni od algoritmov, na katerih temelji njegovo delovanje.
Iskalni strežnik deluje na naslednji način:
- Zahteva, ki jo prejme uporabnik, je podvržena morfološki analizi. Generira se informacijsko okolje vsakega dokumenta, vsebovanega v bazi (ki bo naknadno prikazano v obrazcu, to je besedilna informacija, ki ustreza zahtevi na strani z rezultati iskanja).
- Prejeti podatki se kot vhodni parametri posredujejo posebnemu modulu za rangiranje. Podatki se obdelujejo za vse dokumente, zaradi česar ima vsak dokument svojo oceno, ki označuje ustreznost poizvedbe, ki jo vnese uporabnik, in različnih komponent tega dokumenta, shranjenih v indeksu iskalnika.
- Odvisno od izbire uporabnika se lahko ta ocena prilagodi z dodatnimi pogoji (na primer tako imenovano "napredno iskanje").
- Nato se ustvari izrezek, to je, da se za vsak najdeni dokument iz tabele dokumentov izvleče naslov, kratek povzetek, ki najbolje ustreza poizvedbi, in povezava do samega dokumenta, najdene besede pa so označene.
- Dobljeni rezultati iskanja se posredujejo uporabniku v obliki SERP (Search Engine Result Page) – strani z rezultati iskanja.
Kot lahko vidite, so vse te komponente med seboj tesno povezane in delujejo v interakciji ter tvorijo jasen, precej zapleten mehanizem za delovanje iskalnega sistema, ki zahteva ogromne količine virov.
6. Zaključek
Zdaj pa povzamemo vse zgoraj.
- Primarni cilj vsakega iskalnika je ljudem posredovati točno tiste informacije, ki jih iščejo.
- Glavne značilnosti iskalnikov:
- Popolnost
- Natančnost
- Ustreznost
- Hitrost iskanja
- Vidnost
- Prvi polnopravni iskalnik je bil projekt WebCrawler, objavljen leta 1994.
- Iskalni sistem vključuje naslednje komponente:
- Modul za indeksiranje
- Baza podatkov
- Iskalni strežnik
Upamo, da vam bo naš mojstrski tečaj omogočil, da se bolje seznanite s konceptom iskalnika in bolje razumete glavne funkcije, značilnosti in načela delovanja iskalnikov.
Pozdravljeni dragi prijatelji! V tem članku bomo nadaljevali z ogledom iskalnika Yandex in kot se spomnite, smo v prejšnjih člankih razpravljali o zgodovini nastanka tega velikega podjetja, ki je na prvem mestu med svojimi konkurenti v Rusiji in zunaj nje.
Vse to je dobro, vendar začetnike in izkušene graditelje spletnih mest zanima najpomembnejše vprašanje, seveda povezano s tem, kako svoje projekte pripeljati na prva mesta v TOP rezultatih iskanja.
Zato si poglejmo, kako deluje iskalnik Yandex, da bi razumeli, na katere napake lahko stopite in kaj na splošno lahko pričakujete od ruskega iskalnika.
V zadnjem članku smo razpravljali. Tema se je izkazala za zelo zanimivo in uporabno. Zato sem se odločil, da ga dopolnim, tako rekoč poglobim.
Zato me je verjetno malo zaneslo vprašanje »Zakaj iskalnik indeksira dokumente?« To ni pametno. Vse, kar ostane, je ugotoviti vprašanje "kako".
Algoritmi za razvrščanje spletnih strani
Najprej se seznanimo z nekaterimi algoritmi, ki so temeljni za kateri koli iskalnik:
— Algoritem neposrednega iskanja.
Kaj je to - spomnite se, da ste v eni od knjig prebrali čudovito zgodbo. In začnete iskati enega za drugim. Vzeli so eno knjigo, jo prelistali, je niso našli, vzeli drugo ... Princip je jasen, vendar je ta metoda izjemno dolga. To je tudi razumljivo.
— Algoritem povratnega iskanja.
Za ta algoritem se iz vsake strani vašega bloga ustvari besedilna datoteka. V tej datoteki so po abecednem vrstnem redu navedene VSE besede, ki ste jih uporabili. Naveden je celo položaj te besede v besedilu (koordinate v besedilu).
To je precej hitra metoda, vendar iskanje že poteka z nekaj napakami.
Glavna stvar, ki jo morate razumeti, je, da ta algoritem ne išče po internetu, ne z iskanjem po spletnem dnevniku. In v ločeni besedilni datoteki, ki je bila ustvarjena že zdavnaj. Ko je robot prišel do vas. In te datoteke (obratni indeksi) so shranjene na strežnikih Yandex.
Torej, to so bili osnovni iskalni algoritmi. Tisti. kako Yandex preprosto najde potrebne dokumente. Zdi se, da s tem ne bi smelo biti težav.
Toda Yandex pozna več kot enega ali celo 100 dokumentov, vendar po zadnjih podatkih iz mojih virov Yandex pozna približno 11 milijard dokumentov (10.727.736.489 strani).
In med vso to količino morate izbrati dokumente, ki ustrezajo zahtevi. In kar je še pomembneje, nekako jih morate razvrstiti. Tisti. razporediti po stopnji pomembnosti oziroma po uporabnosti za bralca.
Matematični iskalni modeli
Da bi rešili to težavo, na pomoč priskočijo matematični modeli. Zdaj bomo govorili o najpreprostejših modelih.
Boolov matematični model– Če se v dokumentu pojavi beseda, velja, da je dokument najden. Samo naključje in nič zapletenega.
Toda tukaj so težave. Na primer, če kot uporabnik vnesete neko priljubljeno besedo ali še bolje predlog "v", ki je najpogostejša beseda v ruskem jeziku in jo najdete v VSAKEM dokumentu, potem boste dobili toliko rezultatov. da se takšne številke sploh ne zavedate, Koliko dokumentov ste našli? Zato se je pojavil naslednji model mat.
Vektorski matematični model– ta model določa "težo" dokumenta. Ne samo, da pride do naključja, ampak se mora beseda pojaviti večkrat. Poleg tega, več kot se beseda pojavi, večja je relevantnost (skladnost).
To je vektorski model, ki ga uporabljajo VSI iskalniki.
Probabilistični model– bolj zapleteno. Načelo je naslednje: iskalnik je sam našel predlogo strani. Na primer, iščete informacije o zgodovini Yandex. Yandex hrani nekakšen standard, recimo, da bo to moj prejšnji članek o Yandexu.
In vse druge dokumente bo primerjal s tem člankom. In logika tukaj je naslednja: bolj ko je stran vašega spletnega dnevnika podobna mojemu članku, VEČJA je verjetnost, da bo stran vašega spletnega dnevnika uporabna tudi bralcu in pripoveduje o zgodovini Yandexa.
Da bi zmanjšali število dokumentov, ki jih je treba prikazati uporabniku, je bil uveden koncept relevantnosti, tj. skladnost.
Kako pomembna je vaša stran spletnega dnevnika za to temo? To je pomembna tema, ko gre za kakovost iskanja.
Ocenjevalci – kdo so in za kaj so odgovorni?
Ta ustreznost je potrebna tudi za oceno kakovosti algoritmov.
V ta namen obstaja štab posebnih sil - imenujejo se ocenjevalci. To so posebni ljudje, ki z rokami pregledujejo rezultate iskanja.
Imajo navodila, kako preveriti mesta, kako oceniti itd. In ročno določijo, ali so vaše strani primerne za iskalne poizvedbe ali ne.
In kakovost iskalnih algoritmov je odvisna od mnenja ocenjevalcev. Če vsi ocenjevalci trdijo, da rezultati iskanja ne ustrezajo zahtevam, to pomeni, da je algoritem razvrščanja napačen in da je kriv samo Yandex.
Če ocenjevalci rečejo, da le ena stran ne izpolnjuje zahteve, to pomeni, da stran odleti nekam daleč in se zniža v rezultatih iskanja. Natančneje, ne celotno spletno mesto, ampak samo en članek, vendar to "ni bistvo".
Seveda ocenjevalci ne morejo pregledati in oceniti VSEH artiklov z rokami in očmi. To je razumljivo.
In na pomoč priskočijo drugi parametri, po katerih se strani razvrščajo.
Veliko jih je, npr.
- teža strani (vIC, PageRank, otroške izbokline Glede na vse);
- avtoriteta domene;
- ustreznost besedila zahtevku;
- relevantnost besedil zunanjih povezav glede na poizvedbo;
- kot tudi številni drugi dejavniki razvrščanja.
Ocenjevalci dajejo pripombe, ljudje, ki so odgovorni za postavitev matematičnega modela rangiranja, pa urejajo formulo, zaradi česar iskalnik deluje učinkoviteje.
Glavna merila za ocenjevanje učinkovitosti formule:
1. Natančnost rezultatov iskalnika- odstotek dokumentov, ki ustrezajo zahtevku (relevantno). Tisti. Manj strani, ki se ne ujemajo z zahtevo, bolje je.
2. Popolnost rezultatov iskalnika- to je razmerje med relevantnimi spletnimi stranmi za določeno poizvedbo in skupnim številom relevantnih dokumentov v zbirki (vsota najdenih strani v iskalniku).
Na primer, če je v celotni zbirki več ustreznih strani kot v rezultatih iskanja, to pomeni, da so rezultati nepopolni. To se je zgodilo, ker so bile nekatere ustrezne spletne strani filtrirane.
3. Relevantnost rezultatov iskalnikov- to je skladnost spletne strani z napisanim v snippetu. Na primer, dokument je lahko zelo drugačen ali sploh ne obstaja, vendar je še vedno prisoten v rezultatih iskanja.
Ustreznost rezultatov iskanja je neposredno odvisna od tega, kako pogosto iskalni robot skenira dokumente iz svoje zbirke.
Zbiranje zbiranja (indeksiranje strani spletnega mesta) izvaja poseben program - iskalni robot.
Iskalni robot prejme seznam naslovov za indeksiranje, jih kopira in nato pošlje vsebino kopiranih spletnih strani v obdelavo algoritmu, ki jih pretvori v povratne indekse.
No, tako rekoč "na kratko" smo razpravljali o principih iskalnika.
Naj povzamemo:
- Na vaš blog pride iskalni robot.
- Iskalni robot shrani obratni indeks strani za nadaljnja iskanja.
- Z matematičnim modelom se dokument obdela in prikaže v rezultatih iskanja z uporabo formul in ob upoštevanju mnenja ocenjevalca.
To je zelo, zelo poenostavljeno. Samo za osnovno razumevanje delovanja iskalnika Yandex.
Zdaj sem napisal toliko besedila in morda je toliko nejasnega. Zato predlagam, da se vrnete k temu članku malo kasneje in si ogledate ta video.
To je odličen vodnik, po katerem sem se nekoč učil tudi sam.
Upam, da vam bodo te informacije pomagale bolje razumeti, zakaj eno od vaših spletnih mest zaseda ustrezne položaje pri iskanju, in storiti vse, da jih izboljšate.
S tem se poslavljam od vas, če imate kakršna koli vprašanja, vam vedno z veseljem odgovorim v komentarjih. Ali morda želite dodati članek?
V vsakem primeru izrazite svoje mnenje. !
Nismo tako edinstveni, kot mislimo: milijone ljudi pred nami in milijoni za nami bodo begali iskalnik s skoraj enakimi vprašanji. Po drugi strani pa smo preveč nepredvidljivi: na oblikovanje naše zahteve vpliva ogromno dejavnikov, ki se jih ne zavedamo. In vsaj zato zahteva vsakega od nas, pa naj bo še tako banalna, individualen pristop.
Pravzaprav se celotno delo iskalnika Yandex zmanjša na dve preprosti stvari: razumeti, kaj človek resnično želi vedeti, in v nekaj sekundah najti ustrezne med milijardami dokumentov na internetu.
Vzemite prstne odtise
Operacijski sistem iskalnika je nekoliko podoben Matrixu, iskalni robot (kompleksni program za neodvisno odločanje, ki ga je ustvaril) pa je podoben Agentu Smithu.
Da ne bi vsakič, ko bi kdo kaj izvedel, preiskali ves internet, iskalnik del dela opravi vnaprej – s pomočjo tisočih iskalnih robotov preveri, kaj je na spletu in kje je. Na voljo so v dveh vrstah: osnovni in hitri. Glavni išče in obdeluje internet kot celoto, hitri pa dokumente, ki so se pojavili pred minuto ali celo nekaj sekundami. Naloga robotskih programov je izbrati primerne in uporabne informacije za uporabnike, jih obdelati, izločiti vse zastarelo in nepotrebno. Na nek način to spominja na ločevanje smeti: papir v en zabojnik, steklo v drugega, plastika v tretjega, živilski odpadki v četrtega ...
Informacije, ki jih zbirajo roboti, tvorijo tako imenovano internetno zasedbo. Shranjen je na tisočih strežnikih Yandex in se nenehno posodablja. Nugget je kot seznam, ki vam pove, kje najdete katere informacije. Na tem seznamu vsaka ključna beseda nima ene, ampak milijone »strani«. Da bi zagotovili, da so vse posodobitve zrnc na voljo uporabnikom, se premaknejo iz repozitorija v »osnovno iskanje«. Podatki iz glavnega robota se prenašajo vsakih nekaj dni, iz hitrega robota pa v realnem času.
Pripeljite do čiste vode
 ILUSTRACIJA: EVGENY TONKONOGY |
Pri iskanju odgovora na dano vprašanje v pripravljeni bazi podatkov se stroj sooča z dvema glavnima težavama. Prva težava je jezik. Pred iskanjem odgovora na vprašanje je pomembno, da stroj razume, v katerem jeziku naj to stori. Na primer, za rusko govorečo osebo bo iskanje »odred kneza Igorja« našel dokumente s podatki o vojski, za Ukrajinca pa bo »odred kneza Igorja« vrnil tudi dokumente, ki omenjajo princeso Olgo, njegovo ženo, od v ukrajinščini je "žena" "odred". In v bogatem ruskem jeziku lahko ista beseda ali njene izpeljanke pomenijo različne stvari. Na primer, beseda "jeklo" je ena od oblik samostalnika "jeklo" in glagola "postati". Druga težava je človeška psihologija. Pri vnosu zahteve pričakujemo hiter in natančen odgovor, seveda brez skrbi, ali besedilo zahteve ustreza principom matematične analize, po kateri delujejo možgani stroja. Na primer, če v iskalno vrstico vnesete besedo "Napoleon", kaj želi oseba dobiti: recept za torto ali biografijo francoskega cesarja, kupiti konjak ali najti naslov psihiatrične bolnišnice?
 |
V takih situacijah pride v poštev več tehnologij. Pod iskalno vrstico lahko podate več namigov, ki bodo natančno določili vašo zahtevo. Kot, izberite, kar potrebujete: Napoleonovi recepti ali Napoleon - Bonaparte. Če se uporabnik ne odzove na zahtevo stroja in ne doda besed v "Napoleon", potem tehnologija "Spectrum" pomaga zadevi: brez upanja na pomoč, stroj takoj poišče informacije v več kategorijah (o torti, pa o cesarju in o konju)..). Poleg tega mehanizmi personalizacije pomagajo razumeti uporabnika - strojno znanje o tem, kaj je ta uporabnik iskal na svojem računalniku pred dnevom, dvema, tremi ali meseci: če ste Yandexu pogosto postavljali vprašanja o kuhanju, bo stroj najprej pokazal rezultati, ki pravijo, da je Napoleon torta.
Kombinacije: interesni klubi
Naloga iskalnika ni zgolj izbiranje dokumentov, ki vsebujejo besede in besedne zveze iz iskalne poizvedbe. Stroj mora razumeti, kateri dokumenti izpolnjujejo naše nasprotujoče si zahteve in zakaj jih izpolnjujejo. Ali želimo dobiti informacije o torti Napoleon ali smo morda nekaj let obiskali fitnes klub s pretencioznim imenom ali pa smo celo popolnoma zaskrbljeni zaradi kompleksov nizkih ljudi. V vsakem primeru pa rešitev problema zahteva netrivialen pristop.
 |
Ustvarjalci iskalnega programa Yandex so našli ta pristop tako, da so pravico izbire prenesli na stroj. Po eni strani brezdušen, a zelo hiter in pameten stroj ne ve in noče vedeti ničesar o nas kot posameznikih, po drugi strani pa skuša o vsakem izvedeti čim več.
Poleg geografske lokacije uporabnika in jezikovne analize njegovih poizvedb iskalnik uporablja več tisoč kriterijev, ki človeku sploh niso očitni.
Trik je v tem, da stroj neodvisno razvija in posodablja te kriterije.
Preprosto uporablja podatke o preferencah in uporabniškem vedenju milijonov ljudi in to »aritmetično povprečje« poveže z zgodovino naših poizvedb. Načela, ki vodijo matrico znotraj nje same, s primerjavo na tisoče kategorij uporabniških interesov, ki jih je razvila, se pogosto ne ujemajo s tradicionalnimi človeškimi predstavami o tem, kaj so lahko načeloma »interesi«. Teh je na desettisoče. Med seboj ustvarjajo različne, včasih smešne kombinacije. Na primer, ena od teh kombinacij bi lahko bila, da se rezultati iskanja ujemajo z interesi osebe, ki vzreja tritone. Ob tem pa se človek ne samo zanima za tritone, ampak jih že vzreja, a šele prvo leto.
Ocene. Roke pomoči
 |
Matrica se seveda sama (s pomočjo višje matematike) odloči, kaj in v kakšnem zaporedju je treba prikazati uporabnikom na podlagi več deset tisoč kriterijev. Matrix pa uporablja tudi žive ljudi - 1000 Yandexovih uslužbencev, tako imenovanih ocenjevalcev, ocenjuje rezultate iskanja za določeno zahtevo (seveda ni vsaka zahteva ocenjena in to se ne izvaja v realnem času), da ugotovi, ali izpolnjujejo pričakovanja navadnega uporabnika: ni tako racionalen kot stroj, ni tako natančen v formulaciji, protisloven in čustven.
Dober dan, dragi bralci mojega SEO bloga. . Ta članek govori o kako deluje iskalnik Yandex katere tehnologije in algoritme uporablja za rangiranje spletnih mest in kaj počne za pripravo odziva uporabnikom. Mnogi vedo, da ta paradni konj ruskega iskanja določa ton v Runetu, ima največjo bazo podatkov v Evraziji, obravnava vsebino več kot milijarde strani in pozna odgovor na vsako vprašanje. Po podatkih Liveinterneta za avgust 2012 je Yandexov delež v Rusiji 60,5-odstoten. Mesečno občinstvo portala je 48,9 milijona ljudi. Za nas blogerje pa je najbolj pomembno, kako iskalnik sprejema naše zahteve, kako jih obdela in kakšen je rezultat kot rezultat. Po eni strani nam poznavanje in razumevanje teh informacij olajša uporabo vseh virov Yandex, po drugi strani pa je lažje promovirati naše bloge. Zato predlagam, da si skupaj ogledamo najpomembnejše tehnologije najboljšega iskalnika Runet.
Ko se uporabnik interneta prvič želi obrniti na iskalnik za informacije, se lahko pojavi eno vprašanje: "Kako deluje iskanje?" Toda ko ga prejme, se to vprašanje pogosto spremeni v drugo: "Zakaj tako hitro?" In res, zakaj iskanje datoteke na računalniku traja 20 sekund, rezultat zahteve celotnega omrežja računalnikov po vsem svetu pa se pojavi v sekundi? Najbolj zanimivo je, da je na prvi dve vprašanji (kako poteka iskanje in zakaj 1 sekunda) mogoče odgovoriti z enim odgovorom - iskalnik se je vnaprej pripravil na zahtevo uporabnika.
Da bi razumeli načelo delovanja Yandexa, tako kot drugih iskalnikov, naredimo analogijo s telefonskim imenikom. Če želite najti katero koli telefonsko številko, morate poznati priimek naročnika in vsako iskanje v tem primeru traja največ minuto, saj so vse strani imenika neprekinjen abecedni indeks. Toda predstavljajte si, da bi bilo iskanje izvedeno z drugo možnostjo, kjer bi bile telefonske številke razvrščene po številkah samih. Po takšnih iskanjih, ki se bodo vlekla dlje časa, bodo številke iskalcu ostale zelo dolgo pred očmi. 🙂
Prav tako iskalnik prikaže vse informacije iz interneta v obliki, ki mu ustreza. In kar je najpomembneje, vsi ti podatki so v njen imenik postavljeni vnaprej, preden pride obiskovalec s svojimi zahtevami. Se pravi, ko Yandexu postavimo vprašanje, že pozna naš odgovor. In nam ga da v sekundi. Toda ta drugi vključuje številne pomembne procese, ki jih bomo zdaj podrobno obravnavali.
Internetno indeksiranje
Yandex ru zbira vse informacije, do katerih pride v roke, na internetu. S posebno opremo se pregleda vsa vsebina, vključno s slikami, na podlagi vizualnih parametrov. S takim zbiranjem se ukvarja iskalnik, proces zbiranja in priprave podatkov pa imenujemo indeksiranje. Osnova takšnega stroja je računalniški sistem, ki mu drugače rečemo iskalni robot. Redno preiskuje indeksirana spletna mesta, preverja, ali so na njih nove vsebine, in tudi pregleduje internet za izbrisane strani. Če ugotovi, da neka taka stran ne obstaja več ali je zaprta za indeksiranje, jo odstrani iz iskanja.
Kako iskalni robot najde nova spletna mesta? Prvič, zahvaljujoč povezavam z drugih spletnih mest. Kajti če je povezava postavljena na nov spletni vir z že indeksiranega mesta, bo robot naslednjič, ko obiščete drugo, obiskal prvo. Drugič, obstaja čudovita storitev, popularno imenovana "addurlka" (iz besedne zveze v angleščini -addurl - dodaj naslov). Vanj lahko vnesete naslov vaše nove strani, ki jo bo čez nekaj časa obiskal iskalni robot. Tretjič, s pomočjo posebnega programa "Yandex.Bar" se spremljajo obiski uporabnikov, ki ga uporabljajo. V skladu s tem, če oseba pristane na novem spletnem viru, se bo tam kmalu pojavil robot.
Ali so v iskanje vključene vse strani? Vsak dan se indeksira na milijone strani. Med njimi so strani različne kakovosti, ki lahko vsebujejo različne informacije - od edinstvene vsebine do popolne smeti. Poleg tega, kot pravi statistika, je na internetu veliko več smeti. Iskalni robot analizira vsak dokument s posebnimi algoritmi. Ugotavlja, ali ima koristne informacije in ali lahko odgovori na zahtevo uporabnika. Če ne, potem takšne strani niso sprejete kot "kozmonavti", če pa je tako, potem so vključene v iskanje.
Ko robot obišče stran in ugotovi njeno uporabnost, se ta prikaže v shrambi iskalnika. Tukaj vsak dokument analiziramo do samih osnov, kot pravijo mojstri avtocentra - do zobnikov. Stran je očiščena oznak html, čisto besedilo je podvrženo popolnemu popisu - izračuna se lokacija vsake besede. V tej razstavljeni obliki se stran spremeni v tabelo s številkami in črkami, ki se sicer imenuje kazalo. Zdaj, ne glede na to, kaj se zgodi s spletnim virom, ki vsebuje to stran, je njena zadnja kopija vedno na voljo pri iskanju. Tudi če spletno mesto ne obstaja več, so kopije njegovih dokumentov nekaj časa shranjene na internetu.
Vsako kazalo skupaj s podatki o vrstah dokumentov, kodiranju, jeziku skupaj s kopijami sestavlja iskalno bazo podatkov . Občasno se posodablja, zato se nahaja na posebnih strežnikih, s pomočjo katerih se obdelujejo zahteve uporabnikov iskalnika.
Kako pogosto poteka postopek indeksiranja? Najprej je odvisno od vrste spletnih mest. Prva vrsta spletnega vira zelo pogosto spreminja vsebino svojih strani. To pomeni, da ko iskalni robot vsakič pride na te strani, vsebujejo vsakokrat drugačno vsebino. Naslednjič z njimi ne boste mogli najti ničesar, zato takšna spletna mesta niso vključena v indeks. Druga vrsta spletnega mesta je skladišče podatkov, na straneh katerega se občasno dodajajo povezave do dokumentov za prenos. Vsebina takšne strani se običajno ne spreminja, zato jo robot obišče izjemno redko. Ostala spletna mesta so odvisna od pogostosti posodabljanja gradiva. To pomeni naslednje: hitreje ko se nova vsebina pojavi na spletnem mestu, pogosteje prihaja iskalni robot. Prednost imajo najprej najpomembnejši spletni viri (stran z novicami je na primer za red velikosti pomembnejša od katerega koli bloga).
Indeksiranje omogoča izvajanje prve funkcije iskalnika - zbiranje informacij o novih straneh na internetu. Toda Yandex ima tudi drugo funkcijo - iskanje odgovora na zahtevo uporabnika v že pripravljeni iskalni bazi podatkov.
Yandex pripravlja odgovor
Postopek obdelave zahtevka in izdaje ustreznih odgovorov vodi računalniški sistem "Metasearch" . Za svoje delo najprej zbere vse vhodne informacije: iz katere regije je bila zahteva vložena, v kateri razred spada, ali so v zahtevi napake itd. Po takšni obdelavi metaiskanje preveri, ali so v bazi popolnoma enake poizvedbe z enakimi parametri. Če je odgovor pritrdilen, potem sistem uporabniku prikaže predhodno shranjene rezultate. Če takšno vprašanje v bazi podatkov ne obstaja, metaiskanje naslovi iskalno bazo podatkov, ki vsebuje podatke indeksa.
In tukaj se dogajajo neverjetne stvari. Predstavljajte si, da obstaja en super zmogljiv računalnik, ki hrani celoten internet, ki ga obdelajo iskalni roboti. Uporabnik postavi poizvedbo in v pomnilniških celicah se začne iskanje vseh dokumentov, ki so vključeni v poizvedbo. Odgovor je bil najden in vsi so zadovoljni. Toda vzemimo drug primer, ko je v telesu veliko zahtev, ki vsebujejo iste besede. Sistem mora vsakič iti skozi iste pomnilniške celice, kar lahko znatno podaljša čas obdelave podatkov. Skladno s tem se čas poveča, kar lahko povzroči izgubo uporabnika - za pomoč se bo obrnil na drug iskalnik.
Da bi se izognili takšnim zamudam, so vse kopije v indeksu mesta razdeljene po različnih računalnikih. Po prenosu zahteve metaiskanje tem strežnikom ukaže, naj poiščejo njihov del besedila. Nato se vsi podatki iz teh strojev vrnejo v centralni računalnik, ki združi vse dobljene rezultate in uporabniku poda deset najboljših odgovorov. S to tehnologijo sta ubiti dve muhi naenkrat: čas iskanja se večkrat skrajša (odgovor dobimo v delčku sekunde) in zaradi povečanja števila platform se informacije podvojijo (podatki se ne izgubijo zaradi nenadnih okvar) . Sami računalniki s podvojenimi informacijami sestavljajo podatkovni center - to je soba s strežniki.
Ko uporabnik iskalnika postavi poizvedbo, 20-krat od 100, so cilji v vprašanju dvoumni. Na primer, če v iskalno vrstico napiše besedo "Napoleon", potem še ni znano, kakšen odgovor pričakuje - recept za torto ali biografijo velikega poveljnika. Ali izraz "Bratje Grimm" - pravljice, filmi, glasbena skupina. Za zožitev takšnega možnega obsega ciljev na specifične odgovore ima Yandex posebno tehnologijo Razpon. Upošteva potrebe uporabnikov z uporabo statistike iskalnih poizvedb. Med vsemi vprašanji, ki jih v Yandexu postavljajo obiskovalci, Spectrum identificira različne predmete v njih (imena ljudi, naslove knjig, modele avtomobilov itd.). Ti predmeti so razdeljeni v določene kategorije. Trenutno obstaja več kot 60 takih kategorij. Z njihovo pomočjo ima iskalnik v svoji bazi podatkov različne pomene besed v uporabniških poizvedbah. Zanimivo je, da se te kategorije redno preverjajo (analiza poteka nekajkrat na teden), kar Yandexu omogoča natančnejše odgovore na zastavljena vprašanja.
Na podlagi tehnologije Spectrum je Yandex organiziral pogovorna okna. Pojavijo se pod iskalno vrstico, v katero uporabnik vnese svojo dvoumno poizvedbo. Ta vrstica odraža kategorije, ki jim lahko pripada predmet vprašanja. Nadaljnji rezultati iskanja so odvisni od uporabnikove izbire te kategorije.
Od 15 do 30% vseh uporabnikov iskalnika Yandex želi prejemati samo lokalne informacije (podatke iz regije, v kateri živijo). Na primer o novih filmih v kinematografih v vašem mestu. Zato bi moral biti odgovor na tako zahtevo za vsako regijo drugačen. V zvezi s tem Yandex uporablja svojo tehnologijo iskanje po regijah
. Na primer, to so odgovori, ki jih lahko prejmejo stanovalci, ki iščejo repertoar filmov v svojem kinu Oktyabr:
Toda to je rezultat, ki ga bodo prejeli prebivalci mesta Stavropol za isto zahtevo:
Regijo uporabnika določa predvsem njegov naslov IP. Včasih ti podatki niso točni, saj lahko več ponudnikov deluje v več regijah hkrati in zato spreminjajo IP naslove svojih uporabnikov. Načeloma velja, da če se vam to zgodi, lahko enostavno spremenite regijo v nastavitvah v iskalniku. Naveden je v zgornjem desnem kotu strani z rezultati. Lahko ga spremeniš.
Iskalnik Yandex ru - rezultati odziva
Ko Metasearch pripravi odgovor, ga mora iskalnik Yandex prikazati na strani z rezultati. To je seznam povezav do najdenih dokumentov z nekaj informacijami o vsakem. Naloga tehnologije za izdajo rezultatov je, da uporabniku ponudi najbolj relevantne odgovore na najbolj informativen način. Predloga za eno takšno povezavo izgleda takole:
Oglejmo si to obliko rezultata podrobneje. Za naslov rezultata iskanja Yandex pogosto uporablja ime naslova strani (kar optimizatorji zapišejo v naslovno oznako). Če ga ni, se tukaj prikažejo besede iz naslova članka ali objave. Če je besedilo naslova veliko, iskalnik v to polje postavi fragment, ki najbolj ustreza dani poizvedbi.
Zelo redko, vendar se zgodi, da se naslov ne ujema z vsebino zahteve. V tem primeru Yandex oblikuje naslov rezultata iskanja z uporabo besedila v članku ali objavi. Zagotovo bo vseboval poizvedbene besede.
Za delček iskalnik uporabi celotno besedilo na strani. Izbere vse fragmente, kjer je prisoten odgovor na poizvedbo, nato pa izbere najbolj ustreznega in v polje obrazca vstavi povezave do dokumenta. Zahvaljujoč temu pristopu ga lahko kompetentni optimizator po ogledu delčka predela in s tem izboljša privlačnost povezave.
Za boljše zaznavanje rezultata uporabnikove zahteve so naslovi oblikovani kot povezave v besedilu (označeno modro s podčrtajem). Da bi bil spletni vir privlačen in prepoznaven, je dodan favicon - majhna korporativna ikona spletnega mesta. Pojavi se levo od besedila v prvi vrstici pred naslovom. Vse besede, ki so bile vključene v zahtevo, so v odgovoru zaradi lažjega dojemanja označene tudi s krepkim tiskom.
Iskalnik Yandex v zadnjem času delčku dodaja različne informacije, ki bodo uporabniku pomagale še hitreje in natančneje najti svoj odgovor. Na primer, če uporabnik v svoji zahtevi napiše ime organizacije, bo Yandex v delček dodal njen naslov, kontaktne številke in povezavo do lokacije na geografskih zemljevidih. Če iskalnik pozna strukturo strani, ki vsebuje dokument z odgovorom za uporabnika, ga bo zagotovo prikazal. Poleg tega lahko Yandex takoj doda najbolj obiskane strani takšnega spletnega vira v delček, tako da lahko obiskovalec po želji takoj odpre razdelek, ki ga potrebuje, in prihrani čas.
Obstajajo izrezki, ki vsebujejo ceno izdelka za spletno trgovino, oceno hotela ali restavracije v obliki zvezdic in druge zanimive informacije z različnimi številkami o predmetih v iskalnih dokumentih. Namen takih informacij je zagotoviti popoln seznam podatkov o tistih predmetih ali predmetih, ki so zanimivi za uporabnika.
Na splošno bo z različnimi primeri stran z odgovori videti takole:
Razvrstitev in ocenjevalci
Naloga Yandexa ne vključuje le iskanja vseh možnih odgovorov, ampak tudi izbiro najboljših (ustreznih). Navsezadnje uporabnik ne bo brskal po vseh povezavah, ki mu jih bo Yandex ponudil kot rezultat iskanja. Postopek organiziranja rezultatov iskanja se imenuje uvrstitev . To pomeni, da je razvrstitev tista, ki določa kakovost predlaganih odgovorov.
Obstajajo pravila, po katerih Yandex določa ustrezne strani:
- Spletna mesta, ki poslabšajo kakovost iskanja, bodo znižana na položajih na strani z rezultati. Običajno so to spletni viri, katerih lastniki poskušajo prevarati iskalnik. To so na primer spletna mesta s stranmi, ki vsebujejo nesmiselno ali nevidno besedilo. Seveda je viden in razumljiv iskalnemu robotu, ne pa tudi obiskovalcu, ki bere ta dokument. Ali spletna mesta, ki ob kliku na povezavo v območju z rezultati iskanja uporabnika takoj preusmerijo na povsem drugo spletno mesto.
- Spletna mesta z erotično vsebino niso vključena v rezultate ali pa imajo močno znižano uvrstitev. To je posledica dejstva, da takšni spletni viri pogosto uporabljajo agresivne metode promocije.
- Spletna mesta, okužena z virusi, niso znižana v rezultatih iskanja in niso izključena iz rezultatov iskanja - v tem primeru je uporabnik obveščen o nevarnosti s posebno ikono. To je posledica dejstva, da Yandex predvideva, da lahko takšni spletni viri vsebujejo pomembne dokumente na zahtevo obiskovalca iskalnika.
Na primer, tako bo Yandex razvrstil spletna mesta za poizvedbo "jabolko":
Poleg faktorjev razvrščanja Yandex uporablja posebne vzorce s poizvedbami in odgovori, ki se uporabnikom iskalnikov zdijo najprimernejši. Noben stroj trenutno ne more narediti takšnih vzorcev - to je pravica človeka. V Yandexu se takšni strokovnjaki imenujejo ocenjevalci. Njihova naloga je popolna analiza vseh iskalnih dokumentov in ovrednotenje odgovorov na določene poizvedbe. Izberejo najboljše odgovore in sestavijo poseben trening. V njej iskalnik vidi razmerje med ustreznimi stranmi in njihovimi lastnostmi. Ob takšnih informacijah lahko Yandex izbere optimalno formulo za razvrščanje za vsako zahtevo. Metoda za izdelavo takšne formule se imenuje Matrixnet. Prednost tega sistema je, da je odporen na prekomerno opremljanje, kar vam omogoča, da upoštevate veliko število faktorjev rangiranja brez povečanja števila nepotrebnih ocen in vzorcev.
Na koncu svoje objave vam želim pokazati zanimivo statistiko, ki jo je zbral iskalnik Yandex v procesu svojega dela.
1. Priljubljenost osebnih imen v Rusiji in ruskih mestih (podatki povzeti iz računov blogerjev in uporabnikov socialnih omrežij marca 2012).
Leta 1863 je veliki pisatelj Jules Verne ustvaril svojo naslednjo knjigo, "Pariz v 20. stoletju." V njem je podrobno opisal podzemno železnico, avto, električni stol, računalnik in celo internet. Vendar je založnik zavrnil natis knjige in tam je ležala več kot 120 let, dokler je leta 1989 ni našel pravnuk Julesa Verna. Knjiga je izšla leta 1994.
