Vyhledávač Yandex, co je nového. Yandex - co je Yandex a proč se nazývá Yandex. Složení a principy fungování vyhledávacího systému
Dlouho se staly nedílnou součástí ruského internetu. Vyhledávače jsou dnes obrovské a složité mechanismy, které představují nejen nástroj pro vyhledávání informací, ale také lákavé oblasti pro podnikání.
Většina uživatelů vyhledávačů nikdy nepřemýšlela (nebo o tom nepřemýšlela, ale nenašla odpověď) o principu fungování vyhledávačů, o schématu zpracování uživatelských požadavků, o tom, z čeho se tyto systémy skládají a jak fungují...
Tato hlavní třída je navržena tak, aby odpověděla na otázku, jak fungují vyhledávače. Nenajdete zde však faktory, které ovlivňují pořadí dokumentů. Kromě toho byste neměli počítat s podrobným vysvětlením algoritmu Yandex. Podle Ilji Segaloviče, ředitele technologie a vývoje vyhledávače Yandex, může být rozpoznán pouze „na mučení“ samotným Ilyou Segalovičem...
2. Pojem a funkce vyhledávače
Vyhledávací systém je softwarový a hardwarový komplex určený k prohledávání internetu a odpovídání na požadavek uživatele, specifikovaný ve formě textové fráze (vyhledávací dotaz), vytvořením seznamu odkazů na zdroje informací v pořadí podle relevance ( v souladu s žádostí). Největší mezinárodní vyhledávače: "Google", Yahoo , MSN . Na ruském internetu jsou to Yandex, Rambler, Aport.
Podívejme se blíže na koncept vyhledávacího dotazu pomocí vyhledávače Yandex jako příkladu. Vyhledávací dotaz by měl uživatel formulovat v souladu s tím, co chce najít, co nejstručněji a nejjednodušeji. Řekněme, že chceme v Yandexu najít informace o tom, jak vybrat auto. Chcete-li to provést, otevřete hlavní stránku Yandex a zadejte text vyhledávacího dotazu „jak si vybrat auto“. Dále je naším úkolem otevřít odkazy poskytnuté na naši žádost na zdroje informací na internetu. Je však dost možné, že potřebné informace nenajdeme. Pokud k tomu dojde, pak buď musíte svůj požadavek přeformulovat, nebo databáze vyhledávačů skutečně nemá k našemu požadavku žádné relevantní informace (to se může stát při velmi „úzkých“ dotazech, jako např. „jak si vybrat auto v Archangelsku“)
Primárním cílem každého vyhledávače je doručit lidem přesně ty informace, které hledají. A naučit uživatele zadávat „správné“ požadavky do systému, tzn. dotazy, které jsou v souladu s principy fungování vyhledávačů, jsou nemožné. Vývojáři proto vytvářejí algoritmy a provozní principy pro vyhledávače, které uživatelům umožní najít informace, které hledají.
To znamená, že vyhledávač musí „myslet“ stejně jako uživatel při vyhledávání informací. Když uživatel zadá požadavek do vyhledávače, chce co nejrychleji a nejsnáze najít to, co potřebuje. Po obdržení výsledku vyhodnotí výkon systému podle několika základních parametrů. Našel, co hledal? Pokud to nenašel, kolikrát musel dotaz přeformulovat, aby našel, co hledal? Kolik relevantních informací mohl najít? Jak rychle vyhledávač zpracoval dotaz? Jak pohodlné byly zobrazeny výsledky vyhledávání? Byl výsledek, který jste hledali, první nebo stý? Kolik zbytečných odpadků bylo nalezeno spolu s užitečnými informacemi? Budou potřebné informace nalezeny při přístupu do vyhledávače řekněme za týden nebo za měsíc?
Aby vývojáři vyhledávačů uspokojili všechny tyto otázky odpověďmi, neustále vylepšují vyhledávací algoritmy a principy, přidávají nové funkce a schopnosti a snaží se všemi možnými způsoby urychlit provoz systému.
3. Hlavní vlastnosti vyhledávače
Pojďme si popsat hlavní vlastnosti vyhledávačů:
- Úplnost
Úplnost je jednou z hlavních charakteristik vyhledávacího systému, což je poměr počtu dokumentů nalezených žádostí k celkovému počtu dokumentů na internetu, které danou žádost splňují. Pokud je například na internetu 100 stránek obsahujících frázi „jak si vybrat auto“ a pro odpovídající dotaz bylo nalezeno pouze 60 z nich, bude úplnost vyhledávání 0,6. Je zřejmé, že čím je vyhledávání úplnější, tím je menší pravděpodobnost, že uživatel nenajde požadovaný dokument, za předpokladu, že na internetu vůbec existuje.
- Přesnost
Přesnost je další hlavní charakteristikou vyhledávače, která je dána mírou, do jaké se nalezené dokumenty shodují s dotazem uživatele. Pokud například dotaz „jak vybrat auto“ obsahuje 100 dokumentů, 50 z nich obsahuje frázi „jak si vybrat auto“ a zbytek jednoduše obsahuje tato slova („jak vybrat správné rádio a nainstalovat jej do auto“), pak se přesnost vyhledávání považuje za rovnou 50/100 (=0,5). Čím přesnější je vyhledávání, tím rychleji uživatel najde potřebné dokumenty, tím méně různých druhů „odpadků“ mezi nimi najde, tím méně často nalezené dokumenty nebudou odpovídat požadavku.
- Relevantnost
Neméně důležitou složkou vyhledávání je relevance, která je charakterizována dobou, která uplyne od okamžiku zveřejnění dokumentů na internetu do jejich zadání do indexové databáze vyhledávačů. Například den poté, co se objevily zajímavé zprávy, se velké množství uživatelů obrátilo na vyhledávače s relevantními dotazy. Objektivně neuplynul ani den od zveřejnění zpravodajských informací na toto téma, ale hlavní dokumenty již byly indexovány a dostupné k vyhledávání, a to díky existenci tzv. „rychlé databáze“ velkých vyhledávačů, které je aktualizován několikrát denně.
- Rychlost vyhledávání
Rychlost vyhledávání úzce souvisí s jeho odolností vůči zátěži. Například podle Rambler Internet Holding LLC dnes během pracovní doby vyhledávač Rambler přijímá asi 60 požadavků za sekundu. Taková pracovní zátěž vyžaduje zkrácení doby zpracování jednotlivého požadavku. Zde se zájmy uživatele a vyhledávače shodují: návštěvník chce získat výsledky co nejrychleji a vyhledávač musí požadavek zpracovat co nejrychleji, aby nezpomaloval výpočet následných dotazů.
- Viditelnost
4. Stručná historie vývoje vyhledávačů
V počátečním období rozvoje internetu byl počet jeho uživatelů malý a množství dostupných informací relativně malé. Přístup k internetu měli většinou pouze výzkumní pracovníci. V této době nebylo hledání informací na internetu tak naléhavé jako nyní.
Jedním z prvních způsobů, jak organizovat přístup k síťovým informačním zdrojům, bylo vytvoření otevřených adresářů stránek, odkazů na zdroje, ve kterých byly seskupeny podle tématu. Prvním takovým projektem byl web Yahoo.com, který byl otevřen na jaře roku 1994. Poté, co se výrazně zvýšil počet stránek v katalogu, přibyla možnost vyhledávat potřebné informace v katalogu. V plném smyslu to ještě nebyl vyhledávač, protože oblast vyhledávání byla omezena pouze na zdroje v katalogu a ne na všechny internetové zdroje.
Adresáře odkazů byly v minulosti široce používány, ale v současnosti téměř úplně ztratily svou popularitu. Protože i moderní katalogy, které mají obrovský objem, obsahují informace pouze o zanedbatelné části internetu. Největší adresář sítě DMOZ (nazývaný také Open Directory Project) obsahuje informace o 5 milionech zdrojů, zatímco databázi vyhledávače Google tvoří více než 8 miliard dokumentů.
V roce 1995 se objevily vyhledávače Lycos a AltaVista. Poslední jmenovaný je již řadu let lídrem v oblasti vyhledávání informací na internetu.
V roce 1997 vytvořili Sergey Brin a Larry Page vyhledávač Google jako součást výzkumného projektu na Stanfordské univerzitě. Google je v současnosti nejpopulárnější vyhledávač na světě!
V září 1997 byl oficiálně oznámen vyhledávač Yandex, který je nejpopulárnější na ruskojazyčném internetu.
V současné době existují tři hlavní vyhledávače (mezinárodní) – Google, Yahoo a, které mají své vlastní databáze a vyhledávací algoritmy. Většina ostatních vyhledávačů (kterých je velké množství) používá v té či oné podobě výsledky ze tří uvedených. Například vyhledávání AOL (search.aol.com) používá databázi Google, zatímco AltaVista, Lycos a AllTheWeb používají databázi Yahoo.
5. Složení a principy fungování vyhledávacího systému
V Rusku je hlavním vyhledávačem Yandex, následovaný Rambler.ru, Google.ru, Aport.ru, Mail.ru. V současné době navíc Mail.ru používá vyhledávač a databázi Yandex.
Téměř všechny velké vyhledávače mají svou vlastní strukturu, odlišnou od ostatních. Je však možné identifikovat hlavní součásti společné všem vyhledávačům. Rozdíly ve struktuře mohou být pouze ve formě implementace mechanismů interakce těchto složek.
Indexovací modul
Indexovací modul se skládá ze tří pomocných programů (robotů):
Spider je program určený ke stahování webových stránek. Pavouk stáhne stránku a načte z ní všechny interní odkazy. Stáhne se html kód každé stránky. Roboti používají ke stahování stránek protokoly HTTP. Pavouk funguje následovně. Robot odešle na server požadavek „get/path/document“ a některé další příkazy HTTP požadavku. V reakci na to robot obdrží textový proud obsahující servisní informace a samotný dokument.
- URL stránky
- datum stažení stránky
- HTTP hlavička odpovědi serveru
- tělo stránky (html kód)
Crawler („cestující“ pavouk) je program, který automaticky sleduje všechny odkazy nalezené na stránce. Vybere všechny odkazy na stránce. Jeho úkolem je určit, kam má pavouk jít dál, na základě odkazů nebo na základě předem určeného seznamu adres. Crawler podle nalezených odkazů vyhledává nové dokumenty, které vyhledávač dosud nezná.
Indexer (robot indexer) je program, který analyzuje webové stránky stažené pavouky. Indexátor analyzuje stránku na jednotlivé části a analyzuje je pomocí vlastních lexikálních a morfologických algoritmů. Analyzují se různé prvky stránky, jako je text, nadpisy, odkazy, strukturální a stylové prvky, speciální servisní HTML tagy atd.
Modul indexování vám tedy umožňuje procházet danou sadu zdrojů pomocí odkazů, stahovat nalezené stránky, extrahovat odkazy na nové stránky z přijatých dokumentů a provádět kompletní analýzu těchto dokumentů.
Databáze
Databáze nebo index vyhledávače je systém ukládání dat, informační pole, ve kterém jsou uloženy speciálně převedené parametry všech dokumentů stažených a zpracovaných indexovacím modulem.
Vyhledávací server
Vyhledávací server je nejdůležitějším prvkem celého systému, protože kvalita a rychlost vyhledávání přímo závisí na algoritmech, které jsou základem jeho fungování.
Vyhledávací server funguje následovně:
- Požadavek přijatý od uživatele je podroben morfologické analýze. Pro každý dokument obsažený v databázi se vygeneruje informační prostředí (které se následně zobrazí ve formě, tedy textové informace odpovídající požadavku na stránce s výsledky vyhledávání).
- Přijatá data jsou předávána jako vstupní parametry speciálnímu hodnotícímu modulu. Data jsou zpracovávána pro všechny dokumenty, v důsledku čehož má každý dokument své vlastní hodnocení, které charakterizuje relevanci dotazu zadaného uživatelem a různé součásti tohoto dokumentu uložené v indexu vyhledávače.
- V závislosti na volbě uživatele může být toto hodnocení upraveno dalšími podmínkami (například tzv. „pokročilé vyhledávání“).
- Dále se vygeneruje úryvek, to znamená pro každý nalezený dokument se z tabulky dokumentu extrahuje název, krátký abstrakt, který nejlépe odpovídá dotazu, a odkaz na samotný dokument a nalezená slova se zvýrazní.
- Výsledné výsledky vyhledávání jsou uživateli předány ve formě SERP (Search Engine Result Page) – stránky s výsledky vyhledávání.
Jak vidíte, všechny tyto komponenty spolu úzce souvisejí a fungují v interakci a tvoří jasný, poměrně složitý mechanismus pro fungování vyhledávacího systému, který vyžaduje obrovské množství zdrojů.
6. Závěr
Nyní si shrňme vše výše uvedené.
- Primárním cílem každého vyhledávače je doručit lidem přesně ty informace, které hledají.
- Hlavní vlastnosti vyhledávačů:
- Úplnost
- Přesnost
- Relevantnost
- Rychlost vyhledávání
- Viditelnost
- Prvním plnohodnotným vyhledávačem byl projekt WebCrawler, publikovaný v roce 1994.
- Vyhledávací systém obsahuje následující součásti:
- Indexovací modul
- Databáze
- Vyhledávací server
Doufáme, že naše mistrovská třída vám umožní lépe se seznámit s konceptem vyhledávače a lépe porozumět hlavním funkcím, vlastnostem a principům fungování vyhledávačů.
Dobrý den drazí přátelé! V tomto článku se budeme i nadále dívat na vyhledávač Yandex, a jak si pamatujete, v předchozích článcích jsme diskutovali o historii vytvoření této skvělé společnosti, která je na prvním místě mezi svými konkurenty v Rusku i mimo něj.
To vše je dobré, ale začátečníky i zkušené tvůrce stránek zajímá ta nejdůležitější otázka, samozřejmě související s tím, jak dostat své projekty na první místa v TOP výsledcích vyhledávání.
Proto se podívejme, jak funguje vyhledávač Yandex, abychom pochopili, na jaké chyby můžete šlápnout a co od ruského vyhledávače obecně očekávat.
V minulém článku jsme diskutovali. Téma se ukázalo jako docela zajímavé a užitečné. Proto jsem se rozhodl ji takříkajíc doplnit, prohloubit.
Asi jsem se tedy nechal trochu unést otázkou „Proč vyhledávač indexuje dokumenty“? Je to bez přemýšlení. Zbývá jen vyřešit otázku „jak“.
Algoritmy hodnocení webových stránek
Nejprve se seznámíme s některými algoritmy, které jsou zásadní pro jakýkoli vyhledávač:
— Algoritmus přímého vyhledávání.
Co to je - vzpomínáte si, že jste četli nádherný příběh v jedné z knih. A začnete hledat jeden po druhém. Vzali jednu knihu, prohlédli ji, nenašli, vzali jinou... Princip je jasný, ale tato metoda je extrémně dlouhá. To je také pochopitelné.
— Algoritmus zpětného vyhledávání.
Pro tento algoritmus se z každé stránky vašeho blogu vytvoří textový soubor. Tento soubor uvádí v abecedním pořadí VŠECHNA slova, která jste použili. I poloha tohoto slova v textu je uvedena (souřadnice v textu).
Jedná se o poměrně rychlou metodu, ale vyhledávání již probíhá s nějakou chybou.
Hlavní věc, kterou je zde třeba pochopit, je, že tento algoritmus nevyhledává na internetu, nikoli na blogu. A to v samostatném textovém souboru, který vznikl už dávno. Když k vám přišel robot. A tyto soubory (reverzní indexy) jsou uloženy na serverech Yandex.
Takže to byly základní vyhledávací algoritmy. Tito. jak Yandex jednoduše najde potřebné dokumenty. Zdá se, že by s tím neměly být žádné problémy.
Yandex ale zná více než jeden nebo dokonce 100 dokumentů, ale podle posledních údajů z mých zdrojů zná Yandex asi 11 miliard dokumentů (10 727 736 489 stránek).
A mezi vším tím množstvím musíte vybrat dokumenty, které odpovídají požadavku. A co je důležitější, musíte je nějak seřadit. Tito. seřadit podle míry důležitosti, respektive podle míry užitečnosti pro čtenáře.
Matematické vyhledávací modely
K vyřešení tohoto problému přicházejí na pomoc matematické modely. Nyní budeme mluvit o nejjednodušších modelech.
Booleovský matematický model– Pokud se v dokumentu objeví slovo, považuje se dokument za nalezený. Prostě náhoda a nic složitého.
Ale jsou zde problémy. Pokud například jako uživatel zadáte nějaké oblíbené slovo nebo ještě lépe předložku „v“, což je nejběžnější slovo v ruském jazyce a nachází se v KAŽDÉM dokumentu, dostanete tolik výsledků že si takové číslo ani neuvědomujete, Kolik dokumentů jste našel? Proto se objevil následující model rohože.
Vektorový matematický model– tento model určuje „váhu“ dokumentu. Nejen, že se náhoda vyskytuje, ale slovo se musí vyskytovat vícekrát. Navíc, čím více se slovo objevuje, tím vyšší je jeho relevance (shoda).
Je to vektorový model, který používají VŠECHNY vyhledávače.
Pravděpodobnostní model– složitější. Princip je tento: vyhledávač našel šablonu stránky sám. Například hledáte informace o historii Yandexu. Yandex ukládá nějaký standard, řekněme, že toto bude můj předchozí článek o Yandexu.
A všechny ostatní dokumenty porovná s tímto článkem. A logika je zde tato: čím více je vaše blogová stránka podobná mému článku, tím VĚTŠÍ PRAVDĚPODOBNOST je skutečnost, že vaše stránka blogu bude také užitečná pro čtenáře a také vypráví o historii Yandexu.
Pro snížení počtu dokumentů, které je potřeba uživateli ukázat, byl zaveden koncept relevance, tzn. dodržování.
Jak relevantní je vaše stránka blogu k tématu? Toto je důležité téma, pokud jde o kvalitu vyhledávání.
Hodnotitelé – kdo jsou a za co zodpovídají?
Tato relevance je také potřebná pro posouzení kvality algoritmů.
K tomuto účelu je zde velitelství speciálních sil – říká se jim Assessors. Jsou to zvláštní lidé, kteří prohlížejí výsledky vyhledávání rukama.
Mají návod, jak stránky kontrolovat, jak hodnotit atd. A ručně určují, zda jsou vaše stránky vhodné pro vyhledávací dotazy či nikoli.
A kvalita vyhledávacích algoritmů závisí na názoru hodnotitelů. Pokud všichni hodnotitelé tvrdí, že výsledky vyhledávání neodpovídají požadavkům, znamená to, že algoritmus hodnocení je nesprávný a na vině je pouze Yandex.
Pokud hodnotitelé řeknou, že pouze jedna stránka nevyhovuje požadavku, znamená to, že stránka letí někam daleko a je ve výsledcích vyhledávání snížena. Přesněji řečeno, ne celý web, ale pouze jeden článek, ale o to „nejde“.
Hodnotitelé samozřejmě nemohou kontrolovat a hodnotit VŠECHNY články rukama a očima. To je pochopitelné.
A na pomoc přicházejí další parametry, podle kterých jsou stránky seřazeny.
Je jich hodně, např.
- váha stránky (vIC, PageRank, dětské hrbolky Celkově vzato);
- doménová autorita;
- relevance textu k žádosti;
- relevance textů externích odkazů k dotazu;
- stejně jako mnoho dalších hodnotících faktorů.
Hodnotitelé přidávají komentáře a lidé, kteří jsou zodpovědní za nastavení matematického hodnotícího modelu, zase upravují vzorec, v důsledku čehož vyhledávač funguje efektivněji.
Hlavní kritéria pro hodnocení výkonnosti formule:
1. Přesnost výsledků vyhledávače- procento dokumentů, které odpovídají požadavku (relevantní). Tito. Čím méně stránek neodpovídá požadavku, tím lépe.
2. Úplnost výsledků vyhledávače- jedná se o poměr relevantních webových stránek pro daný dotaz k celkovému počtu relevantních dokumentů ve sbírce (celkový počet stránek nalezených ve vyhledávači).
Pokud je například v celé kolekci více relevantních stránek než ve výsledcích vyhledávání, znamená to, že výsledky nejsou úplné. Stalo se to proto, že některé relevantní webové stránky byly filtrovány.
3. Relevance výsledků vyhledávače- to je soulad webové stránky s tím, co je napsáno v úryvku. Dokument může být například velmi odlišný nebo vůbec neexistuje, ale přesto může být přítomen ve výsledcích vyhledávání.
Relevance výsledků vyhledávání přímo závisí na tom, jak často vyhledávací robot skenuje dokumenty ze své sbírky.
Sběr kolekce (indexování stránek webu) provádí speciální program - vyhledávací robot.
Vyhledávací robot obdrží seznam adres pro indexování, zkopíruje je a poté odešle obsah zkopírovaných webových stránek ke zpracování do algoritmu, který je převede na reverzní indexy.
No, takříkajíc „ve zkratce“ jsme diskutovali o principech vyhledávače.
Pojďme si to shrnout:
- Na váš blog přijde vyhledávací robot.
- Vyhledávací robot ukládá zpětný index stránky pro další vyhledávání.
- Pomocí matematického modelu je dokument zpracován a zobrazen ve výsledcích vyhledávání pomocí vzorců a s přihlédnutím k názoru posuzovatele.
To je velmi, velmi zjednodušené. Jen pro základní pochopení toho, jak funguje vyhledávač Yandex.
Napsal jsem teď tolik textu a možná toho tolik není jasné. Proto vám doporučuji vrátit se k tomuto článku o něco později a podívat se na toto video.
Je to výborný průvodce, od kterého jsem se svého času také učil.
Doufám, že vám tyto informace pomohou lépe porozumět tomu, proč jeden z vašich webů zaujímá vhodné pozice ve vyhledávání, a uděláte vše pro jejich zlepšení.
Tímto se s vámi loučím, pokud máte nějaké dotazy, vždy je rád zodpovím v komentářích. Nebo chcete článek doplnit?
V každém případě vyjádřete svůj názor. !
Nejsme tak jedineční, jak si myslíme: miliony lidí před námi a miliony po nás budou zmatkovat vyhledávač téměř stejnými otázkami. Na druhou stranu jsme příliš nepředvídatelní: formulaci naší žádosti ovlivňuje obrovské množství faktorů, které si neuvědomujeme. A přinejmenším z tohoto důvodu vyžaduje požadavek každého z nás, jakkoli banální, individuální přístup.
Ve skutečnosti celá práce vyhledávače Yandex spočívá ve dvou jednoduchých věcech: porozumět tomu, co člověk skutečně chce vědět, a během několika sekund najít vhodné mezi miliardami dokumentů na internetu.
Odeberte otisky prstů
Operační systém vyhledávače je trochu podobný Matrixu a vyhledávací robot (složitý, nezávisle rozhodovací program, který vytvořil) je podobný Agentu Smithovi.
Abychom neprohledávali celý internet pokaždé, když se někdo potřebuje něco dozvědět, udělá vyhledávač část práce předem – pomocí tisíců vyhledávacích robotů zkontroluje, co na webu je a kde je. Jsou ve dvou typech: základní a rychlé. Hlavní prochází a zpracovává internet jako celek a ten rychlý - dokumenty, které se objevily před minutou nebo dokonce před několika sekundami. Úkolem robotických programů je vybrat vhodné a užitečné informace pro uživatele, zpracovat je, odstranit vše zastaralé a nepotřebné. V některých ohledech to připomíná třídění odpadků: papír v jednom kontejneru, sklo ve druhém, plast ve třetím, potravinový odpad ve čtvrtém...
Informace shromážděné roboty tvoří takzvané internetové obsazení. Je uložen na tisících serverů Yandex a je neustále aktualizován. Nugget je jako seznam, který vám říká, kde najdete jaké informace. V tomto seznamu nemá každé klíčové slovo jednu, ale miliony „stránek“. Aby bylo zajištěno, že všechny aktualizace nugetů budou uživatelům dostupné, přesunou se z úložiště do „základního vyhledávání“. Data z hlavního robota se přenášejí každých několik dní az rychlého robota - v reálném čase.
Přiveďte do čisté vody
 ILUSTRACE: EVGENY TONKONOGY |
Při hledání odpovědi na danou otázku v připravené databázi se stroj potýká se dvěma hlavními potížemi. První problém je jazyk. Před hledáním odpovědi na otázku je důležité, aby stroj pochopil, v jakém jazyce to má dělat. Například pro rusky mluvícího člověka se při hledání „čata knížete Igora“ najdou dokumenty s informacemi o armádě a pro Ukrajince „četka knížete Igora“ také vrátí dokumenty zmiňující princeznu Olgu, jeho manželku, od r. v ukrajinštině „manželka“ je „komando“. A v bohatém ruském jazyce může stejné slovo nebo jeho odvozeniny znamenat různé věci. Například slovo „ocel“ je jednou z forem podstatného jména „ocel“ a slovesa „stát se“. Druhým problémem je lidská psychologie. Při zadávání požadavku očekáváme rychlou a přesnou odpověď, aniž bychom si přirozeně dělali starosti, zda formulace požadavku odpovídá principům matematické analýzy, podle které pracuje mozek stroje. Co chce člověk například zadáním slova „Napoleon“ do vyhledávacího pole získat: recept na dort nebo biografii francouzského císaře, koupit si koňak nebo najít adresu psychiatrické léčebny?
 |
V takových situacích vstupuje do hry několik technologií. Pod vyhledávací lištou vám můžete poskytnout několik tipů, které upřesní váš požadavek. Jako, vyberte si, co potřebujete: Napoleon recepty nebo Napoleon - Bonaparte. Pokud uživatel nereaguje na požadavek stroje a nepřidává slova k „Napoleon“, pak technologie „Spectrum“ pomáhá věci: bez naděje na pomoc stroj okamžitě vyhledává informace v několika kategoriích (o dortu, a o císaři a o koni) ...). Kromě toho mechanismy personalizace pomáhají porozumět uživateli – znalost stroje o tom, co tento uživatel hledal na svém počítači před dnem, dvěma, třemi nebo měsíci: pokud jste často položili Yandexu otázky týkající se vaření, stroj nejprve zobrazí vaše výsledky říkají, že Napoleon je dort.
Kombinace: zájmové kluby
Úkolem vyhledávače není pouze vybrat dokumenty, které obsahují slova a fráze z vyhledávacího dotazu. Stroj musí pochopit, které dokumenty splňují naše protichůdné požadavky a proč je splňují. Chceme získat informace o dortu Napoleona, nebo jsme možná pár let navštěvovali fitness klub s honosným názvem, nebo nás dokonce úplně znepokojují komplexy malých lidí. V každém případě řešení problému vyžaduje netriviální přístup.
 |
Tvůrci vyhledávacího programu Yandex našli tento přístup tím, že delegovali právo volby na stroj. Jednak bezduchý, ale velmi rychlý a chytrý stroj o nás jako jednotlivcích nic neví a nechce vědět a jednak se snaží o každém zjistit co nejvíce.
Kromě geografické polohy uživatele a lingvistické analýzy jeho dotazů využívá vyhledávač několik tisíc kritérií, která pro člověka nejsou vůbec zřejmá.
Trik je v tom, že stroj tato kritéria vyvíjí a aktualizuje nezávisle.
Jednoduše používá data o preferencích a uživatelském chování milionů lidí a dává tento „aritmetický průměr“ do souvislosti s historií našich dotazů. Principy, které vedou Matrix uvnitř sebe, srovnávající tisíce kategorií uživatelských zájmů, které vyvinul, často nezapadají do tradičních lidských představ o tom, jaké „zájmy“ v principu mohou být. Jsou jich desítky tisíc. Vytvářejí mezi sebou různé, někdy vtipné, kombinace. Jednou z těchto kombinací může být například to, že výsledky vyhledávání odpovídají zájmům člověka, který chová čolky. Člověk se přitom o čolky jen nezajímá, ale už je chová, ale teprve prvním rokem.
Hodnocení. Pomocné ruce
 |
Matice samozřejmě sama rozhoduje (s pomocí vyšší matematiky), co a v jakém pořadí je potřeba uživatelům zobrazit na základě desítek tisíc kritérií. Matrix ale využívá i živé lidi – 1000 zaměstnanců Yandexu, takzvaných hodnotitelů, hodnotí výsledky vyhledávání pro konkrétní požadavek (samozřejmě ne každý požadavek je vyhodnocen, a to se neprovádí v reálném čase), aby zjistili, zda splňují očekávání běžného uživatele: nejsou tak racionální jako stroj, nejsou tak přesné ve formulaci, rozporuplné a emocionální.
Dobré odpoledne, milí čtenáři mého SEO blogu. . Tento článek je o jak funguje vyhledávač Yandex jaké technologie a algoritmy používá k hodnocení stránek a co dělá, aby připravila odpověď uživatelům. Mnoho lidí ví, že tato vlajková loď ruského vyhledávání udává tón v Runetu, vlastní největší databázi v Eurasii, zpracovává obsah více než miliardy stránek a zná odpověď na jakoukoli otázku. Podle dat Liveinternetu za srpen 2012 je podíl Yandexu v Rusku 60,5 %. Měsíční návštěvnost portálu je 48,9 milionů lidí. Pro nás blogery je ale nejdůležitější, jak vyhledávač přijímá naše požadavky, jak je zpracovává a jaký je ve výsledku výsledek. Na jedné straně znalost a pochopení těchto informací nám usnadňuje používání všech zdrojů Yandex; na druhé straně je snazší propagovat naše blogy. Proto navrhuji podívat se se mnou na nejdůležitější technologie nejlepšího vyhledávače Runet.
Když se uživatel internetu chce poprvé obrátit na vyhledávač pro informace, může mít jednu otázku: "Jak funguje vyhledávání?" Ale když ji dostane, tato otázka se často změní na jinou: "Proč tak rychle?" A opravdu, proč hledání souboru na počítači trvá 20 sekund a výsledek požadavku z celé sítě počítačů po celém světě se objeví ve vteřině? Nejzajímavější je, že na první dvě otázky (jak probíhá vyhledávání a proč 1 sekunda) lze odpovědět jednou odpovědí - vyhledávač se předem připravil na požadavek uživatele.
Abychom porozuměli principu fungování Yandexu, stejně jako jiných vyhledávačů, nakreslete analogii s telefonním seznamem. Pro nalezení libovolného telefonního čísla je potřeba znát příjmení účastníka a případné hledání v tomto případě trvá maximálně minutu, protože všechny stránky adresáře jsou souvislý abecední rejstřík. Představte si však, že vyhledávání bylo provedeno pomocí jiné možnosti, kde by byla telefonní čísla seřazena podle samotných čísel. Po takových hledáních, která se budou protahovat delší dobu, zůstanou čísla před očima hledače velmi dlouho. 🙂
Stejně tak vyhledávač zobrazuje všechny informace z internetu ve formě, která mu vyhovuje. A co je nejdůležitější, všechna tato data jsou v jejím adresáři umístěna předem, než dorazí návštěvník se svými požadavky. To znamená, že když položíme Yandexu otázku, už zná naši odpověď. A dá nám to ve vteřině. Ale tato druhá zahrnuje řadu důležitých procesů, které nyní podrobně zvážíme.
Internetové indexování
Yandex ru shromažďuje všechny informace, které může získat na internetu. Pomocí speciálního vybavení se kontroluje veškerý obsah, včetně obrázků na základě vizuálních parametrů. Takovým sběrem se zabývá vyhledávač a proces shromažďování a přípravy dat se nazývá indexování. Základem takového stroje je počítačový systém, kterému se jinak říká vyhledávací robot. Pravidelně prochází indexované stránky, kontroluje na nich nový obsah a také prohledává internet a hledá smazané stránky. Pokud zjistí, že některá taková stránka již neexistuje nebo je uzavřena z indexování, odstraní ji z vyhledávání.
Jak vyhledávací robot najde nové stránky? Za prvé díky odkazům z jiných stránek. Protože pokud je odkaz umístěn na nový webový zdroj z již indexovaného webu, pak při příští návštěvě druhého webu robot navštíví ten první. Za druhé je tu úžasná služba, lidově zvaná „addurlka“ (z anglického výrazu -addurl - přidat adresu). V něm můžete zadat adresu svého nového webu, který po chvíli navštíví vyhledávací robot. Za třetí, pomocí speciálního programu „Yandex.Bar“ jsou sledovány návštěvy uživatelů, kteří jej používají. Pokud tedy člověk přistane na novém webovém zdroji, brzy se tam objeví robot.
Jsou všechny stránky zahrnuty do vyhledávání? Každý den jsou indexovány miliony stránek. Mezi nimi jsou stránky různé kvality, které mohou obsahovat různé informace – od unikátního obsahu až po úplný odpad. Navíc, jak říkají statistiky, na internetu je mnohem více odpadků. Vyhledávací robot analyzuje každý dokument pomocí speciálních algoritmů. Zjistí, zda má nějaké užitečné informace a zda dokáže odpovědět na žádost uživatele. Pokud ne, pak takové stránky nejsou akceptovány jako „kosmonauti“, ale pokud ano, pak jsou zahrnuty do vyhledávání.
Poté, co robot navštívil stránku a určil její užitečnost, objeví se tato stránka v úložišti vyhledávače. Zde analyzujeme jakýkoli dokument až do úplných základů, jak říkají mistři autocentra - až po ozubená kola. Stránka je vyčištěna od html značek, čistý text prochází úplnou inventarizací – vypočítá se umístění každého slova. V této rozložené podobě se stránka promění v tabulku s čísly a písmeny, které se jinak říká rejstřík. Nyní, bez ohledu na to, co se stane s webovým zdrojem, který obsahuje tuto stránku, je jeho nejnovější kopie vždy k dispozici ve vyhledávání. I když stránka již neexistuje, kopie jejích dokumentů jsou nějakou dobu uloženy na internetu.
Každý rejstřík spolu s údaji o typech dokumentů, kódování, jazyce spolu s kopiemi tvoří hledat databázi . Je pravidelně aktualizován, takže je umístěn na speciálních serverech, pomocí kterých jsou zpracovávány požadavky uživatelů vyhledávačů.
Jak často probíhá proces indexování? V první řadě záleží na typech stránek. První typ webového zdroje velmi často mění obsah svých stránek. To znamená, že když vyhledávací robot přijde na tyto stránky pokaždé, obsahují pokaždé jiný obsah. Příště pomocí nich nebudete moci nic najít, takže takové stránky nebudou zahrnuty do indexu. Druhým typem stránek je datový sklad, na jehož stránkách jsou pravidelně přidávány odkazy na dokumenty ke stažení. Obsah takové stránky se obvykle nemění, takže ji robot navštěvuje velmi zřídka. Další stránky závisí na frekvenci aktualizace materiálu. To znamená následující: čím rychleji se na webu objeví nový obsah, tím častěji přichází vyhledávací robot. A prioritu mají jako první nejdůležitější webové zdroje (například zpravodajský web je řádově důležitější než jakýkoli blog).
Indexování umožňuje provádět první funkci vyhledávače – shromažďování informací o nových stránkách na internetu. Yandex má však také druhou funkci - hledání odpovědi na požadavek uživatele v již připravené vyhledávací databázi.
Yandex připravuje odpověď
Proces zpracování požadavku a vydání příslušných odpovědí zajišťuje počítačový systém "Metasearch" . Pro svou práci nejprve shromažďuje všechny vstupní informace: ze kterého regionu byl požadavek podán, do jaké třídy patří, zda jsou v požadavku chyby atd. Po takovém zpracování metasearch zkontroluje, zda jsou v databázi úplně stejné dotazy se stejnými parametry. Pokud je odpověď ano, systém uživateli zobrazí dříve uložené výsledky. Pokud taková otázka v databázi neexistuje, metasearch se zaměří na vyhledávací databázi, která obsahuje data indexu.
A tady se dějí úžasné věci. Představte si, že existuje jeden supervýkonný počítač, ve kterém je uložen celý internet zpracovaný vyhledávacími roboty. Uživatel zadá dotaz a v paměťových buňkách začne hledání všech dokumentů zahrnutých do dotazu. Odpověď se našla a všichni jsou spokojeni. Ale vezměme si jiný případ, kdy je v jejich těle spousta žádostí obsahujících stejná slova. Systém musí pokaždé projít stejnými paměťovými buňkami, což může výrazně prodloužit dobu potřebnou ke zpracování dat. V souladu s tím se čas prodlužuje, což může vést ke ztrátě uživatele - obrátí se o pomoc na jiný vyhledávač.
Aby se předešlo takovým zpožděním, jsou všechny kopie v indexu webu distribuovány mezi různé počítače. Po odeslání požadavku metasearch dá těmto serverům pokyn, aby hledaly jejich část textu. Poté se všechna data z těchto strojů vrátí do centrálního počítače, ten spojí všechny získané výsledky a poskytne uživateli deset nejlepších odpovědí. S touto technologií jsou zabiti dva ptáci najednou: čas hledání se několikrát zkrátí (odpověď je získána ve zlomku sekundy) a díky nárůstu platforem se informace duplikují (data se neztrácejí kvůli náhlým poruchám) . Samotné počítače s duplicitními informacemi tvoří datové centrum - to je místnost se servery.
Když uživatel vyhledávače položí dotaz, 20krát ze 100, cíle v otázce jsou nejednoznačné. Pokud například do vyhledávacího pole napíše slovo „Napoleon“, pak ještě není známo, jakou odpověď očekává - recept na dort nebo biografii velkého velitele. Nebo fráze „Bratři Grimmové“ - pohádky, filmy, hudební skupina. Pro zúžení takového možného rozsahu cílů na konkrétní odpovědi má Yandex speciální technologii Rozsah. Zohledňuje potřeby uživatelů pomocí statistik vyhledávacích dotazů. Ze všech otázek, které návštěvníci položili v Yandexu, Spectrum v nich identifikuje různé objekty (jména lidí, názvy knih, modely aut atd.) Tyto objekty jsou rozděleny do určitých kategorií. V současné době existuje více než 60 takových kategorií. S jejich pomocí má vyhledávač ve své databázi různé významy slov v uživatelských dotazech. Je zajímavé, že tyto kategorie jsou pravidelně kontrolovány (analýza probíhá několikrát týdně), což umožňuje společnosti Yandex přesněji poskytovat odpovědi na položené otázky.
Na základě technologie Spectrum uspořádal Yandex dialogové výzvy. Zobrazují se pod vyhledávací lištou, do které uživatel zadá svůj nejednoznačný dotaz. Tento řádek odráží kategorie, do kterých může předmět otázky patřit. Další výsledky vyhledávání závisí na volbě této kategorie uživatelem.
15 až 30 % všech uživatelů vyhledávače Yandex chce dostávat pouze místní informace (údaje z regionu, ve kterém žijí). Například o nových filmech v kinech ve vašem městě. Proto by odpověď na takovou žádost měla být pro každý region jiná. V tomto ohledu Yandex využívá svou technologii vyhledávání podle regionů
. Například toto jsou odpovědi, které mohou obdržet obyvatelé, kteří hledají repertoár filmů ve svém kině Oktyabr:
Ale toto je výsledek, který obyvatelé města Stavropol obdrží za stejnou žádost:
Oblast uživatele je určena především jeho IP adresou. Někdy tyto údaje nejsou přesné, protože řada poskytovatelů může pracovat ve více regionech najednou a měnit tak IP adresy svých uživatelů. V zásadě platí, že pokud se vám to stane, můžete svůj region snadno změnit v nastavení ve vyhledávači. Je uveden v pravém horním rohu stránky s výsledky. Můžete to změnit.
Vyhledávač Yandex ru - výsledky odpovědí
Když Metasearch připraví odpověď, vyhledávač Yandex by ji měl zobrazit na stránce s výsledky. Je to seznam odkazů na nalezené dokumenty s několika informacemi o každém z nich. Úkolem technologie pro vydávání výsledků je poskytnout uživateli co nejrelevantnější odpovědi co nejinformativnějším způsobem. Šablona pro jeden takový odkaz vypadá takto:
Podívejme se na tuto formu výsledku podrobněji. Pro název výsledku vyhledávání Yandex často používá název názvu stránky (co optimalizátory píší do značky title). Pokud tam není, pak se zde objevují slova z nadpisu článku nebo příspěvku. Pokud je text nadpisu velký, vyhledávač umístí do tohoto pole fragment, který je pro daný dotaz nejrelevantnější.
Velmi zřídka, ale stává se, že název neodpovídá obsahu požadavku. V tomto případě Yandex vytvoří název výsledku vyhledávání pomocí textu v článku nebo příspěvku. Určitě bude mít dotazovací slova.
Pro úryvek vyhledávač použije veškerý text na stránce. Vybere všechny fragmenty, kde je přítomna odpověď na dotaz, a poté vybere ten nejrelevantnější a do pole formuláře vloží odkazy na dokument. Díky tomuto přístupu jej může kompetentní optimalizátor po zhlédnutí úryvku předělat, a tím zvýšit atraktivitu odkazu.
Pro lepší vnímání výsledku požadavku uživatele jsou nadpisy v textu formátovány jako odkazy (zvýrazněny modře s podtržením). Aby byl webový zdroj atraktivní a rozpoznatelný, je přidána favicon – malá firemní ikona webu. Zobrazí se vlevo od textu na prvním řádku před nadpisem. Všechna slova, která byla zahrnuta do požadavku v odpovědi, jsou také zvýrazněna tučným písmem pro snazší vnímání.
Vyhledávač Yandex v poslední době přidává do úryvku různé informace, které uživateli pomohou najít svou odpověď ještě rychleji a přesněji. Pokud například uživatel ve své žádosti napíše název organizace, Yandex do úryvku přidá její adresu, kontaktní čísla a odkaz na umístění v geografických mapách. Pokud je vyhledávač obeznámen se strukturou webu, který obsahuje dokument s odpovědí pro uživatele, určitě jej zobrazí. Yandex navíc může do úryvku okamžitě přidat nejnavštěvovanější stránky takového webového zdroje, takže v případě potřeby může návštěvník okamžitě přejít do sekce, kterou potřebuje, a ušetřit tak svůj čas.
Existují úryvky, které obsahují cenu produktu pro internetový obchod, hodnocení hotelu nebo restaurace ve formě hvězdiček a další zajímavé informace s různými čísly o objektech ve vyhledávacích dokumentech. Účelem takových informací je poskytnout úplný seznam údajů o těch položkách nebo předmětech, které uživatele zajímají.
Obecně platí, že s různými příklady bude stránka s odpověďmi vypadat takto:
Hodnocení a hodnotitelé
Úkolem Yandexu není jen hledání všech možných možností odpovědí, ale také výběr těch nejlepších (relevantních). Uživatel se totiž nebude prohrabávat všemi odkazy, které mu Yandex poskytne jako výsledek hledání. Proces organizování výsledků vyhledávání se nazývá žebříčku . To znamená, že je to pořadí, které určuje kvalitu navrhovaných odpovědí.
Existují pravidla, podle kterých Yandex určuje relevantní stránky:
- Stránky, které zhoršují kvalitu vyhledávání, budou sníženy na pozicích na stránce s výsledky. Obvykle se jedná o webové zdroje, jejichž majitelé se snaží oklamat vyhledávač. Jedná se například o stránky se stránkami obsahujícími nesmyslný nebo neviditelný text. Samozřejmě je to viditelné a srozumitelné pro vyhledávacího robota, ale ne pro návštěvníka, který čte tento dokument. Nebo stránky, které po kliknutí na odkaz v oblasti výsledků vyhledávání okamžitě převedou uživatele na úplně jiný web.
- Stránky s erotickým obsahem nejsou zahrnuty ve výsledcích nebo jsou výrazně sníženy v hodnocení. To je způsobeno skutečností, že takové webové zdroje často používají agresivní metody propagace.
- Stránky infikované viry se nesnižují ve výsledcích vyhledávání a nejsou vyloučeny z výsledků vyhledávání - v tomto případě je uživatel o nebezpečí informován pomocí speciální ikony. Důvodem je skutečnost, že Yandex předpokládá, že takové webové zdroje mohou obsahovat důležité dokumenty na žádost návštěvníka vyhledávače.
Takto například Yandex seřadí stránky pro dotaz „jablko“:
Kromě faktorů hodnocení používá Yandex speciální vzorky s dotazy a odpověďmi, které uživatelé vyhledávačů považují za nejvhodnější. Takové vzorky v současnosti žádný stroj neumí – to je výsada člověka. V Yandexu se takoví specialisté nazývají posuzovatelé. Jejich úkolem je plně analyzovat všechny vyhledávací dokumenty a vyhodnocovat odpovědi na zadané dotazy. Vyberou nejlepší odpovědi a vytvoří speciální tréninkovou sadu. V něm vyhledávač vidí vztah mezi relevantními stránkami a jejich vlastnostmi. Díky těmto informacím může Yandex vybrat optimální vzorec hodnocení pro každý požadavek. Metoda pro konstrukci takového vzorce se nazývá Matrixnet. Výhodou tohoto systému je odolnost proti přepasování, což umožňuje zohlednit velké množství hodnotících faktorů bez zvýšení počtu zbytečných hodnocení a vzorů.
Na konci mého příspěvku vám chci ukázat zajímavé statistiky shromážděné vyhledávačem Yandex v procesu jeho práce.
1. Popularita osobních jmen v Rusku a ruských městech (údaje převzaty z účtů bloggerů a uživatelů sociálních sítí v březnu 2012).
V roce 1863 vytvořil velký spisovatel Jules Verne svou další knihu „Paříž ve 20. století“. Podrobně v něm popsal metro, auto, elektrické křeslo, počítač a dokonce i internet. Nakladatel však odmítl knihu vytisknout a ležela tam více než 120 let, dokud ji v roce 1989 nenašel pravnuk Julese Verna. Kniha vyšla v roce 1994.
