Yandex sökmotor vad är nytt. Yandex - vad är Yandex och varför heter det Yandex. Sammansättning och funktionsprinciper för söksystemet
De har länge blivit en integrerad del av det ryska Internet. Sökmotorer är nu enorma och komplexa mekanismer som inte bara representerar ett informationssökningsverktyg, utan också frestande områden för företag.
De flesta sökmotoranvändare har aldrig tänkt (eller tänkt på det, men inte hittat något svar) på principen för sökmotorernas funktion, schemat för att behandla användarförfrågningar, vad dessa system består av och hur de fungerar...
Denna mästarklass är utformad för att svara på frågan om hur sökmotorer fungerar. Däremot hittar du inte här faktorer som påverkar rangordningen av dokument. Dessutom bör du inte räkna med en detaljerad förklaring av Yandex-algoritmen. Han, enligt Ilya Segalovich, chef för teknik och utveckling av Yandex sökmotor, kan bara kännas igen "under tortyr" av Ilya Segalovich själv ...
2. Koncept och funktioner för en sökmotor
Ett söksystem är ett mjukvaru- och hårdvarukomplex utformat för att söka på Internet och svara på en användarförfrågan, specificerad i form av en textfras (sökfråga), genom att skapa en lista med länkar till informationskällor, i ordning efter relevans ( i enlighet med begäran). De största internationella sökmotorerna: "Google", Yahoo , MSN . På det ryska Internet är dessa Yandex, Rambler, Aport.
Låt oss ta en närmare titt på konceptet med en sökfråga med hjälp av Yandex sökmotor som exempel. Sökfrågan bör formuleras av användaren i enlighet med vad han vill hitta, så kort och enkelt som möjligt. Låt oss säga att vi vill hitta information i Yandex om hur man väljer en bil. För att göra detta, öppna Yandex huvudsida och skriv in texten i sökfrågan "hur man väljer en bil." Därefter kommer vår uppgift till att öppna länkarna som tillhandahålls på vår begäran till informationskällor på Internet. Det är dock mycket möjligt att vi inte hittar den information vi behöver. Om detta händer måste du antingen formulera om din förfrågan, eller så har sökmotordatabasen verkligen ingen relevant information om vår förfrågan (detta kan hända när du ställer mycket "snäva" frågor, som till exempel "hur man väljer en bil i Archangelsk”)
Det primära målet för alla sökmotorer är att ge människor exakt den information de letar efter. Och lär användarna att göra ”korrekta” förfrågningar till systemet, d.v.s. frågor som följer sökmotorernas funktionsprinciper är omöjliga. Därför skapar utvecklare algoritmer och funktionsprinciper för sökmotorer som gör det möjligt för användare att hitta den information de letar efter.
Det betyder att sökmotorn måste "tänka" på samma sätt som användaren tänker när de söker information. När en användare gör en förfrågan till en sökmotor vill han hitta det han behöver så snabbt och enkelt som möjligt. När han tar emot resultatet utvärderar han systemets prestanda, styrt av flera grundläggande parametrar. Hittade han det han letade efter? Om han inte hittade den, hur många gånger behövde han omformulera frågan för att hitta det han letade efter? Hur mycket relevant information kunde han hitta? Hur snabbt behandlade sökmotorn begäran? Hur bekväma visades sökresultaten? Var resultatet du letade efter det första eller det hundrade? Hur mycket onödigt skräp hittades tillsammans med användbar information? Kommer den nödvändiga informationen att hittas när du använder en sökmotor, till exempel om en vecka eller om en månad?
För att tillfredsställa alla dessa frågor med svar, förbättrar sökmotorutvecklare ständigt sökalgoritmer och principer, lägger till nya funktioner och möjligheter och försöker på alla möjliga sätt att påskynda driften av systemet.
3. Huvudegenskaper hos en sökmotor
Låt oss beskriva de viktigaste egenskaperna hos sökmotorer:
- Fullständighet
Fullständighet är en av de viktigaste egenskaperna hos ett söksystem, vilket är förhållandet mellan antalet dokument som hittas på begäran och det totala antalet dokument på Internet som uppfyller den givna begäran. Till exempel, om det finns 100 sidor på Internet som innehåller frasen "hur man väljer en bil" och bara 60 av dem hittades för motsvarande fråga, blir sökningens fullständighet 0,6. Uppenbarligen, ju mer komplett sökningen är, desto mindre sannolikt är det att användaren inte hittar det dokument han behöver, förutsatt att det finns på Internet överhuvudtaget.
- Noggrannhet
Noggrannhet är en annan huvudegenskap för en sökmotor, som bestäms av i vilken grad de hittade dokumenten matchar användarens fråga. Till exempel, om frågan "hur man väljer en bil" innehåller 100 dokument, innehåller 50 av dem frasen "hur man väljer en bil", och resten innehåller helt enkelt dessa ord ("hur man väljer rätt radio och installerar den i en bil”), då anses söknoggrannheten vara lika med 50/100 (=0,5). Ju mer exakt sökningen är, desto snabbare kommer användaren att hitta de dokument han behöver, desto mindre olika typer av "skräp" kommer att hittas bland dem, desto mindre ofta motsvarar de hittade dokumenten inte begäran.
- Relevans
Relevans är en lika viktig komponent i sökningen, som kännetecknas av den tid som går från det att dokument publiceras på Internet tills de läggs in i sökmotorns indexdatabas. Till exempel, dagen efter att intressanta nyheter dök upp, vände sig ett stort antal användare till sökmotorer med relevanta frågor. Objektivt sett har mindre än en dag gått sedan publiceringen av nyhetsinformation om detta ämne, men huvuddokumenten har redan indexerats och tillgängliga för sökning, tack vare existensen av den så kallade "snabba databasen" med stora sökmotorer, som uppdateras flera gånger om dagen.
- Sökhastighet
Sökhastigheten är nära relaterad till dess belastningsmotstånd. Till exempel, enligt Rambler Internet Holding LLC, idag, under kontorstid, tar Ramblers sökmotor emot cirka 60 förfrågningar per sekund. Sådan arbetsbelastning kräver att handläggningstiden för en individuell förfrågan minskar. Här sammanfaller användarens och sökmotorns intressen: besökaren vill få resultat så snabbt som möjligt, och sökmotorn måste behandla förfrågan så snabbt som möjligt för att inte bromsa beräkningen av efterföljande frågor.
- Synlighet
4. Kort historia om utvecklingen av sökmotorer
Under den inledande perioden av internetutveckling var antalet användare litet, och mängden tillgänglig information var relativt liten. För det mesta var det bara forskarpersonal som hade tillgång till Internet. Vid den här tiden var uppgiften att söka information på Internet inte lika brådskande som nu.
Ett av de första sätten att organisera åtkomst till nätverksinformationsresurser var skapandet av öppna kataloger över webbplatser, länkar till resurser som var grupperade efter ämne. Det första sådana projektet var webbplatsen Yahoo.com, som öppnade våren 1994. Efter att antalet sajter i katalogen ökat avsevärt tillkom möjligheten att söka efter nödvändig information i katalogen. I full mening var det ännu inte en sökmotor, eftersom sökområdet endast var begränsat till resurserna i katalogen och inte till alla Internetresurser.
Länkkataloger användes ofta i det förflutna, men har nästan helt förlorat sin popularitet för närvarande. Eftersom även moderna kataloger, enorma i volym, endast innehåller information om en försumbar del av Internet. Den största katalogen i DMOZ-nätverket (även kallat Open Directory Project) innehåller information om 5 miljoner resurser, medan Googles sökmotordatabas består av mer än 8 miljarder dokument.
1995 dök sökmotorerna Lycos och AltaVista upp. Den senare har varit ledande inom området informationssökning på Internet i många år.
1997 skapade Sergey Brin och Larry Page Googles sökmotor som en del av ett forskningsprojekt vid Stanford University. Google är för närvarande den mest populära sökmotorn i världen!
I september 1997 tillkännagavs officiellt Yandex-sökmotorn, som är den mest populära på det ryskspråkiga internet.
För närvarande finns det tre huvudsökmotorer (internationella) - Google, Yahoo och, som har sina egna databaser och sökalgoritmer. De flesta andra sökmotorer (som det finns ett stort antal av) använder i en eller annan form resultaten från de tre listade. Till exempel använder AOL-sökning (search.aol.com) Google-databasen, medan AltaVista, Lycos och AllTheWeb använder Yahoo-databasen.
5. Sammansättning och funktionsprinciper för söksystemet
I Ryssland är huvudsökmotorn Yandex, följt av Rambler.ru, Google.ru, Aport.ru, Mail.ru. Dessutom använder Mail.ru just nu Yandex sökmotor och databas.
Nästan alla stora sökmotorer har sin egen struktur, annorlunda än andra. Det är dock möjligt att identifiera huvudkomponenterna som är gemensamma för alla sökmotorer. Skillnader i struktur kan bara vara i form av implementering av mekanismerna för interaktion mellan dessa komponenter.
Indexeringsmodul
Indexeringsmodulen består av tre hjälpprogram (robotar):
Spider är ett program utformat för att ladda ner webbsidor. Spindeln laddar ner sidan och hämtar alla interna länkar från den sidan. HTML-koden för varje sida laddas ner. Robotar använder HTTP-protokoll för att ladda ner sidor. Spindeln fungerar enligt följande. Roboten skickar begäran "get/path/document" och några andra HTTP-begärankommandon till servern. Som svar får roboten en textström som innehåller serviceinformation och själva dokumentet.
- Sidans URL
- datum då sidan laddades ned
- Server svar http header
- sidtext (html-kod)
Crawler ("resande" spindel) är ett program som automatiskt följer alla länkar som finns på sidan. Väljer alla länkar som finns på sidan. Dess uppgift är att bestämma var spindeln ska gå härnäst, baserat på länkar eller en förutbestämd lista med adresser. Crawler, efter länkarna som hittats, söker efter nya dokument som fortfarande är okända för sökmotorn.
Indexer (robotindexerare) är ett program som analyserar webbsidor som laddas ner av spindlar. Indexeraren analyserar sidan i dess beståndsdelar och analyserar dem med sina egna lexikaliska och morfologiska algoritmer. Olika sidelement analyseras, såsom text, rubriker, länkar, struktur- och stilfunktioner, specialtjänst HTML-taggar, etc.
Således låter indexeringsmodulen dig genomsöka en given uppsättning resurser med hjälp av länkar, ladda ner påträffade sidor, extrahera länkar till nya sidor från mottagna dokument och utföra en fullständig analys av dessa dokument.
Databas
En databas, eller sökmotorindex, är ett datalagringssystem, en informationsmatris där speciellt konverterade parametrar för alla dokument som laddas ner och bearbetas av indexeringsmodulen lagras.
Sökserver
Sökservern är den viktigaste delen av hela systemet, eftersom sökningens kvalitet och hastighet är direkt beroende av de algoritmer som ligger till grund för dess funktion.
Sökservern fungerar enligt följande:
- Begäran som tas emot från användaren är föremål för morfologisk analys. Informationsmiljön för varje dokument som finns i databasen genereras (som därefter kommer att visas i formuläret, det vill säga textinformation som motsvarar begäran på sökresultatsidan).
- Den mottagna datan skickas som ingångsparametrar till en speciell rankningsmodul. Data bearbetas för alla dokument, som ett resultat av vilket varje dokument har sin egen klassificering som kännetecknar relevansen av den fråga som angetts av användaren och de olika komponenterna i detta dokument som lagras i sökmotorindex.
- Beroende på användarens val kan detta betyg justeras av ytterligare villkor (till exempel den så kallade "avancerade sökningen").
- Därefter genereras ett utdrag, det vill säga för varje hittat dokument extraheras titeln, en kort sammanfattning som bäst matchar frågan och en länk till själva dokumentet från dokumenttabellen, och de hittade orden markeras.
- De resulterande sökresultaten överförs till användaren i form av en SERP (Search Engine Result Page) – en sökresultatsida.
Som du kan se är alla dessa komponenter nära besläktade med varandra och fungerar i interaktion och bildar en tydlig, ganska komplex mekanism för driften av söksystemet, vilket kräver enorma mängder resurser.
6. Sammanfattning
Låt oss nu sammanfatta allt ovan.
- Det primära målet för alla sökmotorer är att ge människor exakt den information de letar efter.
- Huvudegenskaper hos sökmotorer:
- Fullständighet
- Noggrannhet
- Relevans
- Sökhastighet
- Synlighet
- Den första fullfjädrade sökmotorn var WebCrawler-projektet, publicerat 1994.
- Söksystemet innehåller följande komponenter:
- Indexeringsmodul
- Databas
- Sökserver
Vi hoppas att vår mästarklass kommer att tillåta dig att bli mer bekant med konceptet med en sökmotor och bättre förstå sökmotorernas huvudfunktioner, egenskaper och funktionsprinciper.
Hej kära vänner! I den här artikeln kommer vi att fortsätta att titta på Yandex-sökmotorn, och som du kommer ihåg diskuterade vi i tidigare artiklar historien om skapandet av detta fantastiska företag, som rankas först bland sina konkurrenter i Ryssland och utanför.
Allt detta är bra, men nybörjare och erfarna webbplatsbyggare är naturligtvis intresserade av den viktigaste frågan, som är relaterad till hur man tar sina projekt till de första platserna i TOP-sökresultaten.
Låt oss därför titta på hur Yandex-sökmotorn fungerar för att förstå vilka misstag du kan trampa på och vad du kan förvänta dig av en rysk sökmotor i allmänhet.
I den senaste artikeln diskuterade vi. Ämnet visade sig vara ganska intressant och användbart. Därför bestämde jag mig för att komplettera den, fördjupa den så att säga.
Så jag blev nog lite medryckt av frågan "Varför indexerar en sökmotor"? Det är en no brainer. Allt som återstår är att ta reda på "hur"-frågan.
Webbplatsrankningsalgoritmer
Låt oss först bekanta oss med några algoritmer som är grundläggande för alla sökmotorer:
— Direktsökningsalgoritm.
Vad är det - du minns att du läste en underbar berättelse i en av böckerna. Och du börjar leta en efter en. De tog en bok, tittade igenom den, hittade den inte, tog en annan... Principen är klar, men den här metoden är extremt lång. Detta är också förståeligt.
— Omvänd sökalgoritm.
För denna algoritm skapas en textfil från varje sida på din blogg. Denna fil listar i alfabetisk ordning ALLA ord du använde. Även positionen för detta ord i texten anges (koordinater i texten).
Detta är en ganska snabb metod, men sökningen sker redan med ett visst fel.
Det viktigaste att förstå här är att den här algoritmen inte söker på Internet, inte genom att söka på en blogg. Och i en separat textfil som skapades för länge sedan. När roboten kom till dig. Och dessa filer (omvända index) lagras på Yandex-servrar.
Så dessa var de grundläggande sökalgoritmerna. De där. hur Yandex helt enkelt hittar de nödvändiga dokumenten. Det borde inte vara några problem med detta.
Men Yandex känner till mer än ett eller till och med 100 dokument, men enligt de senaste uppgifterna från mina källor känner Yandex till cirka 11 miljarder dokument (10 727 736 489 sidor).
Och bland all denna kvantitet måste du välja dokument som matchar begäran. Och ännu viktigare, du måste på något sätt rangordna dem. De där. ordna efter graden av betydelse, eller snarare efter graden av användbarhet för läsaren.
Matematiska sökmodeller
För att lösa detta problem kommer matematiska modeller till undsättning. Nu ska vi prata om de enklaste modellerna.
Boolesk matematisk modell– Om ett ord förekommer i ett dokument anses dokumentet hittat. Bara en slump och inget komplicerat.
Men det finns problem här. Till exempel, om du som användare anger något populärt ord, eller ännu hellre, prepositionen "v", som är det vanligaste ordet på det ryska språket och som finns i VARJE dokument, kommer du att få så många resultat att du inte ens inser ett sådant antal, Hur många dokument hittade du? Därför dök följande mattmodell upp.
Vektor matematisk modell– denna modell bestämmer dokumentets "vikt". Inte bara sammanträffandet inträffar, utan ordet måste förekomma flera gånger. Dessutom, ju mer ett ord förekommer, desto högre relevans (efterlevnad).
Det är vektormodellen som ALLA sökmotorer använder.
Probabilistisk modell- mer komplex. Principen är denna: sökmotorn hittade själva sidmallen. Till exempel letar du efter information om Yandex historia. Yandex lagrar någon form av standard, låt oss säga att detta kommer att vara min tidigare artikel om Yandex.
Och han kommer att jämföra alla andra dokument med den här artikeln. Och logiken här är denna: ju mer lik din bloggsida är min artikel, desto MER SANNOLIK är det faktum att din bloggsida också kommer att vara användbar för läsaren och även berättar om Yandex historia.
För att minska antalet dokument som behöver visas för användaren infördes begreppet relevans, d.v.s. efterlevnad.
Hur relevant är din bloggsida för ämnet? Detta är ett viktigt ämne när det gäller sökkvalitet.
Bedömare – vilka är de och vad ansvarar de för?
Denna relevans behövs också för att bedöma kvaliteten på algoritmerna.
För detta ändamål finns det ett specialstyrkors högkvarter - de kallas bedömare. Det här är speciella personer som tittar igenom sökresultaten med sina händer.
De har instruktioner om hur man kontrollerar sajter, hur man utvärderar osv. Och de avgör manuellt om dina sidor är lämpliga för sökfrågor eller inte.
Och kvaliteten på sökalgoritmerna beror på bedömarnas åsikter. Om alla bedömare säger att sökresultaten inte överensstämmer med förfrågningarna betyder det att rankningsalgoritmen är felaktig och Yandex är den enda att skylla på.
Om bedömarna säger att endast en sajt inte uppfyller önskemålet betyder det att sajten flyger någonstans långt bort och sänks i sökresultaten. Mer exakt, inte hela webbplatsen, utan bara en artikel, men det här är "inte poängen."
Naturligtvis kan bedömare inte granska och utvärdera ALLA artiklar med händer och ögon. Detta är förståeligt.
Och andra parametrar efter vilka sidor rankas kommer till undsättning.
Det finns många av dem, till exempel:
- sidvikt (vIC, PageRank, babybulor Allt som allt);
- domänmyndighet;
- textens relevans för begäran;
- relevansen av externa länktexter för frågan;
- såväl som många andra rankningsfaktorer.
Bedömare gör kommentarer, och de personer som är ansvariga för att sätta upp den matematiska rankningsmodellen redigerar i sin tur formeln, vilket gör att sökmotorn fungerar mer effektivt.
De viktigaste kriterierna för att utvärdera formelns prestanda:
1. Noggrannhet i sökmotorresultat- procentandel av dokument som matchar begäran (relevant). De där. Ju färre sidor som inte matchar begäran, desto bättre.
2. Fullständighet av sökmotorresultat- detta är förhållandet mellan relevanta webbsidor för en given fråga och det totala antalet relevanta dokument i samlingen (totalan av sidor som hittas i sökmotorn).
Om det till exempel finns fler relevanta sidor i hela samlingen än i sökresultaten betyder det att resultaten är ofullständiga. Detta hände eftersom några av de relevanta webbsidorna filtrerades.
3. Relevansen av sökmotorresultat- detta är webbsidans överensstämmelse med vad som står i kodavsnittet. Ett dokument kan till exempel vara väldigt annorlunda eller inte existera alls, men fortfarande finnas i sökresultaten.
Sökresultatens relevans beror direkt på hur ofta sökroboten skannar dokument från sin samling.
Samlingsinsamling (indexering av webbplatssidor) utförs av ett speciellt program - en sökrobot.
Sökroboten tar emot en lista med adresser för indexering, kopierar dem och skickar sedan innehållet på de kopierade webbsidorna för bearbetning till en algoritm som omvandlar dem till omvända index.
Tja, "i ett nötskal", så att säga, diskuterade vi principerna för sökmotorn.
Låt oss sammanfatta:
- En sökrobot kommer till din blogg.
- Sökroboten lagrar sidans omvända index för efterföljande sökningar.
- Med hjälp av en matematisk modell bearbetas dokumentet och visas i sökresultat med hjälp av formler och med beaktande av bedömarens åsikt.
Det här är väldigt, väldigt förenklat. Bara för att få en grundläggande förståelse för hur Yandex sökmotor fungerar.
Jag har nu skrivit så mycket text, och kanske så mycket är oklart. Därför föreslår jag att du återvänder till den här artikeln lite senare och tittar på den här videon.
Det här är en utmärkt guide, som jag också lärde mig av en gång.
Jag hoppas att den här informationen hjälper dig att bättre förstå varför en av dina webbplatser har lämpliga positioner i sökningar och gör allt för att förbättra dem.
Med detta säger jag adjö till dig, om du har några frågor svarar jag alltid gärna på dem i kommentarerna. Eller kanske du vill lägga till artikeln?
Uttryck i alla fall din åsikt. !
Vi är inte så unika som vi tror: miljontals människor före oss förbryllade och miljoner efter oss kommer att förbrylla sökmotorn med nästan identiska frågor. Å andra sidan är vi för oförutsägbara: formuleringen av vår begäran påverkas av ett stort antal faktorer som vi inte är medvetna om. Och åtminstone av denna anledning kräver begäran från var och en av oss, hur banal den än kan vara, ett individuellt förhållningssätt.
Faktum är att hela arbetet med Yandex-sökmotorn kommer ner på två enkla saker: att förstå vad en person verkligen vill veta och på några sekunder att hitta lämpliga bland miljarder dokument på Internet.
Ta fingeravtryck
Sökmotorns operativsystem liknar något Matrix, och sökroboten (det komplexa, oberoende beslutsfattande programmet som den skapade) liknar Agent Smith.
För att inte söka på hela Internet varje gång någon behöver veta något, gör sökmotorn en del av arbetet i förväg – den kontrollerar vad som finns på webben och var det finns, med hjälp av tusentals sökrobotar. De finns i två typer: grundläggande och snabba. Den huvudsakliga genomsöker och bearbetar Internet som helhet, och den snabba - dokument som dök upp för en minut eller till och med ett par sekunder sedan. Robotprogrammens uppgift är att välja ut lämplig och användbar information för användarna, bearbeta den, sålla bort allt föråldrat och onödigt. På något sätt påminner detta om att sortera sopor: papper i en behållare, glas i en annan, plast i en tredje, matavfall i en fjärde...
Informationen som samlas in av robotar utgör den så kallade Internet-casten. Den lagras på tusentals Yandex-servrar och uppdateras ständigt. En guldklimp är som en lista som talar om för dig var du kan hitta vilken information. I den här listan har varje sökord inte en utan miljontals "sidor". För att säkerställa att alla nuggetuppdateringar är tillgängliga för användare flyttas de från förvaret till "bassökningen". Data från huvudroboten överförs med några dagars mellanrum och från den snabba roboten - i realtid.
Ta till rent vatten
 ILLUSTRATION: EVGENY TONKONOGY |
När den söker efter svaret på en given fråga i en förberedd databas, möter maskinen två huvudsakliga svårigheter. Den första svårigheten är språket. Innan du letar efter ett svar på en fråga är det viktigt för maskinen att förstå på vilket språk den ska göra det. Till exempel, för en rysktalande person kommer sökningen efter "Prins Igors trupp" att hitta dokument med information om armén, och för en ukrainare kommer "Prins Igors trupp" också att returnera dokument som nämner prinsessan Olga, hans fru, eftersom på ukrainska är "fru" "squad". Och i det rika ryska språket kan samma ord eller dess derivator betyda olika saker. Till exempel är ordet "stål" en av formerna av substantivet "stål" och verbet "bli". Den andra svårigheten är mänsklig psykologi. När vi anger en förfrågan förväntar vi oss ett snabbt och korrekt svar, utan att naturligtvis bekymra oss om huruvida formuleringen av förfrågan motsvarar principerna för matematisk analys som maskinens hjärna fungerar efter. Till exempel, genom att skriva in ordet "Napoleon" i sökfältet, vad vill en person få: ett kakrecept eller en biografi om den franska kejsaren, köpa konjak eller hitta adressen till ett psykiatriskt sjukhus?
 |
I sådana situationer spelar flera tekniker in. Du kan ge dig flera tips under sökfältet som kommer att specificera din begäran. Som, välj vad du behöver: Napoleon recept eller Napoleon - Bonaparte. Om användaren inte svarar på maskinens begäran och inte lägger till ord till "Napoleon", hjälper "Spectrum" -tekniken saken: utan att hoppas på hjälp söker maskinen omedelbart efter information i flera kategorier (om kakan, och om kejsaren och om hästen). ...). Dessutom hjälper personaliseringsmekanismerna att förstå användaren - maskinens kunskap om vad den här användaren letade efter på sin dator för en dag, två, tre eller månader sedan: om du ofta ställde Yandex-frågor om matlagning, kommer maskinen först att visa dina resultat som säger att Napoleon är en kaka.
Kombinationer: intresseklubbar
En sökmotors uppgift är inte bara att välja dokument som innehåller ord och fraser från sökfrågan. Maskinen måste förstå vilka dokument som uppfyller våra motstridiga krav och varför de uppfyller dem. Vill vi få information om Napoleon kakan, eller kanske vi besökte en fitnessklubb med ett pretentiöst namn i ett par år, eller är till och med helt bekymrade över korta människors komplex. Hur som helst kräver att lösa problemet ett icke-trivialt tillvägagångssätt.
 |
Skaparna av Yandex sökprogram hittade detta tillvägagångssätt genom att delegera rätten att välja till maskinen. Dels en själlös, men väldigt snabb och smart maskin vet och vill inte veta något om oss som individer, dels försöker den ta reda på så mycket som möjligt om alla.
Förutom användarens geografiska placering och språklig analys av hans frågor, använder sökmotorn flera tusen kriterier som inte alls är uppenbara för människor.
Tricket är att maskinen utvecklar och uppdaterar dessa kriterier oberoende.
Den använder helt enkelt data om preferenser och användarbeteende för miljontals människor och relaterar detta "arithmetiska medelvärde" till historien om våra frågor. De principer som styr matrisen inom sig själv, genom att jämföra de tusentals kategorier av användarintressen den har utvecklat, passar ofta inte in i traditionella mänskliga idéer om vad "intressen" i princip kan vara. Det finns tiotusentals av dem. De skapar olika, ibland roliga, kombinationer med varandra. En av dessa kombinationer kan till exempel vara att sökresultat matchar intressen hos en person som föder upp vattensalamander. Samtidigt är en person inte bara intresserad av vattensalamander, utan föder redan upp dem, men bara under det första året.
Betyg. Hjälpande händer
 |
Matrisen bestämmer förstås själv (med hjälp av högre matematik) vad och i vilken ordning som ska visas för användarna utifrån tiotusentals kriterier. Men matrisen använder också levande människor - 1000 Yandex-anställda, de så kallade bedömarna, utvärderar sökresultat för en viss begäran (naturligtvis utvärderas inte varje förfrågan, och detta görs inte i realtid) för att avgöra om de uppfyller förväntningar på en vanlig användare: inte lika rationell som en maskin, inte lika exakt i formuleringen, motsägelsefulla och känslomässiga.
God eftermiddag kära läsare av min SEO-blogg. . Den här artikeln handlar om hur Yandex sökmotor fungerar vilka tekniker och algoritmer den använder för att rangordna webbplatser och vad den gör för att förbereda ett svar till användarna. Många vet att detta flaggskepp av rysk sökning sätter tonen i Runet, äger den största databasen i Eurasien, hanterar innehållet på mer än en miljard sidor och vet svaret på alla frågor. Enligt Liveinternet-data för augusti 2012 är Yandex andel i Ryssland 60,5 %. Portalens månatliga publik är 48,9 miljoner människor. Men det viktigaste för oss bloggare är hur sökmotorn tar emot våra förfrågningar, hur den behandlar dem och vad resultatet blir som ett resultat. Å ena sidan, att känna till och förstå denna information gör det lättare för oss att använda alla Yandex-resurser, å andra sidan är det lättare att marknadsföra våra bloggar. Därför föreslår jag att titta med mig på de viktigaste teknikerna för den bästa Runet-sökmotorn.
När en internetanvändare först vill vända sig till en sökmotor för information kan han ha en fråga: "Hur fungerar sökningen?" Men när han får den ändras denna fråga ofta till en annan: "Varför så snabbt?" Och egentligen, varför tar det 20 sekunder att söka efter en fil på en dator, och resultatet av en begäran från ett helt nätverk av datorer runt om i världen visas på en sekund? Det mest intressanta är att de två första frågorna (hur sökningen sker och varför 1 sekund) kan besvaras i ett svar - sökmotorn har i förväg förberett för användarens begäran.
För att förstå principen för driften av Yandex, som andra sökmotorer, låt oss rita en analogi med en telefonkatalog. För att hitta vilket telefonnummer som helst måste du känna till abonnentens efternamn, och varje sökning i det här fallet tar högst en minut, eftersom alla sidor i katalogen är ett kontinuerligt alfabetiskt index. Men tänk om sökningen utfördes med ett annat alternativ, där telefonnummer sorterades efter själva numren. Efter sådana sökningar, som kommer att dra ut på tiden, kommer siffrorna att ligga kvar framför ögonen på sökaren under mycket lång tid. 🙂
På samma sätt visar sökmotorn all information från Internet i en form som passar den. Och viktigast av allt, all denna information placeras i hennes katalog i förväg, innan besökaren kommer med sina förfrågningar. Det vill säga när vi ställer en fråga till Yandex vet den redan vårt svar. Och ger oss det på en sekund. Men denna andra inkluderar ett antal viktiga processer, som vi nu kommer att överväga i detalj.
Internetindexering
Yandex ru samlar all information den kan få tag på på Internet. Med hjälp av specialutrustning granskas allt innehåll, inklusive bilder baserade på visuella parametrar. Sökmotorn är engagerad i sådan insamling, och processen att samla in och förbereda data kallas indexering. Grunden för en sådan maskin är ett datorsystem, som annars kallas sökrobot. Den genomsöker regelbundet indexerade webbplatser, kontrollerar dem för nytt innehåll och genomsöker även Internet efter raderade sidor. Om den upptäcker att någon sådan sida inte längre finns eller är stängd från indexering, tar den bort den från sökningen.
Hur hittar en sökrobot nya sajter? För det första tack vare länkar från andra webbplatser. För om en länk placeras på en ny webbresurs från en redan indexerad webbplats, så kommer roboten att besöka den första nästa gång du besöker den andra. För det andra finns det en underbar tjänst, populärt kallad "addurlka" (från frasen på engelska -addurl - lägg till adress). I den kan du ange adressen till din nya webbplats, som kommer att besökas av en sökrobot efter ett tag. För det tredje, med hjälp av ett speciellt program "Yandex.Bar", spåras besöken från användare som använder det. Följaktligen, om en person landar på en ny webbresurs, kommer en robot snart att dyka upp där.
Ingår alla sidor i sökningen? Miljontals sidor indexeras varje dag. Bland dem finns sidor av varierande kvalitet, som kan innehålla olika information – från unikt innehåll till komplett skräp. Dessutom, som statistiken säger, finns det mycket mer skräp på Internet. Sökroboten analyserar varje dokument med hjälp av speciella algoritmer. Den avgör om den har någon användbar information och om den kan svara på användarens begäran. Om inte, accepteras inte sådana sidor som "kosmonauter", men i så fall ingår det i sökningen.
Efter att en robot har besökt en sida och fastställt dess användbarhet, dyker den upp i sökmotorns lagring. Här analyserar vi vilket dokument som helst ner till grunderna, som autocentermästarna säger – ner till kuggarna. Sidan rensas från html-uppmärkning, den rena texten genomgår en fullständig inventering - platsen för varje ord beräknas. I denna demonterade form förvandlas sidan till en tabell med siffror och bokstäver, som annars kallas index. Nu, oavsett vad som händer med webbresursen som innehåller den här sidan, är dess senaste kopia alltid tillgänglig i sökningen. Även om webbplatsen inte längre finns lagras kopior av dess dokument på Internet under en tid.
Varje index, tillsammans med uppgifter om dokumenttyper, kodning, språk, tillsammans med kopior, utgör sökdatabas . Den uppdateras med jämna mellanrum, så den finns på speciella servrar med hjälp av vilka förfrågningar från sökmotoranvändare behandlas.
Hur ofta sker indexeringsprocessen? Först och främst beror det på vilken typ av webbplatser. Den första typen av webbresurs ändrar innehållet på sina sidor väldigt ofta. Det vill säga när en sökrobot kommer till dessa sidor varje gång innehåller de olika innehåll varje gång. Nästa gång kommer du inte att kunna hitta något med dem, så sådana webbplatser ingår inte i indexet. Den andra typen av webbplats är ett datalager, på vars sidor länkar till dokument för nedladdning läggs till regelbundet. Innehållet på en sådan sida förändras vanligtvis inte, så roboten besöker den extremt sällan. Andra webbplatser är beroende av hur ofta materialet uppdateras. Det betyder följande: ju snabbare nytt innehåll dyker upp på sajten, desto oftare kommer sökroboten. Och prioritet ges först till de viktigaste webbresurserna (en nyhetssajt är en storleksordning viktigare än någon blogg, till exempel).
Indexering låter dig utföra den första funktionen hos en sökmotor - samla information på nya sidor på Internet. Men Yandex har också en andra funktion - att söka efter ett svar på en användares begäran i en redan förberedd sökdatabas.
Yandex förbereder ett svar
Processen att behandla förfrågan och utfärda relevanta svar hanteras av datorsystem "Metasearch" . För sitt arbete samlar den först all indatainformation: från vilken region begäran gjordes, vilken klass den tillhör, om det finns fel i begäran, etc. Efter sådan bearbetning kontrollerar metasearch om det finns exakt samma frågor med samma parametrar i databasen. Om svaret är ja, visar systemet användaren de tidigare sparade resultaten. Om en sådan fråga inte finns i databasen adresserar metasökningen sökdatabasen som innehåller indexdata.
Och det är här fantastiska saker händer. Föreställ dig att det finns en superkraftig dator som lagrar hela Internet som bearbetas av sökrobotar. Användaren ställer in en fråga och en sökning börjar i minnescellerna efter alla dokument som är involverade i frågan. Svaret är hittat och alla är nöjda. Men låt oss ta ett annat fall när det finns många förfrågningar som innehåller samma ord i kroppen. Systemet måste gå igenom samma minnesceller varje gång, vilket kan öka tiden det tar att behandla data avsevärt. Följaktligen ökar tiden, vilket kan leda till att användaren förloras - han kommer att vända sig till en annan sökmotor för att få hjälp.
För att undvika sådana förseningar distribueras alla kopior i webbplatsindexet över olika datorer. Efter att ha överfört begäran instruerar metasearch sådana servrar att söka efter deras text. Därefter returneras all data från dessa maskiner till den centrala datorn, den kombinerar alla erhållna resultat och ger användaren de tio bästa svaren. Med denna teknik dödas två fåglar samtidigt: söktiden reduceras flera gånger (svaret erhålls på en bråkdel av en sekund) och tack vare ökningen av plattformar dupliceras information (data går inte förlorad på grund av plötsliga haverier) . Datorerna själva med dubblettinformation utgör ett datacenter - det här är ett rum med servrar.
När en sökmotoranvändare ställer en fråga, 20 gånger av 100, är målen i frågan tvetydiga. Till exempel, om han skriver ordet "Napoleon" i sökfältet, är det ännu inte känt vilket svar han förväntar sig - ett kakrecept eller en biografi om den store befälhavaren. Eller frasen "Bröder Grimm" - sagor, filmer, musikgrupp. För att begränsa ett sådant möjligt antal mål till specifika svar har Yandex en speciell teknologi Räckvidd. Det tar hänsyn till användarnas behov med hjälp av sökfrågestatistik. Av alla frågor som ställs i Yandex av besökare identifierar Spectrum olika objekt i dem (namn på personer, titlar på böcker, bilmodeller, etc.) Dessa objekt är uppdelade i vissa kategorier. För närvarande finns det mer än 60 sådana kategorier. Med deras hjälp har sökmotorn i sin databas olika betydelser av ord i användarfrågor. Intressant nog kontrolleras dessa kategorier regelbundet (analys sker ett par gånger i veckan), vilket gör att Yandex kan ge svar på frågorna mer exakt.
Baserat på Spectrum-teknik organiserade Yandex dialogrutiner. De visas under sökfältet där användaren skriver sin tvetydiga fråga. Denna rad speglar de kategorier som ämnet för frågan kan tillhöra. Ytterligare sökresultat beror på användarens val av denna kategori.
Från 15 till 30 % av alla användare av Yandex-sökmotorn vill endast få lokal information (data från regionen där de bor). Till exempel om nya filmer på biografer i din stad. Därför bör svaret på en sådan begäran vara olika för varje region. I detta avseende använder Yandex sin teknik sökning baserat på regioner
. Till exempel är de här svaren invånare som letar efter en repertoar av filmer i sin Oktyabr-biograf kan få:
Men detta är resultatet som invånarna i staden Stavropol kommer att få för samma begäran:
Användarens region bestäms i första hand av dess IP-adress. Ibland är denna information inte korrekt, eftersom ett antal leverantörer kan arbeta i flera regioner samtidigt och därför ändra IP-adresserna för sina användare. Om detta händer dig kan du i princip enkelt ändra din region i inställningarna i sökmotorn. Det är listat i det övre högra hörnet på resultatsidan. Du kan ändra det.
Sökmotor Yandex ru - svarsresultat
När Metasearch har förberett ett svar, bör Yandex sökmotor visa det på resultatsidan. Det är en lista med länkar till hittade dokument med lite information om varje. Teknikens uppgift för att ge resultat är att ge användaren de mest relevanta svaren på det mest informativa sättet. Mallen för en sådan länk ser ut så här:
Låt oss titta på denna form av resultat mer i detalj. För sökresultattitel Yandex använder ofta namnet på sidtiteln (vad optimerare skriver i titeltaggen). Om det inte finns där, så visas orden från rubriken på artikeln eller inlägget här. Om titeltexten är stor placerar sökmotorn i detta fält det fragment som är mest relevant för den givna frågan.
Mycket sällan, men det händer att titeln inte stämmer överens med innehållet i begäran. I det här fallet bildar Yandex sin sökresultattitel med hjälp av texten i artikeln eller inlägget. Den kommer definitivt att ha frågeord.
För utdrag sökmotorn använder all text på sidan. Den väljer alla fragment där svaret på frågan finns, och väljer sedan det mest relevanta och infogar länkar till dokumentet i formulärfältet. Tack vare detta tillvägagångssätt kan en kompetent optimerare göra om den efter att ha sett ett utdrag och därigenom förbättra länkens attraktionskraft.
För att bättre uppfatta resultatet av en användares begäran formateras rubriker som länkar i texten (markerade i blått med understrykning). För att göra webbresursen attraktiv och igenkännbar läggs en favicon till - en liten företagsikon för webbplatsen. Den visas till vänster om texten på första raden före rubriken. Alla ord som ingick i förfrågan i svaret är också markerade i fetstil för att underlätta uppfattningen.
Nyligen har Yandex sökmotor lagt till olika information till kodavsnittet som hjälper användaren att hitta sitt svar ännu snabbare och mer exakt. Till exempel, om en användare skriver namnet på en organisation i sin begäran, kommer Yandex att lägga till dess adress, kontaktnummer och en länk till platsen i geografiska kartor i utdraget. Om sökmotorn är bekant med strukturen på webbplatsen, som innehåller ett dokument med ett svar för användaren, kommer den definitivt att visa det. Dessutom kan Yandex omedelbart lägga till de mest besökta sidorna i en sådan webbresurs till utdraget så att besökaren, om så önskas, omedelbart kan gå till avsnittet han behöver och spara sin tid.
Det finns utdrag som innehåller priset på en produkt för en webbutik, ett hotell- eller restaurangbetyg i form av stjärnor och annan intressant information med olika siffror om objekt i sökdokument. Syftet med sådan information är att tillhandahålla en komplett lista med data om de föremål eller föremål som är av intresse för användaren.
I allmänhet, med olika exempel, kommer sidan med svar att se ut så här:
Ranking och bedömare
Yandex uppgift inkluderar inte bara att söka efter alla möjliga svarsalternativ, utan också att välja de bästa (relevanta). När allt kommer omkring kommer användaren inte att rota igenom alla länkar som Yandex kommer att förse honom med som ett sökresultat. Processen att organisera sökresultat kallas ranking . Det vill säga att det är rangordningen som avgör kvaliteten på de föreslagna svaren.
Det finns regler genom vilka Yandex bestämmer relevanta sidor:
- Webbplatser som försämrar sökkvaliteten kommer att nedgraderas i positioner på resultatsidan. Vanligtvis är dessa webbresurser vars ägare försöker lura sökmotorn. Det är till exempel sajter med sidor som innehåller meningslös eller osynlig text. Naturligtvis är det synligt och förståeligt för en sökrobot, men inte för en besökare som läser detta dokument. Eller webbplatser som, när du klickar på en länk i sökresultatområdet, omedelbart överför användaren till en helt annan webbplats.
- Webbplatser som innehåller erotiskt innehåll ingår inte i resultaten eller är kraftigt reducerad i rankning. Detta beror på det faktum att sådana webbresurser ofta använder aggressiva marknadsföringsmetoder.
- Webbplatser som är infekterade med virus sänks inte i sökresultaten och utesluts inte från sökresultaten - i det här fallet informeras användaren om faran med hjälp av en speciell ikon. Detta beror på det faktum att Yandex antar att sådana webbresurser kan innehålla viktiga dokument på begäran av en sökmotorbesökare.
Till exempel, så här kommer Yandex att rangordna webbplatser för frågan "apple":
Förutom rankningsfaktorer använder Yandex speciella prover med frågor och svar som sökmotoranvändare anser vara lämpligast. Ingen maskin kan göra sådana prover för tillfället - detta är människans privilegium. I Yandex kallas sådana specialister bedömare. Deras uppgift är att fullständigt analysera alla sökdokument och utvärdera svar på specificerade frågor. De väljer ut de bästa svaren och skapar en speciell träningsuppsättning. I den ser sökmotorn förhållandet mellan relevanta sidor och deras egenskaper. Med sådan information kan Yandex välja den optimala rankningsformeln för varje begäran. Metoden för att konstruera en sådan formel kallas Matrixnet. Fördelen med detta system är att det är motståndskraftigt mot överanpassning, vilket gör att du kan ta hänsyn till ett stort antal rankningsfaktorer utan att öka antalet onödiga betyg och mönster.
I slutet av mitt inlägg vill jag visa dig intressant statistik som samlats in av Yandex sökmotor under arbetets gång.
1. Populariteten för personliga namn i Ryssland och ryska städer (data hämtade från konton från bloggare och användare av sociala nätverk i mars 2012).
År 1863 skapade den store författaren Jules Verne sin nästa bok, "Paris under 1900-talet". I den beskrev han i detalj tunnelbanan, bilen, den elektriska stolen, datorn och till och med internet. Förlaget vägrade dock att trycka boken och den låg där i mer än 120 år tills den hittades av Jules Vernes barnbarnsbarn 1989. Boken gavs ut 1994.
