Highload junior blog

A nevem Oleg és én Bunin Developers Conference szervező erősen HighLoad ++ rendszerek. Ugyanakkor, én vagyok a vezetője a csapat, hogy a fejlett és a tanácsos sok nagy és látogatott orosz internetes projekteket.

Azt tanácsolta, projektek, mint például a Facebook, Sports.ru, Woman.ru, Imhonet, ITAR-TASS, RIA Novosti, Setup.ru, még azt is javasolja a kormánynak Moszkva. több

Megmondani, hogy mi highload, meg kell kezdeni, hogy meghatározza a kifejezés. Amikor megpróbálja „megoldani” a fogalom maga, kezd, természetesen közvetlen transzfer - nagy terhelés. több

Megpróbálom, hogy bekerüljön a „belek” és a „belek” backend webes szolgáltatás, és mondja, hogy ez a belső szerkezete befolyásolja a szolgáltatás hatékonyságát, valamint a termék jellemzői, és hogyan lehetne kihasználni ezt a kérelmet, hogy ellenálljon a nehéz terhek vagy úgy gyorsabban dolgozhat.

Melyik részét, amit én egy webes szolgáltatás backend, alkalmazás-szerver? A klasszikus építészet, ez az, ami mögött a http fordított proxy vagy terheléskiegyenlítő és másrészt talált az adatbázisban, memcashed és mások. Ez csak a back-end és lesz szó. több

A mai előadás, megpróbálom elmagyarázni, hogyan kell gondolni a tervezés során a nagy terhelésű rendszer. És az első dolog, fogunk tanulni - ez egy általános rendszer építése egy erősen kiszolgáló webes alkalmazások. több

Fogok beszélni nginx skálázható konfiguráció, de ez nem arról szól, hogy hogyan, mert nginx nem szükséges beállítani erre a nginx szolgálni több százezer egyidejű kapcsolatok. Meg kell tenni a megfelelő számú munkafolyamatok vagy tedd az „Auto”, tedd worker_connections 100.000 kapcsolatot, majd foglalkozik a kernel konfiguráció - sokkal globálisabb feladat, mint egyszerűen beállítás nginx. több

Van egy mester, hirtelen csökkent, de a rendszer továbbra is működik. Az ügyfelek vándorolnak második bázis. Be kell, hogy biztonsági másolatot adatbázisok. Ha készít mentést a fő bázis, akkor kap néhány teljesítmény problémák, nőtt a válaszidő. Ez rossz. Ezért meglehetősen gyakori példát aszinkron replikáció - az eltávolítása egy mentést, a szolga. Egy másik példa - ez a vándorlása nehéz lekérdezések szolga mesterek, a fő alapja a második. Például, a teremtés jelentéseket. több

Saját jelentés célja azoknak, akik ismerik a szó „replikáció”, még akkor is tudják, hogy a MySQL van, és talán egyszer a felállás, 15 perc alatt fordított és feledésbe merült. További róla, hogy nem tud semmit többet

Talán a legfontosabb különbség Developers Conference HighLoad ++ erősen sok más rendszerek nincsenek rejtett napirendet. Számunkra ez nem szükséges minden olyan személy vagy szervezet, amely olyan szabályokat, illetve folytató Vadászat a rendezvényen Bővebben

A téma Előadásom indexelik MySQL és a fejlett megmagyarázni azaz feladatunk az lesz, hogy válaszoljon a kérdésre: mi is megtudjuk segítségével EXPLAIN'a, hogy mit kell keresni? több

A kezdéshez csak egy pár szót arról, hogy mi lesz szó. Először is, mi a lekérdezés optimalizálás? Az emberek ritkán megfogalmazzuk, és úgy történik, hogy gyakran alábecsülik a megértését, hogy mit csinálnak. Meg lehet próbálni, hogy gyorsítsák fel egy adott lekérdezés, de ez nem feltétlenül kell optimalizálni. Mi egy kicsit a témában poteoretiziruem, akkor fogunk beszélni, amelyek vége az ügynek közeledtével, amikor kezd optimalizálja, hogyan kell csinálni, és hogyan kell érteni, hogy minden lekérdezés, vagy állítsa a lekérdezések nem lehet optimalizálni - ilyen esetekben is vannak, és akkor csak meg kell, hogy alakítsa Több

Most viszont, hogy a problémákat, hogy fogunk megoldani ma. Az egyik probléma - a nagy mennyiségű adat. Ha fejleszteni egy adott projekt, akkor bármikor előfordulhat, hogy az adatokat válik nagyon. Ha egy vállalkozás működik, ez hozza a pénzt. Ennek következtében több adat több pénzt, és ezeket az adatokat kell valamit csinálni, mert ezek a kérések végre hosszú ideig, és ne vegye ki a szerver elindul. Az egyik megoldás, hogy kezelni ezeket az adatokat - az adatbázis méretezés. több

Report született meg a következő beszélgetést. I, mint mindig, igyekezett meggyőzni Alexei Tarantool hosszabb használatra, és azt mondta, hogy még mindig nincs sharding és általában érdektelen. Aztán elkezdtünk beszélgetni arról, hogy miért nem. Elkezdtem mondani, hogy nincs egy kaptafára megoldások, az automatizálás teljes működik az Ön számára, és csak inni kávét és minden munkahelyen. Ezért ebben az esetben született -, hogy nézd meg, mi történik sharding, amely az eljárások, amelyekben rendszereket használnak, melyek az előnyei és hátrányai, hogy miért nem a „csodaszer” mindent megoldani? több

Sok profi bűvészek fogja megmondani, hogy ez most is, és jó végre PostgreSQL - a srácok Postgres Professional részeként ez a jelentés, mindent elárul a klaszter. több

Szeretném azzal kezdeni, hogy válaszolni arra a kérdésre, benchmarking. Tény, hogy vannak speciális konfiguráció semmi. Nem vagyunk nagyon nagy szakértők Redis és Memcached, de van egy pár fogantyút. Biztosítani kell, hogy compactification Redis adatok - ez komolyan befolyásolja a teljesítményt, azaz a van egy bizonyos módon kell tárolni kis készlet, listák, stb Meg kell venni. Mi, persze, ez magában foglalja, mint ha nem szerepel, akkor minden még rosszabb lesz, mert csak eszik sok memóriát. több

A nevem Eugene. Dolgozom az osztály Sberbank Digital Ventures - egy kis egység, amely az innovatív termékek és megoldások. Ie Mi teszi-prototípusok kereszteződésénél az új technológiák.

Ebben a jelentésben, akarom mondani, az Ön esetében a NoSQL-megoldásokat a felhasználó, így az elején szeretném röviden végig az elméletet. több

Fogunk beszélni, hogyan kell építeni alapuló szolgáltatások nginx és Tarantool - az első része ennek a jelentésnek, fogok bemutatni egy kicsit többet Upstream-modult. A második részben Andrew, kollégám fog beszélni, hogyan kell végrehajtani Tarantool sharding. És a harmadik rész - megmutatjuk, hogy tegyen jelentést a RPS, amely leytensi és milyen mutatókat sikerült eltávolítani az összes valós adatokat. több

Ma megmutatom, hogyan lehet pénzt megtakarítani a adatbázisokat egy csomó pénzt, például egy millió dollárt, mint mi. Először is a kérdést: miért van az, inkább használja az adatbázis, nem a megoldás, amit találtam? Adatbázisok - az üzletben, szervezettebb, mint egy fájlt, és egy sor, néhány jellemzője, hogy a fájl nem. több

Mit gondol, mi az a költség, prioritásos sor? Ie ha valaki, mondjuk, kimászik a felállás, hogyan kell kiszámítani a költségeket a teljes rendszer ebben a helyzetben, úgy, hogy az arányos? Idő ügyfélszolgálat (pl 5 perc szolgáljunk neki)? Ez arányos a várható számát, mert a várakozási idő mindegyik fog növekedni. több

Ebben a jelentésben, szeretnék beszélni átkelés RabbitMQ és Pipeline építészet, és hogyan kapcsolódik a cég munkáját. több

Az előadás lesz a dolog, ami nélkül nem tudsz HighLoad projekt - egy sorban szerver, és ha van ideje, azt fogja mondani a zárat. Azt fogja mondani, hogy hol és hogyan kell használni a sorban, mindez miért van szükség, azt fogja mondani egy kicsit a protokollokat. több

Áttekintés jelentés az alapvető belső szerkezete olyan modern kereső. Körülbelül egy rövid lista a dokumentumok és pozíciók, mind majd velük dolgozni keressen megfelelő dokumentumok (és más szolgáltatók), rendezésük rangsorolás letöltött dokumentumok készülnek, és dolgozni szűrés és összesítése további (nem szöveges) dokumentum tulajdonságait. Ahol lehetséges, hivatkozásokat az összes ismert kiviteli alakok (például, általában lehetőség van arra, ahogy az a Sphinx, a Lucene). több

A történet, hogy minden mérnöknek, hogy az élete, miután ő lett a gyermek apja, ültess fát, és épít egy házat - ez az, hogy a fájlok tárolására. több

Mi a skála, egyáltalán? Lehetőség van, hogy növelje a teljesítményt a projekt minimális idő hozzáadásával források.

Jellemzően méretezés során nem újraírás kódot vagy kiszolgálók hozzáadása vagy kiterjesztését a meglévő források. Az ilyen típusú megkülönböztetni a függőleges és vízszintes méretezés. több

Megmondom egy kicsit cache-t. Gyorsítótárral, általában nem nagyon érdekes, és vegye keshiruesh, úgyhogy többet mondani a memcached inkább intim részleteket. több

Megmondom az eszközöket nehéz projektek, caching, különösen memcached, Redis-e és RabbitMQ sorban szolgáltatást, vagy közös „nyúl”. több

A jelentés (és most a cikkben), Yuri elmondja, hogy Badoo van egy tökéletesen sík közötti terhelés a klaszter 200+ szerverek megvalósított automatikus kiválasztása súlyok és arra terjedt CPU használat 2,5% -kal, a csúcsforgalom. Ez fogja megmenteni mintegy 40-50 szerverek és javítja a válaszidőt a mobil helyet a csúcsterhelés. több