WVG Blog

Hosting u nás není jen o serverech a virtuálních strojích. My se zajímáme o to, jak věci fungují do hloubky, a nebojíme se technologie ohnout podle sebe. Proto jsme se pustili do oblasti, kterou většina hostingových firem vůbec neřeší: DWDM optických sítí. Co je DWDM a proč nás zajímá DWDM znamená Dense Wavelength Division Multiplexing, tedy husté dělení vlnových délek. Laicky řečeno: místo toho, abychom měli jedno optické vlákno pro jeden datový tok, rozdělíme ho na desítky nebo stovky „barevných kanálů“. Každý kanál pak nese vlastní datový přenos. Najednou se tak jedno jediné vlákno stane dálnicí s mnoha pruhy. V datových centrech, kde každý metr optického vlákna stojí peníze, to znamená obrovskou úsporu. Proč BiDi: dvě cesty v jednom vlákně Běžně se data posílají dvěma vlákny – jedno pro směr tam, druhé pro směr zpátky. Jenže optická vlákna nejsou levná. V Praze stojí pronájem i kolem 2 Kč za metr měsíčně. To znamená, že pokud máme trasu o délce kilometr, platíme každý měsíc 2 000 Kč za jedno vlákno. A protože běžně potřebujeme dvě, je to hned 4 000 Kč měsíčně. My používáme BiDi (bidirectional) přenos, tedy obousměrný provoz po jediném vlákně. Cena je okamžitě poloviční. A co je důležité – druhé vlákno by nám nezvýšilo redundanci, protože jde stejně tou samou trasou. Takže bychom jen platili dvojnásobek za nic. Laicky řečeno: Je to jako kdybyste měli dálnici – někdo říká, že potřebujete dvě, jednu na jízdu tam a druhou zpátky. My používáme jeden pruh s chytrým řízením, kde se zvládne provoz v obou směrech. Výsledek? Stejné služby, poloviční náklady. Co jsou to EDFA zesilovače EDFA znamená Erbium-Doped Fiber Amplifier. Je to optický zesilovač, který dokáže zesílit světelný signál přímo ve vlákně. Uvnitř je kousek vlákna „nabuzený“ prvkem erbium. Když se do něj pustí silný laser na speciální vlnové délce, erbium dodá energii signálu a zesílí ho bez převodu na elektriku. To je důležité – běžně byste museli světlo převést na elektrický signál, zesílit ho zesilovačem a zase zpět převést na světlo. To by bylo pomalé a drahé. EDFA to zvládne přímo v optice a je proto základní stavební kámen moderních DWDM sítí. Naše cesta: od two-stage k single-stage Používáme legendární CISCO-EDFA3. Původně jsou to two-stage zesilovače – tedy dvoustupňové: nejdřív slabý pre-amp, pak silný booster. To se hodí pro klasické trasy, ale pro naše BiDi nasazení to není ideální. Proto jsme se rozhodli každý stupeň oddělit a použít samostatně. Jeden stupeň funguje jako zesilovač pro směr TX, druhý pro RX. Tím máme nezávislé řízení pro oba směry a můžeme ladit výkon přesně podle potřeby. A upřímně – když to Cisco v devadesátkách navrhovalo, asi fakt netušilo, že někdy budeme přes jejich EDFA3 tahat 100Gbit/s PAM4 linky. Ale jak se ukazuje – kvalita tehdejší konstrukce je pořád skvělá a v mnoha ohledech předčí i některé moderní „lesklé krabičky“. EDFA-1 – otevřené šasi s masivním chlazením. Resistorová destička: tajemství úspěchu Abychom mohli oba stupně oddělit, museli jsme řídicí elektronice „namluvit“, že je vše v pořádku. Jinak by vyhazovala chyby. Řešením byla resistorová destička – speciální odpory v řádu stovek megaohmů. Jsou tak vysoké, že jsou pro běžné měřáky téměř neměřitelné, ale pro řídicí obvody mají zásadní význam. Hodně jsme ladili, testovali různé hodnoty a kombinace. Výsledek je stabilní provoz, bez falešných alarmů a se zachovanými ochrannými funkcemi. Každý stupeň běží samostatně a přesně podle toho, jak potřebujeme. A protože se nám úprava povedla, udělali jsme to hned u několika dalších kousků. Na aftermarketu jsme jich koupili hromadu za zlomek ceny, a dnes máme zásobu, která by vystačila i na menší optický velkoobchod. Investice, která se vyplatila! EDFA-2 – detail PCB a fotodiody před úpravou. EDFA-3 – naše PCB s resistorovou destičkou vložené do EDFA3. Co jsou to 100G PAM4 moduly Vedle zesilovačů je klíčová i samotná modulace. Běžné 100G moduly používají NRZ (Non-Return-to-Zero), což znamená, že světlo svítí buď 0 nebo 1. PAM4 (Pulse Amplitude Modulation, 4 úrovně) používá místo toho čtyři různé úrovně jasu. Prakticky to znamená, že přenášíme dvojnásobek informací na stejnou šířku pásma. Signál je sice citlivější na šum a zkreslení, ale když máme dobře nastavený OSNR a čisté filtry, funguje to skvěle. Díky tomu dokážeme posílat 100G po kanálech, kde by jinak bylo potřeba složitější a dražší řešení. Jednoduše řečeno: Představte si, že místo toho, abyste měli jen 0 a 1, máte 0, 1, 2 a 3. Každý symbol nese víc informací, a tak zvládnete přenést víc dat za stejný čas. Výsledek: funguje to a stojí zlomek ceny Po měsících ladění jsme spokojení: kombinace flat-top filtrů, 100G PAM4 a upravených EDFA funguje spolehlivě a krásně. A k tomu s jistou dávkou ironie – staré Cisco EDFA3 mají v reálu lepší OSNR než kdejaké novější „all-in-one“ DWDM krabičky, které stojí desítky tisíc dolarů. Celé řešení nás stojí zlomek ceny oproti hotovým blackboxům. A navíc – díky tomu, že rozumíme technologii do detailu, dokážeme nabídnout službu, která je levnější, spolehlivější a transparentnější. A to je přesně to, co chceme – aby naši klienti měli špičkovou konektivitu za férovou cenu.

V rámci naší cloudové infrastruktury jsme se rozhodli jít jinou cestou. Chtěli jsme úložiště, které nebude jen "stačit", ale bude rychlé, spolehlivé, tiché a připravené růst spolu s nároky moderních aplikací. Výsledek? Vlastní high-performance NVMe JBOF řešení, postavené na 100Gbps síťové technologii a šasi HPE J2000, které jsme si upravili na míru. HPE J2000 samo o sobě není typické úložiště. Je to PCIe switch enclosure – pasivní šasi bez procesoru, bez řadiče, bez softwaru. Jen rychlé PCIe dráhy a spousta místa pro NVMe disky. Přesně to, co potřebujete, když chcete výkon bez kompromisů. Skutečné srdce? GigaIO Kazan Onyx2 Uvnitř ale nejsou jen disky – hlavní roli hrají Kazan Onyx2 karty od GigaIO. Ty totiž fungují jako NVMe-oF targety, což je technicky řečeno způsob, jak zpřístupnit NVMe disky přes síť – a to extrémně rychle a bez zbytečných vrstev. Díky tomu si může každý hypervizor v clusteru sáhnout na disk, jako by byl lokálně připojený. Pro běžného smrtelníka? Znamená to, že každý virtuální server, každý cloudový systém, má přímý a rychlý přístup ke svým datům, bez prodlev a bez přetížení, jaké známe ze starších storage řešení. Hardwarový tuning: ne vždy stačí továrna V ostrém provozu jsme zjistili, že Kazan karty se přehřívají – při běžné teplotě v serverovně (23 °C) měly až 43 °C a větráky hučely na 14 000 ot/min. Takže místo tichého úložiště jsme měli tryskové letadlo. Řešení? Naše vlastní chlazení: upravili jsme airflow tunely, vyměnili hliníkové chladiče za měděné a doladili průtok vzduchu. Výsledek: 30 °C a 8 000 ot/min. Ticho, úspora energie, delší životnost – a hlavně žádný kompromis s výkonem. 100Gbps páteř, která nestíhá zčervenat Každé JBOF je zapojeno do naší 100Gbps fabric sítě a využívá NVMe over Fabrics (NVMe-oF). Díky tomu jsou všechny disky okamžitě dostupné z libovolného serveru v clusteru, a to s latencí pod jednu milisekundu. Žádné klasické NFS, žádné bottlenecky. A hlavně: bez centralizovaného úzkého hrdla. Potřebujeme více výkonu? Přidáme další disky, další JBOF nebo celý další rack. Škálování jako LEGO, ale pro datová centra. Izolované RAIDy: výkon i bezpečnost bez kompromisů Každý disk přidělený zákazníkovi je součástí vlastního RAID1 svazku – a to napříč 2 až 3 JBOFy umístěné ve třech různých lokalitách. Ano, čtete správně – i jeden zákazník má k dispozici svůj vlastní redundantní diskový prostor, zcela oddělený od ostatních. Odolnost proti výpadku celé lokality? ✅ Bezpečnost dat a přístupů? ✅ Možnost live migrace mezi lokalitami? ✅ Žádné sdílení výkonu ani IOPS? ✅ Výkon, co byste čekali spíš u lokálního SSD Díky NVMe-oF, přímému přístupu a absenci middlewaru dosahujeme výkonu, který se běžně spojuje s lokálními NVMe disky: až 700 000 IOPS pro čtení až 350 000 IOPS pro zápis sekvenčně až 6 000 MB/s čtení sekvenčně až 4 000 MB/s zápis A to vše na jedno jediné VM. Bez front, bez sdílení, bez hádek o výkon. Je jedno, jestli provozujete databáze, CI/CD, AI modely nebo cokoliv mezi tím – tohle řešení s vámi poroste. Potřebujete dvojnásobek výkonu? Přidáme další JBOF. Potřebujete jinou lokalitu? Zapojíme další. Naše architektura je modulární a lineárně škálovatelná – to znamená, že výkon roste s každým novým blokem, bez nutnosti zásadní přestavby. Chytré řízení jako třešnička na dortu Za celým řešením stojí náš vlastní cluster management systém, který monitoruje každý disk, RAID, hypervizor i migraci. Pokud VM potřebuje změnit lokalitu, provede se jen jednoduché: RAID se odpojí ze zdrojového serveru, a znovu se připojí na cílovém, protože díky NVMe-oF je každý disk dostupný odkudkoliv. A to vše bez čekání na replikaci nebo přesun dat. Závěr? Výkon, škálovatelnost, klid na duši Naše NVMe JBOF infrastruktura je postavená tak, aby: byla extrémně rychlá a škálovatelná, odolala i výpadku celé lokality, zajistila plnou izolaci výkonu pro každého klienta, umožnila živé migrace VM bez výpadků, a hlavně – byla připravena na budoucnost. Tohle není další „shared storage“ s fancy názvem. Tohle je infrastruktura postavená techniky pro techniky, která zohledňuje reálné potřeby vývojářů, provozáků i náročných zákazníků. Sledujte náš blog, chystáme další technické detaily, tuningy a fotky z provozu – teprve začínáme.

V našem cloudu jsme si vyvinuli vlastní zálohovací systém, který umožňuje živé zálohování běžících VM bez výpadku, zátěže a s možností obnovy během několika minut. Nepoužíváme žádné krabicové řešení – vsadili jsme na kombinaci KVM drive-mirror, vlastního NBD filtru a archivních serverů s ZFS a SSD. Živá replikace pomocí KVM drive-mirror Každý zákaznický VM v našem cloudu běží na výkonném NVMe úložišti. Na úrovni jednotlivých disků aktivujeme KVM drive-mirror, který umožňuje, aby se veškeré změny na disku v reálném čase zrcadlily na druhé úložiště. Tímto způsobem proudí data do backup serverů – specializovaných strojů s SSD a ZFS. Pro běžící VM se nic nemění – každý zápis se zároveň replikuje a archivuje, a to naprosto tiše a bez zpomalení. Archivní servery s dedikovaným ZFS Backup servery nejsou žádné záložní hypervizory – jejich jediný úkol je ukládat data a spravovat verzované snapshoty. Díky použití SSD: provádíme paralelní zápisy z mnoha VM najednou, udržujeme stovky snapshotů denně, umíme obnovit data do jakéhokoli bodu v čase, to vše bez dopadu na produkční výkon. Efektivita díky vlastnímu NBD filtru Aby nebyly zálohovací servery zahlcené zbytečnými daty, vytvořili jsme vlastní NBD filtr, který analyzuje každý blok dat. Pokud se zapisovaná data neliší od těch stávajících, zápis se přeskočí. To znamená: méně zbytečných zápisů, úsporu IOPS a delší životnost SSD, častější a efektivnější zálohy. Zatímco jiné systémy vytvářejí snapshot jednou denně, my zálohujeme v reálném čase s inteligentní deduplikací už při zápisu. ZFS snapshoty: verzování, klonování, obnova ZFS se na našich backup serverech stará o automatické verzování dat pomocí snapshotů. Ty lze nastavit třeba každou hodinu a slouží jako časové záchytné body pro rychlou obnovu. V případě potřeby lze snapshot okamžitě klonovat jako nový disk a připojit ho k VM. Obnova trvá jen minuty a nevyžaduje žádné kopírování image. Co z toho mají naši zákazníci? ✔ Živé zálohy bez zpomalení VM ✔ Snapshoty verzované přímo na zálohovacím serveru ✔ Obnova do libovolného bodu v čase – během minut ✔ Samostatná zálohovací infrastruktura mimo produkci ✔ Chytrá deduplikace šetří místo i hardware ✔ Možnost zálohovat klidně každou hodinu Závěr: zálohování, které nezdržuje. Obnova, která trvá minuty. Zálohujeme chytře a efektivně – protože jsme si vše navrhli sami. Žádné čekání na nightly snapshoty. Každá změna je okamžitě uložena a připravená k obnově. Díky kombinaci ZFS, SSD a vlastního filtru je celý systém rychlý, bezpečný a udržitelný. O zálohách se často mluví – my je hlavně děláme pořádně. Sledujte náš blog, další technické detaily přineseme brzy.