Zväčšujúce sa nároky na dátove prenosy v rámci našej siete, ale aj do internetu nás postavili pred úlohu modernizácie siete. Našu sieť sme budovali v roku 2013 a po 4 rokoch služby nám už kapacitne, výkonnostne, ale ani svojím dizajnom nepostačovala. Preto sme sa rozhodli k rozsiahlej prerábke, ktorá nám priniesla zvýšenie stability, odolnosti voči útokom a zvýšila kapacitu prepojov medzi jednotlivými rackmi až 8 násobne.
Pôvodná sieť pozostávala z centrálnej dvojice 10 Gbit switchov Cisco 4500X. Tie slúžili zároveň ako hlavné switche siete, ale aj ako L3 routre pre konektivitu do internetu. Avšak zvyšujúce sa nároky na dátové prenosy po sieti ukázali, že nám dochádzajú možnosti rozšírenia siete o ďalšie 10 Gbit porty a ani 1Gbit pripojenie pre koncové servery nebude dostačujúce. Sieť bola postavená tak, že servery boli pripojené 1+1 Gbit/s do top-of-rack switchov, ktoré boli pripojené 2x 10 Gbit/s do hlavných switchov.
Ako krátkodobé riešenie sme zakúpili dvojicu 48 portových 10 Gbit/s switchov Dell S4048-ON. To nám umožnilo pripojiť nové racky a zariadenia 2 x 10 Gbit/s. Stále sme však “narážali” na dizajnový problém siete. Konkrétne, zranitelnosť celej siete pri výpadku hlavnej dvojice switchov. Na druhej strane ani zapojenie top-of-rack switchov nebolo jednotné. Nejednodnosť spočívala v tom, že niektoré switche boli zapojené ako samostatné, teda neboli v stacku resp. spojené vo virtualných switchoch (VSS, VLT.), a naopak, niektoré boli.
Preto sme sa rozhodli o paralelné budovanie novej hlavnej siete, s dostatočnou kapacitou aj do budúcnosti. Počas prerábky sme sa rozhodli úplne zjednotiť zapojenie top-of-rack switchov, prípadne niektoré switche nahradiť novou generáciou switchov. Dnes už servery bežne pripájame 2x 10Gbit/s do top-of-rack switchov a celé racky pripájame k hlavnej sieti až 8x 10Gbit/s.
O prerábke celej siete sme sa rozprávali s Romanom Zelenajom, ktorý je sieťovým architektom v spoločnosti Lightstorm Services. Výsledkom našej spolupráce je výrazne robustnejšia sieť pre klientov s dvojnásobnou rýchlosťou pre sieť a diskové pole.
Prečo ste zvolili L3 routed core network? Aké výhody má voči predchádzajúcemu návrhu siete?
Roman: Sieťová infraštruktúra bola pôvodne dizajnovaná tak, aby v sieti neboli žiadne slučky. To znamená, že žiadna linka nebola blokovaná STP protokolom, všetky linky boli agregované pomocou LACP a bolo možné ich plné využívanie dátovou prevádzkou. Čo sa týka spanning-tree protokolu, tak v minulosti bol problém s interkompatibilitou zariadení. Tento problém s kompatibilitou nebol úplne zjavný, avšak za určitých okolností to dokázalo zmiasť switche, a aj keď nemali, odrezali port, čo v niektorých prípadoch znamenalo degradáciu alebo znefunkčnenie časti služieb.
Hlavný dôvod, prečo je použitý RSTP protokol a MSTP bolo zrušené je to, že MSTP protokol nie je podporovaný v Dell zariadeniach v režime VLT (Cisco vPC ekvivalent). Preto bolo v niektorých situáciách potrebné kombinovať RSTP a MSTP, čo ale nie je best-practice. Na výber bol ešte protokol PVST, avšak tak, ako je momentálne sieťová infraštruktúra dizajnovaná (žiadne slučky), nie je potrebné robiť optimalizáciu liniek, keďže všetky linky sú aktívne.
Čo sa týka routovaného core segmentu siete, tým, že sme rozdelili core a edge, zvýšili sme spoľahlivosť siete a jej odolnosť voči potenciálnym problémom s routingom, či už v rámci datacentra alebo medzi datacentrom a upstream providerom. To, ako je teraz sieť zapojená toleruje zlyhanie viacerých komponentov s minimálnym dopadom na prevádzku.
Aké benefity má toto riešenie pre budúcnosť siete, stabilitu a možnosti jej rozšírenia? Ako to pocítia naši zákzaníci?
Roman: Na pochopenie priamych benefitov je potrebné uvedomiť si niekoľko vecí. Prvá vec je to, že pokiaľ nefunguje sieť správne, trpia všetky služby. Druhá vec je zmena toho, ako sa vyvíja charakter komunikácie klient-služba a komunikácia v rámci služby (komunikácia medzi servermi v rámci danej služby). V minulosti bol dominantný smer north-south, to znamená, že značná časť komunikácie bola iba medzi klientom a serverom, ku ktorému daný klient pristupoval. Postupne ako sa technológie vyvíjali, začal sa meniť aj charakter komunikácie. V dnešnej dobe, je väčšina dátovej prevádzky práve v rámci datacentra medzi servermi – east-west. Pribudla k tomu komunikácia medzi servermi a úložiskami, čo je tiež east-west traffic.
Konvergencia sieti (dáta + storage cez zdieľané médium) umožnila ušetrenie nákladov na samostatné SAN a zároveň zjednodušila škálovanie celej infraštruktúry. Ďalšia nezanedbateľná vec je, že servery sú v pripájané do siete pomocou X * 10Gbit/s portami, čo samozrejme zvyšuje priepustnosť, znižuje odozvy a tým pádom sú poskytované kvalitnejšie služby.
Jednou z výhod nového distribuovaného core je to, že core boxy a top-of-rack switche nie sú zapojené v režime stacku ale VLT. Tým, že zariadenia majú nezávislú “control plane”, neovplyvní to navzájom switche. V novej architektúre je možné robiť upgrade firmware zariadení. Má to minimálny dopad na infraštruktúru a je to možné robiť prakticky bez výpadku. Zároveň, ak by bol nejaký problém na edge časti siete, nemalo by to mať vplyv na funkcionalitu v rámci datacentra (east-west traffic).
Tým, že je sieť aktuálne bez slučiek, sú využívané všetky linky, čím je dvojnásobne zvýšená priepustnosť medzi core zariadeniami a rackom. Presunutie routingu do nového core umožnilo vypustiť protokol VRRP (HSRP) a využiť funkcionalitu VLT Peer-proxy, čo znamená to, že obe aktívne zariadenia, dokážu obsluhovať dátovú prevádzku.
Ako prebiehal prechod na novú sieťovú architektúru?
Roman: Bezbolestne a s minimálnym dopadom na infraštruktúru. Keď sa staval nový network, bol úplne nezávislý, čo umožnilo otestovanie rôznych scénárov výpadkov bez toho, aby to akokoľvek vplývalo na bežiacu infraštruktúru. Po tom, čo sa otesovala správna funkčnosť novej siete, boli obe prepojené. Siete boli prepojené 2x 40Gbit/s linkami, čo dávalo slušnú rezervu na dátovú a storage prevádzku.
Migrácia na novú sieť prebiehala „prelievaním“. Príklad, rack mal uplink X * 10Gbit/s. Vypla sa polovica týchto uplinkov a vo vypnutom stave sa prepojili do novej siete. V dohodnutý čas, nastala situácia, že sa vypol uplink do starej siete a v tom momente sa oživil prepoj do novej siete. Toto malo za následok výpadok v trvaní pár sekúnd (< 5s) a nasledne ozivenie.
Počas toho, ako sa presúvali racky, boli presúvané aj gateway do nového core. Ako bolo spomenuté vyššie, čo sa týka gateway, tak jedna z najväčších výhod tohto riešenie oproti predchádzajúcemu networku je využívanie routovacích zdrojov na 100% (žiadne pasívne boxy v HSRP a podobne.)
Presúvanie routingu medzi ISP a WebSupportom prebiehalo tak, že upstream provider pripravil ďalšie prepojie určené pre BGP, avšak tieto linky zozačiatku neboli využívané a bolo vytvorené iba BGP spojenie. Počas toho ako sa presúvali default gateway-e zo starého networku na nový, začali postupne edge zariadenia oznamovať tieto siete cez nové linky až do stavu, pokiaľ v starom networku neboli žiadne gateway a neboli oznamované žiadne siete a bolo možné staré BGP uplinky úplne vypnúť.
A čo racky?
Roman: Samotné racky sme presúvali fyzickým “precvaknutím” z jednej siete do druhej, čo sprevádzala niekoľko sekundová nedostupnosť služieb. Konektivitu do internetu sme presúvali pomocou zmeny BGP priority pre rôzne linky.
Zaujímavosťou však bol prechod diskového poľa do novej siete, ktorý ste aj komunikovali vopred klientom a informovali ich. Vtedy sme najprv “precvakli” pasívny controller a následne vykonali fail-over produkcie zo starej siete do novej. Prevádzka sa do niekoľkých desiatok sekúnd obnovila a služby VPS bežali nepretržite ďalej.
Separátnou kapitolou bola zmena konfigurácie blade chassis, kde sme menili taktiež spôsob zapojenia zo separátnych switchov na switche spojené vo VLT. Tento prechod bol spojený s prechodom z active-passive módu na active-active pre jednotlivé blade servery. To všetko za behu s minimálnym dopadom na beh služieb zákazníkov.
Vďaka tomu, že sa snažíme držať veľmi nízku agregáciu pri virtuálnych serveroch sme mali dostatočnú kapacitu, kedy sme na niekoľko dní mohli z celého jedného chassis presunúť všetky VPS na druhé chassis. Treba však dodať, že jedno chassis má plne osadených 16 blade serverov, kde každý má 256 GB RAM a aspoň 40 logických jadier.
Výsledkom je výrazne robustnejšia sieť pre klientov so dvojnásobnou rýchlosťou pre sieť a diskové pole.
Ako si spokojný s prevádzkou a správou siete po takmer roku od prerábky? Aké rozhodnutia sa ukázali ako správne a čo by bolo prípadne dobré ešte vylepšiť do budúcna?
Roman: Maximálna spokojnosť. Od nasadenia nového networku nebol žiaden problém s STP alebo nejakými slučkami. Okrem prevádzkových zmien (konfigurácie portov, vlan, pridávanie račkov), neboli robené žiadne zmeny v architektúre. Taktiež sa neobjavili ani žiadne pricipialne problémy. Tak ako bolo počas návrhu plánované, prevádzka siete ide veľmi hladko. Tým, ako je sieť nadimenzovana, počítame s rastom infraštruktúry a dátových prenosov bez potrebných zmien v sieti. Ak by bola potrebná zvýšiť priepustnosť infraštruktúry, je to možné bez potrebných zmien v architektúre. Tým pádom sme pripravený čeliť aj navacsim výzvam čo sa týka dátových prenosov.
Vieš povedať viac k monitorovaniu siete?
Roman: Sieť monitorujeme na 3 úrovniach:
- Dátové prenosy – dátové prenosy sú monitorované pomocou sFlow (PRTG/Elasticsearch). Táto technológia nám umožňuje monitorovanie dátových tokov v rámci siete a medzi datacentrom a internetom. V prípade, že by niečo výrazne vyťažovalo sieť, vieme presne identifikovať server a typ služby, ktorá takéto niečo spôsobuje.
- Sieťové metriky – pomocou monitorovacieho nástroja sú zbierané informácie zo sieťových zariadení, čo nám umožňuje sledovať vyťažovanie a trendy jednotlivých prvkov v sieti. Taktiež nás to informuje o možných problémoch ako sú dostupnosť zariadení, počítadla, stavy rozhraní a podobne
- Logovanie – vzhľadom na množstvo zariadení, je neefektívne prihlasovať sa na zariadenia a sledovať logy. Je potrebné tieto logy agregovať a následne vizualizovať pre lepšiu predstavu.
Máte nespočet certifikácií a partnerstvo s Dellom. V čom vynikáte?
Roman: Čo sa týka LightStormu, naši zamestnanci sú na úrovni medzinárodne uznávaných certifikácií (CCNP, VCP6-DCV, RHCE), čo nám umožňujne chápať rôzne infraštruktúry ako celok a nie len ako časť infraštruktúry. Chápeme požiadavkám zákazníka a trendom, ktorými sa informačné technológie uberajú. Schopnosť rýchlej adaptácie nám umožňuje fungovať na najnovších technológiách a tým byť v popredí pred konkurenciou. Boli sme medzi prvými na svete, ktorí sme nasadzovali routovací box od DELL – S4248 a pomohli sme odstrániť dokonca niekoľko bugov.
Nebojíme sa hľadať limity nových technológií. Sme Dell Gold Partner na dodávku hardvéru + spolupracujeme s Dellom v pre-sales fáze a deployment fáze pre rôznych zákazníkov a dodávateľov. Najlepší partner sme preto, lebo so zákazníkmi pracujeme na individuálnej úrovni a snažíme sa pochopiť potreby zákazníka individuálne. To znamená, že sa nejedná o to, že máme nejaký zaužívaný spôsob a ten aplikujeme zakaždým. Všetky riešenia, ktoré poskytujeme, sú „ušité na mieru“.
Vzhľadom na širokospektrálne zameranie (Network, Storage, Server, Security, DevOps, Software Development, Docker, Kubernetes) dokážeme zákazníkom pomôcť prekonať aj tie najťažšie výzvy.