Ostatné 3 roky ma naučili, že je ťažké zvíťaziť, ale oveľa ťažsie je sa na prvom mieste udržať. V našom prípade bolo ťažké vybudovať firmu, ktorá rastie, no ešte ťažšie bolo pri tom raste udržať kvalitu. Napriek tomu, že sa o to všetci snažíme z plných síl, nie vždy sa to podarí. Toto je článok o tom, ako sa nám to nedarilo a poučenia z toho.
WebSupport zažil obrovský rast, na ktorý bolo ťažké sa pripraviť – ako tím, ako firma a aj technológiou. Kúpili sme jednu várku serverov a hneď bolo treba ďalšiu. Nikto z nás nemal skúsenosti s budovaním tak veľkej architektúry a procesov k tomu potrebných.
S predstihom, ešte v roku 2012, sme sa teda zhodli na mega projekte, ktorý by nám mal vyriešiť všetky problémy a zvýšiť kvalitu. Rozhodli sme sa úplne nanovo postaviť celú architektúru (hardvérovo aj softvérovo) a zo starej postupne premigrovať všetky služby. Do celej architektúry sme postupne vložili viac ako pol milóna eur a tisíce hodín našej práce.
Bol to ambiciózny projekt, s tými najlepšími úmyslami. Robili sme vec, ktorú tu v okolí nikto nikdy nerobil. Nikto nám nevedel pomôcť, poradiť. Síce tu existuje veľné know-how v enterprise riešeniach, ale webhosting je úplne iná galaxia.
Tento projekt nás kusisko posunul, ale zároveň priniesol problémy, ktoré vyústili do zníženej kvality. Náš zámer nám vyšiel tak na 50%.
- vyriešili sme viacero problémov starej architektúry
- pre nás a pre klientov pribudlo množstvo nových funkcií a možností
- perfektne sme vyriešili mailovú infraštruktúru, ktorá ide fakt super
- nasadili sme a používame config management (cfengine)
- naučili sme sa strašne veľa
- toto riešenie prinieslo niekoľko presne opačných efektov, ako sme plánovali
- znížená rýchlosť načítania niektorých webov
- častejšie výpadky, ako by bolo zdravé
- v konečnom dôsledku pribudlo aj veľa zmien, migrácií a updatov
- tieto negatíva spôsobili preťaženie helpdesku, a tým zníženie jeho kvality
Okrem toho všetkého nám prácu sťažovalo obrovské množstvo DDoS a hackerských útokov na našich klientov, spamovanie botmi, …
Tento blogpost píšem, lebo som cítil, že našich zákazníkov zaujíma, čo sa to dialo, a pretože sa nám podarilo väčšinu problémov vyriešiť.
Vývoj riešenia architektúry
- Brutálne rastieme (máme architektúru, ktorú voláme 1.0).
- 1.0 nám prestáva stačiť.
- Vymysleli sme a rozbehli ambiciózny projekt novej architektúry (tú voláme 2.0).
- Stále rastieme a postupne po cca roku a začatí migrácií zisťujeme, že na 2.0 musíme ešte veľmi veľa vecí optimalizovať a neslúži tak, ako sme si predstavovali.
- Ladíme veci a stále ďalej rastieme.
- Zistili sme, že VPS a maily idú na 2.0 výborne, ale pre hostingy to nebude to pravé orechové.
- Vytvárame novú architektúru iba pre hostingy a nazývame ju 1.2.
- Hostingy z 1.0 aj 2.0 presúvame na 1.2, ktoré bude finálne riešenie.
Terajší stav
- Konečne sme vytvorili skupinu architektúr, ktorá funguje dobre.
- Takmer 98% všetkých zákazníkov je premigrovaných zo starej 1.0 na nové architektúry.
- Nemáme už žiadne problémy s rýchlosťou (aj vďaka 1.2 architektúre, novému opcache a stovkám tuningov).
Ešte nie sme na konci
- Upgradujeme architektúru databázových serverov, aby boli ešte lepšie a dostupnejšie. Zároveň aspoň trošku automatizujeme neoptimalizované databázy klientov, ktoré im vyhackujú, alebo nemajú ani indexy atď.(už teraz je to pomerne OK, ale nie sme s tým úplne spokojní).
- Pracujeme aj na upgrade helpdesku: Prijímame nových helpdeskárov a školíme aj tých starých, aby boli ešte lepší. Monitorujeme tickety a requesty, ktoré posielate, a na ich základe vytvárame novú funkcionalitu, aby ste si vedeli robiť všetky veci jednoducho a rýchlo.
- Veľký focus venujeme projektom a nastaveniam, ktoré pomáhajú znižovať počet malých výpadkov. Aj to ide výborným smerom.
- Nový WebAdmin (ten nesúvisí s architektúrou, ale prinesie opäť kopec nových funkcionalít, lepšie UX a celkovo zvýši hodnotu pre vás – zákazníkov)
Hovorí sa: „Kto nič nerobí, nič nepokazí.“ Najväčšiu hodnotu má ale to, čo sa pritom naučíte. My sme si overili niektoré všeobecné frázy, ale asi sme si ich museli zažiť. Možno vám pomôžu:
- Silver bullet neexistuje. Jedno veľké riešenie, ktoré bude dobré na všetko, nie je dobré poriadne na nič.
- Je rozdiel, keď na 1000 serveroch beží jedna aplikácia vs. na jednom serveri beží 1000 aplikácií. To, čo funguje v jednom prípade, nemusí fungovať v druhom a opačne.
- Nerobte Ironmana, keď ste nezabehli ani maratón. Pokiaľ robíte projekt takej veľkosti, aký ste ešte nikdy predtým nerobili, a ani IT advisory board k tomu nevie dať stanovisko, postupujte pomaly a postupne. LEAN prístup.
- Nikdy nenahradzujte celú IT infra naraz. Vždy postupne. Aj keď to jednorazové vám príde logickejšie.
- Pokiaľ robíte niečo veľké, čo ste nerobili, zožeňte si niekoho, kto niečo také už robil. Nie niečo podobné, ale presne to, čo riešite vy. Pretože v konečnom dôsledku sa riešenia môžu brutálne líšiť.
- K času potrebnému na migráciu vždy pridajte 1-2 roky.
- Keď máte veľké centralizované riešenie, máte možno menej časté výpadky, ale keď to príde, tak je to šupa. Lepšie je mať viacero menších výpadkov.
- Na ľuďoch a procesoch záleží viac ako na technológiách.
- Aj ten najlepší nápad a snaha sú nanič, ak sa nedotiahnu do konca.
Samozrejme, za ostatné 3 roky sme sa vám snažili priniesť hodnotu aj v iných oblastiach. Pripravili sme niekoľko nových produktov a feature: virus scanner, webovú konzolu, obnovu na klik, The Hosting, WordPress hosting, Vlastná webstránka, množstvo nových domén, nové SSL, riešenia pre veľkých klientov, pripravili sme mnoho návodov a obsahu, ktorý vám pomáha nielen s hostingom, ale aj s podnikaním samotným.
Stále nie sme na konci a pri našom zmýšľaní a raste na konci ani nikdy nebudeme. Ale vďaka tomu ťažkému, čím sme si prešli, sme ešte viac odhodlaní spraviť pre vás maximum. Dávať klientom čo najviac hodnoty. Pomáhať im s ich biznisom. Snažiť sa byť vzorom. Neustále sa vyvíjať a zlepšovať.
Ďakujeme vám všetkým za podporu aj v ťažkých časoch. Vážime si to.
14 odpovedí na “Veľká skúška kvality WebSupportu”
Je pekne a cakal som dlho, cii pride nejaky podobny blog. Ono je to tak, robite veci ktore mi akotak nemame ako vidiet a potom nazory zakaznikov su take ake su.
Aj moje, 5 rokov boli za WS ale teraz omnoho su nazor a hodnota (typu: ked odporucam aky hosting a pod.).
1. neskutocne ste dobabrali The Hosting
2. nezamyslajte sa len na novych zakaznikov ale berte ohlad aj na starych a informujte ich o veciach ktore sa menia (mierim hlavne na The Hosting) A NIELEN MENITE TARIFY A FUNKCIE „POTICHY“! a clovek ked to nezisti včas tak je odpisany (furt mierim na The Hosting)
– no a teda aj co ste sami priznali je: 3. pomale nacitavanie a vypadky 🙂
– ale kazdopadne GL v tom co robite 🙂 a hadam raz sa dufam vratite do tych „starych“ kolaji ked ste boli FAKT super lebo teraz to je z pohladu zakaznika o DOST onicom 🙂
GL este raz
Vitam sebakritiku, ale business je business. Naozaj sa na Slovensku a hlavne v Cesku v IT robia o dost komplexnejsie projekty. Toto ste nezvladli nie ze by to bolo tazke, ale ste si moc verili, az do namysletnosti. Nestaci si precitat knizky o start-upoch, bez stastia ostava len sikovnost. Naozaj riesit veci ako OpenStack ked vas nato jeden z hlavnych kontributorov varoval ze to nie je dobry napad pre vas use-case tak ako ste to naplanovali? 🙂 Ale no, hlavne ze su funny gify. Drzim vam palce, profesionalita sa naspat ziskava tazko. A neurazte sa, tvrdu kritiku si zasluzite, sami viete ze ano.
diky moc za kritiku. vela sme sa z toho naucili (je to napisane aj v clanku). openstack vobec nie je zasadny problem pri tomto rieseni. boli to ine problemy, ktore to sposobovali a sposobuju. (vid. ten blogpost)
Veru „Kto nič nerobí, nič nepokazí.“ Som rad za infos (blogpost), aspon som lepsie v obraze. Cakam na status monitor, nieco ako https://status.basecamp.com/ 🙂 Drzim palce a prajem este zopar uspechov a vyriesenie naj problemov. Co sa tyka helpdesk, tak respekt. Sam viem niekedy ake tech otazky pisem (niekedy i blbost, ked znova citam po sebe po par hodinach:), ktorych zodpovedanie v baliku hostingu nemam, ale predsa dostanem aspon nejake to vyjadrenie, odporucanie, takze VDAKA.
diky moc miso 😉
Pekný článok, hneď ma potešilo, že ste toľko toho vyriešili a že konečne snáď už neuvidím chybu 503. Tak som sa rano prihlásil na mail cez roundcube pre doménu http://www.kuponyzdarma.sk/ a po asi 2 preklikoch znovu tá chyba 503. Tak snáď už to bude aspoň po menej ako doteraz 😉
Hneď po migrácii spravovaných webov na novú architektúru som bombardoval podporu, že mi to ide všetko o +1s pomalšie. Čo mi nakoniec dodatočne potvrdili aj grafy z Google Webmaster Tools. Od supportu som som však len dostával odpovede, že je všetko v pohode a nový super-mega-hosting je úplne úžasný – takže ten blbec som ja.
Vaše priznanie sa cení a máte u mňa malé plus.
No mňa totálne sklamal WS s prechodom na novú platformu. The Hosting je neuveriteľne pomalý. Stránky sa mi načítavajú aj 2-3x pomalšie ako predtým. MySQL databáza je fakt epic fail 🙁 Chalani som u Vás od roku 2007 a testujem všetky nové služby čo máte no stále je to podla môjho horšie a horšie. Často píšem že mi zbehávajú PHP skripty pomaly a SQL je každý týždeň dolu. Často dostávam odpoveď že ma posunuli na menej vyťažený server , no o týždeň som na tom rovnako ako predtým. Totálne ma sklamalo, že ste odobrali podporu Python, takže podobné veci musím riešiť cez micro-instance na AWS, čo mi príde ako sci-fi v dnešnej dobe 🙁 Prosím polepšite sa. Zafreezujte nové služby a vylaďte tie aktuálne. Takisto zmena cenníka by nemusela byť medializovaná štýlom zametenia správy pod koberec aby si to nikto nevšimol. To už aj iné firmy majú trošku cti aby po zmeny cenníku dali userom vedieť, že je niečo zmenené aspoň majlom (poprípade vysvetlením prečo)…..
Toto je to čo spôsobuje na novej architektúre to, že zmeny v PHP sa prejavujú od 1 do 10 minút?
Musím povedať, že za toto krušné leto som komunikoval s helpdeskom podstatne viac, ako za celé tie roky, čo som u vás so svojimi webmi. Spomalenie bolo len začiatok, výpadky v auguste a septembri ma stáli nie len pozície, ale aj príjmy… Myslím, že mi aj šedivých vlasov pribudlo :o) Som rád, že sa aspoň teraz dostalo von verejné vyjadrenie a verím, že sa všetko opäť zlepší. Nechcel by som sťahovať dvadsiatku webov inam. Boli ste super ešte nedávno a dúfam, že budete zas.
Ďakujeme za reakciu. Verte nám, že robíme všetko pre to, aby sme daný stav vyriešili.
Každý, kto chce kritizovať, nech si najprv skúsi nečo tak veľké rozbehnúť.
Ja Vám držím palce a som rád, že tu existujete pre nás.
Nech sa Vám stále darí !!!
Ďakujeme Jozef.
[…] clankov sme praveze davali vonku niekolko. aj v tomto blogposte to spominame napriklad: https://www.websupport.sk/blog/2015/09/velka-skuska-kvality-websupportu/ (a je ich […]