9 perc olvasás

Túl a TaaS-on: Hibrid QA együttműködés egy banki projektben

Hogyan és miért váltottunk T&M-ről Testing as a Service, majd hibrid modellre egy banki hitelezési projektben? Esettanulmány.

Tartalomjegyzék

A projekt háttere

Ügyfelünkkel, az egyik vezető regionális bankcsoporttal való közös munkánk azért is különösen értékes, mert az évek során együtt alakítottunk ki egy olyan működési modellt, amely jól illeszkedik a változó igényekhez, hosszú távon is fenntartható, és közben megfelel a magas szintű QA-elvárásoknak.

 

A klasszikus erőforrás-alapú, azaz a Time & Material típusú együttműködések egy bizonyos csapatméret felett jelentős belső menedzsmentkapacitást igényelnek az ügyfelek részéről. A napi operatív feladatkiosztás, a toborzás, az onboarding és a szakmai felelősségvállalás terhe ebben a szerződési formában a belső vezetőkre hárul. Erre kerestünk egy olyan megoldást, ami mindkét fél számára hosszú távon is előnyös lehet.

 

Az alábbiakban bemutatjuk, hogyan alakítottuk át a bankcsoport lakossági hitelezési projektjének minőségbiztosítását a hagyományos T&M modellből egy szolgáltatásalapú Testing as a Service (TaaS) modellé, és hogyan fejlesztettük azt tovább hibrid működéssé.

 

A projektről röviden

Iparág  Bankszektor, digitális lakossági hitelezés
Földrajzi hatókör Regionális, több országban működő nagyvállalat
Cégméret 10.000+ fő
A megrendelő kérése  Workflow alapú hitelezési alkalmazás minőségbiztosítása hazai és nemzetközi projekteken. A cél egy olyan központi keretrendszer validálása volt, amely weben és mobilon (Android, iOS) is lehetővé teszi a gyors lakossági hiteligénylést.
A projektbe bevont szakemberek a TestIT részéről  8–11 fős dedikált csapat, amelyben vannak:
  • manuális tesztelők (junior, medior, senior szinteken)
  • tesztautomatizáló mérnökök (senior, medior szinteken)
  • tesztmenedzserek / service managerek
A TestIT csapata által elvégzett feladatok számokban, negyedévente átlagosan 
  • 3000 tesztlépést írunk
  • 650 lépést automatizálunk
  • 10.000 lépést futtatunk manuálisan
  • 12.000 lépést regressziózunk manuálisan
  • 5.000 lépést futtatunk automatával
  • 9 performancia futtatás, 3 maintenance
Alkalmazott technológiák és eszközök 
  • Robot Framework
  • Appium
  • Apache JMeter
  • Android Studio
  • JIRA
  • JIRA Xray
Speciális kihívások
  • Országonként eltérő EU-s és nem EU-s szabályozások
  • Egyedi hitelbírálati folyamatok és adatkezelési előírások
  • IT design specifikáció struktúra megértése
  • Folyamatos CR-k kezelése spec és fejlesztési oldalon
  • Szoros release-határidők
  • Integrációs környezeti bizonytalanságok
Szükséges szaktudás és soft skillek
  • Keyword-driven teszttervezés
  • API tesztelés (Postman)
  • SQL, CI/CD folyamatok ismerete
  • Lakossági hitelezési domain tudás
  • Proaktivitás
  • Gyors tanulási képesség
  • Adatbázis tesztelés

Amikor a T&M modell kevésnek bizonyul, akkor jön a TaaS

A banknál elindult agilis átalakulás során termék- és témakörfókuszú szervezeti egységek, úgynevezett tribe-ok jöttek létre. A TestIT a lakossági hitelezési folyamatokért felelős tribe-hoz csatlakozott.


A projekt célja az volt, hogy az országosan kialakított hitelezési keretrendszert a külföldi leányvállalatokhoz is kiterjesszék, az adott ország helyi szabályozásaihoz és piaci sajátosságaihoz igazítva. A tesztelés ebben a szakaszban az SST-re (System Standalone Test) korlátozódott, azaz nem integrált környezetben végeztük a funkcionális komponensszintű validációt.

Együttműködésünk klasszikus T&M konstrukcióban indult, tesztautomatizálási fókusszal. Kollégáink elkezdték kialakítani az automatizálási keretrendszert, de a projekt előrehaladtával új igények jelentek meg: manuális tesztelőkre és tesztmenedzsment-kapacitásra is szükség lett. A tesztelési tevékenységek fokozatos növekedésével az ügyfél oldalán felmerült az igény egy skálázható megoldás kialakítására a jól formalizálható ismétlődő feladatokra és egy hatékonyabb működési keretre: kialakítható-e egy gyorsan és rugalmasan skálázható tesztelési kapacitás és átvehető-e a működés nagyobb felelősséggel? Ezzel párhuzamosan mi is kerestük a T&M és a fix projektközelítés közötti szolgáltatásalapú alternatívát.

Így javasoltuk az ügyfélnek a Testing as a Service (TaaS) modell bevezetését. A TestIT legújabb szolgáltatását sok évnyi, QA projektekben szerzett tapasztalatainkra és a mai piaci igényekre alapozva alakítottunk ki, mert úgy gondoljuk, hogy ilyen és hasonló együttműködésekre mindkét fél számára jó megoldást nyújt.

A megközelítésünk: Átállás a TaaS modellre

Mielőtt elkezdtünk volna az új modellben szolgáltatni, először meg kellett határoznunk azokat a feltételeket, amelyek mellett a TaaS az adott projektben jól tud működni. Ehhez mi a következőket vállaltuk:

  • Kialakítjuk a szükséges belső tudásanyagokat.
  • Kézben tartjuk az onboarding folyamatokat.
  • Mi felelünk a feladatok házon belüli elosztásáért és ütemezéséért.
  • Átlátható elszámolást biztosítunk, felhasználás (pay per use) alapú konstrukcióban.

 

Ezzel a T&M-ben tipikusan jelentkező napi operatív feladatkiosztási és mikromenedzsment terheket rögtön levettük a belső vezetők válláról. Az egyetlen kérésünk pedig az volt, hogy a szakmai döntéseket a megbeszélt határidők és célok mentén mi hozhassuk meg.

A kezdeti teszteset-alapú elszámolásról hamarosan átálltunk a pontosabb tesztlépés-alapú (test step) elszámolásra, ami reálisabban tükrözte az elvégzett munka volumenét. A TaaS-modell immár évek óta eredményesen működik.

Folyamatábra: az ügyfél kapcsolattartója a service managerrel és a tesztmenedzserrel egyeztet; utóbbi koordinálja a tesztelői csapat munkáját.

Miért működött jól ez a szolgáltatásalapú modell a gyakorlatban?

1. Rugalmas skálázhatóság

Az egykapus rendszer, melynek során a tesztmenedzser fogad be minden igényt, azt is jelentette, hogy az ügyfélnek csak vele kellett tartania a kapcsolatot. Amikor hirtelen megnövekedett a tesztelési igény (például egy országspecifikus implementáció indulásakor), a toborzási időt kikerülve, házon belül tudtuk átcsoportosítani a kapacitásokat a párhuzamosan más országokban már futó mobil és keretrendszer-projektek között.

2. Szervezeti stabilitás

A modell több belső szervezeti és vezetői változást is sikeresen túlélt az ügyfél oldalán. Mivel a működés nem egy-egy személyhez, hanem jól dokumentált folyamatokhoz kötődött, a szolgáltatás folytonossága mindvégig biztosított maradt.

3. Formalizált, ismétlődő feladatok hatékony elvégzése

A banki oldalon készített dokumentációk, illetve rendszerszervezői támogatás lehetővé tette, hogy tesztelők fókuszáltan, hosszas egyeztetések és workshopok nélkül tudjanak tesztesetek írni. Ehhez jött a TestIT által biztosított automatizálási keretrendszer, melyben a kulcsszó alapú teszteseteket gyorsan és hatékonyan lehetett átültetni automatákra, és amelyben a karbantartás is egyszerűbb volt.

4. Közös tudásmegőrzés

A pool-alapú működés és az egységes keyword-driven módszertan révén a tesztelők zökkenőmentesen tudták helyettesíteni egymást, kiküszöbölve a személyfüggőség kockázatát.

Hatlépéses folyamatábra: tudásátadás, tesztesetek tervezése és létrehozása, belső és ügyféloldali felülvizsgálat, tesztvégrehajtás, riportálás.

A hibrid modell megszületése: Testing as a Service és T&M egyben

A projekt során idővel azonban szembesültünk a tisztán taskalapú TaaS működés korlátaival is.

  • Bár a standalone (SST) tesztelésünk jól működött, a komponensek összekapcsolásakor (frontend, scoring motor, helyi rendszerek) újabb hibák jelentkeztek, amelyek kívül estek az eredeti SST-scope-on.
  • Felmerült az igény az integrációs tesztelés és a UAT-támogatás bevonására is.
  • A projekt elején kialakított fix squadstruktúra nem mindig tudta követni az induló projektek bizonytalanságát és gyakori scope-változásait.
  • Hiányos dokumentáció esetén ráadásul kiegészítő szakértői tudásra is szükség volt, amit leggyorsabban új kollégák on the spot bevonásával lehetett biztosítani.

 

A profi minőségbiztosítás iránti közös elköteleződés mind ügyfelünk részéről, mind a mi részünkről arra ösztönzött minket, hogy egy magasabb szintre fejlesszük tovább a meglévő együttműködést: Egy olyan modellé, amiben megtartjuk a TaaS előnyeit annak kereteivel, de azt a rugalmasságot sem veszítjük el, ami a kezdeti szolgáltatást jellemezte.

Az új modellben kollégáink T&M kereteken belül segítették ügyfelünk munkatársait a frontvonalban, szorosan együttműködve a business analystekkel és system analystekkel, feltárva és tisztázva a működést. A task oldalra pedig a már stabilizált, szabványosítható és rendszeresen ismétlődő folyamatokat csatornáztuk be (például a regressziós tesztelést), amelyeket így magas hatékonysággal tudtunk futtatni és automatizálni.

3 működési modell a tesztelésben: A T&M, a Testing as a Service és hibrid modell

Operatív terület Time & Materials Testing as a Service (TaaS) Hibrid
Erőforrás-gazdálkodás
  • Az ügyfél vásárolja az erőforrást
  • Az ügyfél osztja be az embereket
  • Magas belső toborzási teher
  • A szolgáltató menedzseli a poolt
  • Igény szerint skálázható a kapacitás
  • Onboardingot a szolgáltató végzi
  • Frontvonal: Dedikált szakértők a banki elemzők mellett
  • Taskoldal: Háttérben skálázódó tesztelői pool
Napi szintű irányítás
  • Teljesen az ügyfél irányít
  • Napi mikromenedzsment teher
  • Ügyfél szervezi a munkafeltételeket
  • Test/Service Manager koordinál
  • Nincs belső vezetői teher
  • Feladatok priorizálása házon belül
  • Frontvonal: Ügyféllel közös napi operatív egyeztetés
  • Taskoldal: Service Manager által vezérelt elosztás
Tudásmegőrzés
  • Erősen személyfüggő működés
  • Kulcsember kiesése = azonnali adatvesztés
  • Dokumentált, egységes tudásbázis
  • Keyword-driven sztenderdek
  • Zökkenőmentes helyettesíthetőség
  • Közös tudásvagyon: Átvehető specifikációs logika + rögzített, strukturált keyword-ök a teljes csapatban
Kereskedelmi modell
  • Óraalapú elszámolás
  • Ledolgozott idő számlázása
  • Fogyasztás alapú elszámolás
  • Tesztlépés-alapú (test step) elszámolás
  • Kombinált: T&M alapú szakértői jelenlét a feltárásnál + fix havidíjas, teljesítményalapú TaaS a regressziónál

Így reagáltunk a jövőbeni incidensek kiküszöbölésére

Az együttműködés során több kritikus incidenst is sikerült kezelnünk, ilyen volt például egy éles leállás (Production Crash), mely után bővítettük a regressziós csomagot. A performanciatesztelés jövőbeni hibamentességét pedig egy Performance Readiness Checklist bevezetésével igyekeztünk biztosítani. Az automata mérések mellé kötelező manuális validálást rendeltünk, és bevezettünk egy dedikált performancia ticketing rendszert is a bizonytalanságok kiszűrésére. 

Közös eredményeink: tehermentesítés, rugalmas skálázás, sikeres rolloutok 

Az együttműködés sikerében nagy szerepe volt az ügyfél kiemelkedő szakmai felkészültségének és rugalmasságának. Ügyfelünk minden esetben partnerként, konstruktív visszajelzésekkel segítette a közös megoldáskeresést. Ez a támogató és nyitott hozzáállás tette lehetővé, hogy a visszajelzésekre reagálva gyorsan korrigáljunk, ami közvetlenül hozzájárult a hibrid modell sikeréhez és a folyamatok folyamatos javulásához. 

Ezekre vagyunk büszkék:

✔ Sikeres nemzetközi rollout 

Az alkalmazás stabil verziói sikeresen kiépítésre kerültek a többi országban, jelenleg pedig folyamatban van a bankcsoport további földrajzi terjeszkedésének előkészítése. 

✔ Validált performanciamérések 

Sikerült olyan hiteles méréseket végeznünk, amelyek pontosan megegyeztek a külső szállító által mért válaszidőkkel. 

✔ A belső menedzsment teher teljes megszűnése 

A 11 fős tesztelői csapat irányítása, toborzása és szakmai kontrollja belső vezetői beavatkozás nélkül történik. 

✔ Rugalmas kapacitáskezelés 

Sikeresen reagáltunk a projekt hullámzó erőforrás-igényeire, a belső cseréket és bővítéseket az ügyfél napi működésének megzavarása nélkül hajtottuk végre. 

 És hogy mit tanultunk ebből a projektből?

Mint ahogyan minden más projektünk, ez is jelentősen hozzátett a TestIT tudásához. A rugalmas, megoldásra törekvő hozzáállás a rendelkezésünkre álló szakmai tudással ötvözve végül elhozta azt az eredményt, amivel mindenki elégedett volt. Ez hosszú távon is jól működő partnerséghez vezetett.

Mely tanulságokat vihetnek magukkal mások is a hasonló projektekre?

1. A tesztelési modell rugalmas adaptációja elsődleges fontosságú.

Egyetlen elméleti modell sem működik változtatás nélkül egy komplex projekt teljes életciklusa alatt. Készen kell állni arra, hogy a merev szolgáltatási kereteket szükség esetén hibrid elemekkel egészítsük ki (mint pl. a frontvonal és taskoldal szétválasztása).

2. A feedback és a bizalom együtt komoly fejlődési potenciált kínál.

Az ügyfél visszajelzéseit maradéktalanul be kell építeni a működésbe. A minőségbiztosítási folyamataink (például a performance readiness folyamat) éppen ennek eredményeképpen született és vezetett egy stabilabb működéshez.

3. A tesztelésnek nem csak követő szerepe van.

Ebben a projektben az üzlettel szorosan együttműködve, egy működő megoldásra koncentráló, proaktív megközelítést tudtunk alkalmazni.

Hogyan tud segíteni a TestIT hasonló tesztelési projektek esetén?

A Testing as a Service (TaaS) egy főleg nagyvállalati igényekre szabott szolgáltatási modell. Lényege, hogy ügyfeleinktől átvegyük a tesztelők munkájának napi menedzselését, az eredményeket készhez kapják, a kiadási ciklusok pedig kiszámíthatóbbá váljanak.

A TaaS modellünk optimális megoldást nyújt, ha:

  • Szeretné felszabadítani belső IT-vezetőit a napi operatív mikromenedzsment alól
  • Hullámzó erőforrás-igényeket kell kezelnie (gyors fel- és lefele skálázás toborzási átfutás nélkül)
  • Szeretné a személyfüggőség kockázatát egy HUB-alapú, dokumentált, belsőleg helyettesíthető tudásbázissal kiváltani.

FAQ

1. Mi legyen a Testing As a Service elszámolás alapja a gyakorlatban?

A tapasztalataink szerint a kezdeti teszteset-alapú számlázás helyett érdemesebb a tesztlépés-alapú (test step) elszámolásra áttérni. A tesztlépések száma és bonyolultsága sokkal pontosabban tükrözi az elvégzett munka valós volumenét, így az elszámolás mindkét fél számára transzparens és ellenőrizhető marad.

2. Hogyan lehet kiküszöbölni a tesztelési kapacitás ingadozását a különböző release-hullámok alatt?

A TaaS modellünk lehetőséget biztosít az erőforrások dinamikus átcsoportosítására. Mivel munkatársaink egységes módszertant követnek, a háttérben működő delivery szervezetünk képes a párhuzamosan futó szálak között (mobil, keretrendszer, helyi implementációk) oda irányítani a kapacitásokat, ahol éppen a legszorosabb a kiadási határidő. Ez kiküszöböli a belső csapatok túlterheltségét vagy épp az erőforrások kihasználatlanságát.

3. Hogyan kezelhető a külső beszállítók és a tesztkörnyezetek bizonytalansága a performanciatesztelés során?

A performanciatesztek során a leggyakoribb hiba, ha a méréseket úgy indítjuk el, hogy a háttérrendszerek vagy a külső partner eszközei nincsenek megfelelően felkészítve. A TestIT erre dolgozott ki egy szigorú Performance Readiness Checklistet. A tesztfuttatás csak akkor indulhat el, ha minden bemeneti feltétel és környezeti paraméter igazoltan teljesül, az automata eredményeket pedig manuális validálással és dedikált hibajegy-kezeléssel támogatjuk.

Ezek is
érdekelhetnek

Írd meg, milyen megoldást keresel!

Dolgozz
nálunk!

Küldj nekünk üzenetet, és írd meg, miben lehetünk a segítségedre, értékesítőink pedig amint lehet, felveszik veled a kapcsolatot és egyeztetjük a részleteket!

Van üres asztalunk, ami lehet hogy épp Rád vár! Töltsd ki a formot, mondd el, miért szeretnél Te lenni a TestIT csapat legújabb tagja, és ismerjük meg egymást!

Kapcsolatfelvétel Karrier