Testarchitecten Ruud Teunissen en Kees Blokland voerden een testverbeterassessment uit bij spoorbeheerder ProRail.
Waar voorheen bij een testverbeterassessment vooral gebruik werd gemaakt van TPI® (Next) als referentiemodel, gebeurt dat tegenwoordig, net als testen zelf, context driven: decontext bepaalt de aanpak. Dit houdt onder andere in dat, voordat van start wordt gegaan, eerst met de klant wordt afgesproken welke modellen worden gebruikt. En soms wordt vooraf zelfs helemaal geen keuze gemaakt. Dit laatste was het geval bij ProRail. Aangezien duidelijk was dat één model niet kon helpen antwoord te geven op de gestelde vragen, kozen Ruud en Kees in overleg met ProRail ervoor om zonder keuze vooraf van start te gaan.
Omdat wij benieuwd waren naar wat er met de suggesties van Ruud en Kees is gedaan en welke vervolgstappen zijn ondernomen, spraken we af met Niels Woudboer, manager Testservices en tevens opdrachtgever van het assessment, Bob Harnisch, testmanager, en Hatim Chahim, testmanager / projectleider Testtooling. Alle drie zijn nauw betrokken geweest bij het assessment. We troffen elkaar in het 19e-eeuwse rijksmonumentale kantoorgebouw Tulpenburgh, dat al sinds de bouw in gebruik is door spoorwegondernemingen.
We vroegen Niels wat de aanleiding was voor dit assessment. “Een aantal jaar geleden is er een audit gedaan en dat was voor mij aanleiding om eens te kijken waar wij nu staan met testen ten opzichte van de markt, zowel qua testprocessen, maar ook voor wat betreft onze rol als afdeling Testservices binnen de organisatie en hoe dat wordt ervaren door de omgeving. Daarnaast wilden we graag dat Polteq zou kijken naar onze testautomatisering: hoever zijn we daarmee ten opzichte van andere partijen?”
Ruud vertelt wat er zo bijzonder was aan dit assessment: “Voor ons was dit de eerste keer dat we een klant er niet van hoefden te overtuigen dat een model volgen niet altijd de beste oplossing is. ProRail gaf zelf al aan; kom niet aan met een standaardmodel, want dat past niet, omdat onze organisatie heel breed en divers is. Dat maakte deze opdracht speciaal. Je neemt weliswaar alle kennis mee die je hebt van de verschillende modellen, maar je hebt tevens de vrijheid (verplichting) om je eigen ervaring te gebruiken om verbeteringen voor te stellen. Bij de interviews hebben we consequent gekozen voor een open gespreksvorm, waarbij we de stakeholders van testen en de testprofessionals vooral lieten vertellen. Een van onze gesprekspartners merkte achteraf op: goh, jullie hebben me niet eens een echte vraag gesteld, jullie hebben me gewoon laten praten! En dat was ook precies de bedoeling, want dan stuur je als assessor het minst.”
“We hebben vooral gezocht naar mensen die kunnen meedenken, een visie hebben op testen, maar die ook kritisch zijn en hun mening durven te geven,” antwoordt Niels op de vraag op welke manier de gesprekspartners zijn geselecteerd.
Ruud knikt instemmend: “Je hebt ook wel eens assessments waarbij het voorbeeldproject -en daarmee bedoel ik het ‘beste project van het afgelopen jaar’- naar voren wordt geschoven, maar dit waren mensen die echt duidelijk een eigen mening hadden.”
“Vanuit het organigram hebben we meerdere gesprekspartners geïdentificeerd en aangedragen, om vanuit meerdere perspectieven en invalshoeken het testen in kaart te kunnen brengen,” voegt Hatim hieraan toe.
“Logisch,” knikt Ruud instemmend. “Testen staat niet op zichzelf. Het is voor een groot deel geïntegreerd in softwareontwikkeling, implementatie, onderhoud, beheer… Dus vandaar dat je al die stakeholders nodig hebt om een goed beeld te kunnen krijgen. Dat zijn in feite de afnemers van testen en Testservices.”
“Het proces verliep eigenlijk net zoals een ‘gewoon’ assessment,” gaat Ruud verder. “We hebben vooraf allerhande documentatie van ProRail ontvangen waaruit ‘the way of working’ -hoe pakken we testen aan binnen ProRail – is vastgelegd en dat is altijd een goed startpunt. Er waren voorbeelden voorhanden van testplannen en testrapportages, etc. En daarnaast hebben we een twintigtal interviews afgenomen. We hebben geprobeerd om van alle afdelingen en alle niveaus iemand te spreken en soms waren dat ook groepsgesprekken. Daarnaast zijn we bij het ProRail Testcentrum een aantal keer langs geweest om echt mee te lopen en ‘hands-on’ mee te kijken hoe de testen daar worden uitgevoerd.”
Wat zijn nu eigenlijk de voor- en nadelen van het werken zonder model in een testverbeterassessment?
Ruud glimlacht. “De voordelen zijn dat je nergens aan gebonden bent en dat je het in de gesprekken overal over kunt hebben zonder dat je je zorgen hoeft te maken of je alle checkpoints wel belicht hebt. Maar dat is ook meteen het ‘nadeel’, want hoe weet je dan of je wel alles uit het gesprek hebt gehaald en of je de juiste informatie boven tafel hebt weten te krijgen? Een voordeel was in ieder geval dat ik het samen met Kees deed en wij beiden veel ervaring met testverbetertrajecten hebben. En tijdens een assessment maak je niet alleen gebruik van je eigen ervaring, maar ook van de kennis en kunde van de verschillende mensen aan de andere kant van de tafel. De meeste gesprekspartners bij ProRail waren ervaren (test) professionals en, zoals Niels al aangaf, met een kritische mening en eigen ideeën voor verbeteringen.”
Ruud concludeert: “Je hebt de ruimte om te praten over de inhoud, zonder je zorgen te hoeven maken of het model nu klaar is of niet. Een model schrijft ook verbetersuggesties voor die in veel gevallen niet echt passen.”
Hatim vertelt hoe hij dit heeft ervaren. “Het klinkt misschien negatief als je het hebt over een testassessment zonder model. Het is echter niet zo dat er géén model is gebruikt. Er zijn juist meerdere modellen gebruikt, op basis waarvan Ruud en Kees semigestructureerde verbeterpunten hebben aangeleverd.”
Bob is het met hem eens. “Juist door de ervaring en expertise heb je de leidraad van een model niet zozeer nodig. Je weet wel wat je moet vragen en je weet waar de zwakke of gevoelige punten liggen in het testproces.”
Dat er zijdelings gebruik is gemaakt van meerdere modellen klopt. Kees, die niet bij het interview aanwezig kon zijn, vertelt hierover: “Om het ‘coverage vraagstuk’ af te kunnen sluiten, besloten we een aanvullend mini-assessment te doen met een aantal key areas van TPI Next op het testproces van het ProRail Testcentrum. Daarmee deden we vooral recht aan het goed gestructureerde proces dat daar werd gevolgd. De afbreukrisico’s van de systemen waar zij aan testen, zijn groot, dus een gedegen testproces is een vereiste. Deze maatregel pakte goed uit.”
Ruud: “We hebben al in een vroeg stadium proefballonnetjes opgelaten om samen met Niels te kijken welke kant we op zouden gaan met onze verbeteringsvoorstellen. Waar zou ProRail nu echt mee geholpen zijn? Suggesties over het vrijgaveadvies, maar ook over de inrichting van de omgeving… We hebben wat plaatjes getekend over hoe de toekomst er uit zou kunnen zien en dergelijke en dat hebben we afgestemd met de stakeholders om te kijken of dit aansloot bij de organisatie. Hierbij hebben we gebruik gemaakt van het reeds bestaande inrichtingsplan van de ICT als referentiekader.”
ProRail heeft flink wat verbeteringen doorgevoerd en stappen voorwaarts gemaakt sinds het testverbeterassessment van Polteq. “Er is meer uit het assessment gekomen dan we verwacht hadden. Bepaalde uitkomsten herkenden we wel, en op dat gebied waren we zelf ook al kleine stapjes aan het zetten,” zegt Niels. “Andere bevindingen waren nieuw voor ons en het was nuttig dat we daarop gewezen worden”
Bob knikt instemmend: “Dat de beschreven ProRail testaanpak voor sommige mensen onvoldoende duidelijk was, vond ik bijvoorbeeld goed om te weten, want zodoende konden we daar actie op ondernemen. Tijdens de presentatie lieten Ruud en Kees een plaatje zien dat eigenlijk veel gemakkelijker te begrijpen was dan hetgeen wij gebruikten en dat heeft ons aan het denken gezet.” Dit resulteerde uiteindelijk in het nieuwe ProRail testmodel dat Hatim samen met een andere collega heeft ontworpen. Niels laat het model vol trots zien. Het nieuwe model is zowel qua opmaak als qua inhoud laagdrempeliger, beter toegankelijk voor een breder publiek en sluit ook goed aan bij Agile en Waterval ontwikkelingen.
Hoofdvraag van ProRail was: Hoe kan de afdeling Testservices substantieel bijdragen aan de afdelingsmissie van ProRail ICT: dichter bij de business, sneller ontwikkelen en operationeel excellent? Heeft het assessment van Polteq daar antwoord op gegeven?
Niels: “Die vertaalslag is nog niet gemaakt. Ik ben er echter van overtuigd dat als we op deze weg blijven doorgaan en alle verbetersuggesties oppakken, we betere testers krijgen en operationeel excellenter worden. Je ziet nu dat afdeling Testservices af en toe een bottleneck is in het proces, zowel qua omgeving als qua resources. Als wij inzichtelijker maken wat we wel en niet doen, met een duidelijke scheiding van rollen, dan helpt dat natuurlijk in je voortbrengingsproces.”
Niels is op zijn beurt benieuwd of Ruud en Kees dat wat ze bij ProRail hebben geleerd, nog elders hebben toegepast. “Wat ik vooral meeneem uit deze opdracht, is de bevestiging dat het idee dat wij bij Polteq al langer hadden en ook al toepasten, om het model los te laten, eigenlijk het beste uitgangspunt is voor test improvement in het algemeen,” antwoordt Ruud. Modellen moet je bij je hebben, als een soort gereedschapskist, en uit alle modellen haal je bepaalde aspecten. Maar ik merk ook dat ik die modellen dusdanig goed ken, dat ik ze eigenlijk niet meer nodig heb. De essenties ervan pas je min of meer automatisch toe.”
Ruud is blij om te horen dat het assessment en de suggesties aansloten bij wat ProRail op dat moment nodig had en dat de punten ook daadwerkelijk zijn opgepakt. “Het is altijd prettig om te weten dat je rapport niet in een la is verdwenen,” zegt hij met een glimlach. “Grappig dat je dat zegt,” gaat Niels hierop in. “Want het rapport is eigenlijk wél in een la terechtgekomen. Misschien dat het door de open aanpak komt, door de zaadjes die gepland waren en de manier waarop we het hebben gedeeld, maar we hadden het rapport na de presentaties eigenlijk niet eens meer nodig. Toch zie je dat het nog geregeld tevoorschijn wordt gehaald om even te raadplegen, bijvoorbeeld bij de toolarchitectuur of het beschrijven van het proces.”
“We zijn voortdurend bezig om onszelf te verbeteren en hebben ook echt de drive om zaken aan te pakken. Zo’n rapport geeft ons een extra duwtje in de goede richting,” besluit Bob.
Van links naar rechts: Bob Harnisch, Niels Woudboer, Hatim Chahim en Ruud Teunissen.
