Context Driven Testverbetering Aanpak

Welke aanpak heeft de grootste kans van slagen?

Met voldoende kennis van de CDTV-doelstellingen, het –aandachtsgebied en de –context, gaan we over tot het uitkiezen van een geschikte aanpak die de beste kans van slagen heeft. De keuze voor de aanpak ligt niet vast in beton. De context, of de kennis van de context, kan gedurende het gehele CDTV-initiatief aanpassingen in de aanpak noodzakelijk maken.

We kiezen bijvoorbeeld …

• een aanpak die goed past bij het bestaande (of gewenste) testproces
• een aanpak die goed past bij andere verbeterinitiatieven in de organisatie
• een aanpak die geschikt is om organisaties te vergelijken
• een aanpak die kan helpen een niveau van volwassenheid te bepalen
• een aanpak die gebaseerd is op een industriestandaard
• een aanpak die aansluit op een lokale aanpak (zoals janboerenfluitjes)
• een aanpak die zich richt op de specifieke doelstellingen
• een aanpak die goed past bij het aandachtsgebied
• een aanpak gericht op specifieke knelpunten
• een combinatie van deze aanpakken

Met een geschikte aanpak beginnen we aan een boeiend onderdeel van het CDTV-proces: onderzoek!

Aanpakken en modellen

Heuristiek | de basis

Heuristiek | Bereidheid om te  veranderen
In organisaties die van zichzelf een hoge bereidheid hebben om te veranderen, komt men snel tot aanpassingen. Dat opent de mogelijkheid om met betrokkenen meteen over verbeteringen te spreken. Dat leidt tot snel resultaat. Bij organisaties die minder open staan voor veranderingen moet eerst gebouwd worden aan buy-in voor verbeteringen. Dat leidt tot een zorgvuldig proces van invoering.

Heuristiek | Juiste schaalgrootte
Het veelomvattende CDTV-materiaal lijkt te suggereren dan een CDTV-initiatief meteen al een heel project is, met weken doorlooptijd en vele mensuren werk. Dat is niet zo. Soms is een compacte aanpak voldoende. Zoals bijvoorbeeld beschreven in de aanpak Compact Testverbetering, dat in een dag een verbeterplan oplevert.

Heuristiek | Steekproefgrootte
De steekproefgrootte van een onderzoek moet voldoende zijn om als goede basis te dienen voor verbetervoorstellen. Bijvoorbeeld: spreken we met één tester of met alle leden van het team om een oordeel te vellen over bijvoorbeeld unittesten.

Heuristiek | Partner met iemand uit de organisatie
Door samen op te trekken met iemand uit de organisatie zelf:

• Vindt de kennis die is opgedaan bij het onderzoek gemakkelijker zijn weg naar implementatie van verbeteringen.
• Maakt de logistiek gemakkelijker omdat de partner de organisatie kent, bijvoorbeeld bij het maken van agenda-afspraken en het vinden van een interviewlocatie.
• De partner kan aangeven of informatie die iemand geeft representatief is; de partner kent de mensen en kan inschatten of iemand de sociaal gewenste antwoorden geeft in plaats van hun eigen mening.

Heuristiek | Partner niet met iemand uit de organisatie
Samenwerken met iemand uit de organisatie heeft ook nadelen:

• Mensen zijn minder open omdat een collega meeluistert.
• De partner heeft mogelijk belang bij de uitkomsten en probeert het onderzoek te beïnvloeden.

Heuristiek | Hybride aanpakken
Het combineren van modelgebaseerde en ongebonden aanpakken werkt in de praktijk vaak het best. Controlepunten in modellen geven een goede kapstok voor een aanpak. Met ongebonden aanpakken probeer je blinde vlekken te voorkomen. Voorbeeld: wanneer je controlepunten uit modellen gebruikt als onderzoekideeën met ruimte voor exploratie, kom je gemakkelijker problemen op het spoor die niet precies ‘onder de controlepunten’ liggen.

Heuristiek | Een aanpak is altijd exploratory
Ook wanneer modellen worden toegepast, gebeurt onderzoek op ‘exploratory’ wijze. Ieder stukje nieuwe informatie kan aanleiding geven tot nieuwe vragen. De informatie waar je naar zoekt ligt vaak niet precies op de plaats waar je met modellen of andere orakels in de hand gaat kijken. Maar antwoorden bevatten wel vaak hints waar je verder kunt zoeken. Heb je ‘beet’ dan ga je verder kijken, want hier zit ‘iets’. De analogie met testen is makkelijk te leggen: stuit je op een bug, dan kijk je verder, want vaak zitten er nog meer in de buurt. Iedere succesvolle aanpak biedt ruimte voor ‘exploratie’.

Heuristiek | orakels en modellen

Heuristiek | Orakels
Orakels helpen ons om problemen (gedetailleerd) te onderkennen. Het gaat daarbij om het herkennen van zaken die een organisatie beperken in het behalen van doelstellingen. Modellen kunnen als orakel dienen, maar vooral fungeren de kennis en ervaring van mensen die zijn betrokken in het CDTV-initiatief als referentiekader hiervoor. Een goede uitleg van orakels in de context van testen is: www.developsense.com/resources/Oracles.pdf [Michael Bolton].

Heuristiek | Jurysport
Het toepassen van orakels helpt bij het zo objectief mogelijk beoordelen, maar er blijft altijd ruimte voor interpretatie. De context is in de praktijk van grote invloed op het beoordelen van ‘goed’ of ‘niet goed’.

Heuristiek | Modellen
We kunnen modellen gebruiken als orakels. Controlepunten in modellen geven structuur aan het onderzoek en de rapportage. Ook dragen modellen in meer of mindere mate bij het objectiveren van beoordelingen.

Heuristiek | Modellen neigen naar checking
Controlepunten in modellen zijn in de regel geformuleerd als gesloten vragen. De informatie die dat oplevert is beperkt: het antwoord is ja of nee. Daarmee wordt gemakkelijk informatie gemist. Het is algemeen bekend dat open vragen meer informatie opleveren.

Heuristiek | Focus op scoren
Bepaalde organisaties neigen naar ‘scoren’: hoe meer controlepunten oké, hoe beter gescoord wordt en hoe liever de organisatie het heeft. Bijvoorbeeld om te gebruiken voor marketing doeleinden. In zo’n geval is het van belang om een formele aanpak te kiezen, bijvoorbeeld met een model waarvan de autoriteit in de industrie wordt erkend. Uitkomsten met zo’n aanpak worden dan als benchmark gezien.

Heuristiek | Vergelijken
Wanneer een organisatie wil vergelijken, dan is een model in de aanpak haast onmisbaar. Vergelijkingen van een organisatie met andere organisaties die niet met dezelfde aanpak of team is onderzocht, moet voorzichtig gebeuren. Hoewel de toepassing van modellen bijdraagt aan objectivering, maken heuristieken duidelijk dat we absolute, volledig objectieve beoordelingen niet kunnen verwachten. De toepassing van dezelfde aanpak bij verschillende delen van de organisatie maakt vergelijken makkelijker. Dit maakt ook zichtbaar waar de verschillende afdelingen van elkaar kunnen leren. Sommige organisaties stellen op basis van een minimum ‘score’ een interne benchmark vast; daar moeten alle delen van de organisatie dan aan voldoen.

Heuristiek | Herhaling
Een bijzondere vorm van vergelijken is herhalen. Wanneer een organisatie na een bepaalde periode opnieuw de peilstok in het testproces wil steken, dan werkt dat beter als die peilstok is voorzien van een ‘maatverdeling’. Met deze beeldspraak bedoelen we de toepassing van dezelfde modellen (orakels) bij opvolgende beoordelingen.

Heuristiek | Standaarden
Wanneer een organisatie bepaalde standaarden toepast, dan is het handig om een model te gebruiken. Sommige CDTV-modellen passen naadloos, zoals TPI Next dat een-op-een bij TMap Next past. Een toegepaste standaard kan ook zelf als checklist gebruikt worden als model voor een onderzoek.

Heuristiek | Industriestandaarden
Wanneer een organisatie aan bepaalde standaarden wil of moet voldoen, passen we modellen toe die passen bij de standaard. Bijvoorbeeld: in de automobielindustrie past men vaak TestSpice toe als CDTV model omdat dit veel houvast biedt voor de formele eisen die in de industrie gelden. Met een assessment aan de hand van een formeel model als TestSpice hoopt een organisatie dan een ‘oké-stempel’ op het testproces te krijgen.

Heuristiek | Begrijpelijkheid
De toepassing van modellen kan betrokkenen inzicht geven in het CDTV proces. Hoewel de invloed van de mening en kennis van onderzoekers op de uitkomsten nooit onderschat moet worden, geeft een model wel structuur en draagt daarmee bij aan begrijpelijkheid van de uitkomsten van een CDTV-onderzoek.

Heuristiek | informatie vergaren

Heuristiek | Mensen interviewen
Het interviewen van mensen is een rijke, waarschijnlijk de rijkste, bron van informatie in een onderzoek. Plan hier veel ruimte voor in.

• het houden van meer interviews leidt tot meer informatie
• meerdere interviews over dezelfde onderwerpen zijn nodig om bepaalde feiten te double-checken
• in/met interviews werk je aan buy-in
• plan interviews met verschillende rollen om zaken vanuit verschillende perspectieven te belichten

Heuristiek | Documenten bestuderen
Het bestuderen van relevante documenten levert meestal bruikbare informatie op voor een onderzoek en moet dus ingepland worden. Het belang van documentatie varieert sterk met de context. Los van de documentatie is de rol ervan vaak een interessant punt van onderzoek. Zo kan het bestuderen van irrelevante documenten ook inzicht geven in hoe een organisatie werkt: waarom maakt men die?

Heuristiek | Activiteiten observeren
Documenten beschrijven in de regel hoe iets bedoeld of bedacht is.  Mensen geven in interviews, bewust of onbewust, een gekleurd beeld van de praktijk. Het observeren van een organisatie in actie helpt om vast te stellen hoe het in werkelijkheid gaat. Moderne kort-cyclische ontwikkelprocessen maken het mogelijk om een hele levenscyclus mee te maken. Bijvoorbeeld: een team dat het Scrum framework toepast met sprints van twee weken, maakt het mogelijk om binnen twee weken doorlooptijd ieder type activiteit te observeren.

Terug naar Context Driven Testverbetering.

(*) TPI Next is een merk van Sogeti.