Context Driven Testverbetering Onderzoek | Polteq, specialist in software testen
Delen Printen E-mail

‘If you don’t know where you are, a map won’t help…’.

Dit was het uitgangspunt van Watts Humphrey, grondlegger van CMM, één van de oer-modellen voor het onderzoeken van organisaties die software ontwikkelen. Met de gekozen aanpak gaan we op zoek naar het vertrekpunt voor verbeteringen die de organisatie dichterbij de doelstellingen kunnen brengen.

Onderzoeksmiddelen zijn:

  • interviewen van individuen of groepen
  • bestuderen van documentatie
  • observeren
  • meedraaien

De informatie die tijdens het onderzoek ontstaat, wordt continu geanalyseerd. Zo ontstaan de ideeën voor verbetervoorstellen.


Heuristiek | voorbereiding

rest heuristieken

Voorbereiding
Met een goede voorbereiding haalt een onderzoeker meer uit een onderzoeksactiviteit. Tips:

  • Maak een onderwerpenlijst of lijst met vragen voor een interview
  • Welke vragen zijn ‘must have’ en welke zijn ‘nice to have’?
  • Selecteer controlepunten uit een model dat wordt toegepast.
  • Maak een interviewmatrix

Ondersteuning door de organisatie bij de planning
Bij het plannen van interviews en groepssessies is hulp van de organisatie soms nodig. Bijvoorbeeld omdat ruimtes moeten worden geboekt of omdat boekingen of afspraken moeten worden verzet om ruimte te scheppen voor onderzoeksactiviteiten. Secretariële hulp uit de organisatie vergroot dan de efficiency van de onderzoeker(s). Bij zelf-organiserende teams is afstemming met het team nodig om de onderzoeksactiviteiten in de (sprint)planning mee te nemen.

Kick off met betrokkenen
Het helpt als betrokkenen weten wat er op hen af komt. Dat verhoogt de bereidheid om mee te werken aan het onderzoek en draagt bij aan buy-in voor verbetervoorstellen die er uit voortvloeien.

  • ‘Management’ onderstreept het belang van het onderzoek en het CDTV-initiatief waar het een onderdeel van uitmaakt.
  • De uitvoerder van het CDTV-initiatief legt uit hoe het onderzoek wordt uitgevoerd.

Plan ongepland onderzoek
Onderzoek leidt vaak tot aanvullende onderzoek-behoeftes, zoals interviews met andere mensen uit de organisatie om iets de dubbelchecken of extra tijd met mensen voor gespreksonderwerpen die nog niet aan bod zijn gekomen. Hiervoor moet ruimte zijn in de planning en begroting van het onderzoek.

Dress code
De manier waarop de onderzoeker gekleed gaat, heeft invloed. Wanneer het onderzoek het karakter heeft van een audit, dan helpt formele kleding de onderzoeker om autoriteit uit te stralen en om een afstand te creëren die past bij een objectieve benadering. Als het belangrijk is dat de mensen in de organisatie zich maximaal openstellen om ongefilterde informatie te geven, dan is het beter om zo weinig mogelijk afstand te creëren. Dan helpt het als de onderzoeker de eigen kleding aanpast aan wat gangbaar is in de organisatie.

Heuristiek | interviews

Interview matrix
Wie gaan we interviewen en welke onderwerpen behandelen we in welk interview? Als we een model toepassen, dan maken we een matrix met in de rijen de aandachtsgebieden uit het model en in de kolommen de verschillen rollen of mensen die we willen spreken. Een kruisje in een vakje betekent: het onderwerp in de rij meenemen in het interview met de persoon in de kolom.

Spreek eerst met management
Managers kunnen vaak goed ’the big picture’ schetsen en de onderzoeker op gang helpen met de lokale afko’s en kretologie. Dit zijn nuttige hulpmiddelen voor de onderzoeker bij het verder onderzoek in de organisatie.
…maar pas op
Managers hebben vaak de neiging om te vertellen hoe het zou moeten werken en geven dan de indruk dat het allemaal gladjes verloopt. Interviews met mensen uit de organisatie laat dan een ander, minder florissant beeld zien. Dit is niet per se erg, maar het is van belang dat de onderzoeker hier rekening mee houdt. Zoals vaak ligt de ‘waarheid’ dan vaak ergens in het midden.

Spreek later met management
Een belangrijke reden om juist later met managementvertegenwoordigers te spreken, is om de (eerste) bevindingen te bespreken. De onderzoeker heeft vaak al een bepaalde richting van denken voor de verbetervoorstellen en kan die spiegelen met belanghebbenden van de organisatie.

Groepsinterviews
In individuele interviews zijn mensen meestal openhartig. Dat is een voordeel. Een nadeel is dat het veel tijd kost om een grotere dekking te krijgen (steekproefgrootte). In groepsinterviews kunnen we in kortere tijd meer dekking realiseren. Wanneer de groep constructief meewerkt en men consensus bereikt over antwoorden op interviewvragen, dan is het houden van groepsinterviews een prima aanpak.

Interview voorbereiding
Ieder interview bereiden we voor. Wat gaan we bespreken? Op welke vragen willen we antwoord? Welke proefballonnetjes laten we op? Wat willen we checken?

Interview aantekeningen
Het is erg belangrijk om goede aantekeningen te maken, want na een aantal interviews is het lastig te herinneren wat precies in welk interview is gehoord. Een mindmap tool is hier een handig hulpmiddel bij. In bepaalde gevallen, bijvoorbeeld wanneer de aanleiding politiek van aard is, dan wil de organisatie vaak een goede traceerbaarheid naar broninformatie.

Interviewverslagen
Het komt voor dat organisaties verslagen willen van interviews. Dit heeft als nadeel dat mensen minder openhartig zijn: wat zij vertellen komt tenslotte in het verslag wat anderen, zoals managers, kunnen teruglezen. Het heeft ook positieve effecten: mensen weten zich gehoord en zien in het verslag een zekere garantie dat hun bijdrage in de conclusies en verbetervoorstellen wordt meegenomen.

Interviews duren 3/4 – 1 1/2 uur
Een interview heeft tijd nodig om op stoom te komen. Een half uur is vaak net te kort om voldoende opbrengst te halen uit een sessie. Interviews zijn intensief, voor de onderzoeker maar ook voor de andere deelnemers. Het is goed om na een 1.5 uur af te ronden omdat het energieniveau omlaag gaat en daarmee loopt ook de kwaliteit van de informatie terug. Wanneer de betrokken vinden dat de tijd onvoldoende was om alle onderwerpen voldoende te raken, kunnen die aanvullende sessie afspreken.

Stel open vragen
Open vragen beginnen met Waarom, Wat, Hoe, … etc. Ze nodigen mensen uit om hun verhaal te vertellen. Dit geeft in de regel veel meer informatie dan het antwoord Ja of Nee op een controlevraag. Antwoorden op open vragen bevatten vaak onverwachte, nuttige informatie, zoals problemen die er zijn. Zie ook de heuristiek ‘je weet niet wat je niet weet’.

Vraag naar opinies
Vragen naar iemand’s opinie levert vaak veel informatie op. Bijvoorbeeld: “Wat vind je van de kwaliteit van de unit test?” geeft iemand ruimte om van alles te vertellen over het testen van de code. Hiermee wordt ook duidelijk dat iemands’ mening telt: zie ook heuristiek over buy-in.

Stel gesloten vragen
Gesloten vragen sturen aan op antwoord ‘ja’ of ‘nee’. De informatiewaarde zit dan in de vraag en niet zozeer in het antwoord. Dat is nuttig als de onderzoeker iets heel precies wil controleren.

Gebruik plaatjes
Een onderzoeker die plaatjes gebruikt om vragen nader toe te lichten en ook om antwoorden te checken, verhoogt de effectiviteit van het onderzoek. Het is daarom handig om een white board bij de hand te hebben (maak foto’s van de aantekeningen) of gewoon blanco papier.

Heuristiek | documentstudie

Documentstudie
De rol van documentatie in een organisatie is op zichzelf al een belangrijk onderwerp van onderzoek: we willen graag de organisatie op dit punt leren kennen. We maken een lijst met interessante documenten om te bestuderen. Wanneer we een model gebruiken kunnen we ook hiervoor een matrix maken: over welke aandachtsgebieden denken we iets te vinden in welk document?

Checklists voor documentstudie
Documentstudie is in de eerste plaats bedoeld om meer over de organisatie en de werkprocessen te weten te komen. Wanneer we specifieke kwaliteiten van documenten willen beoordelen, dan hebben we een referentie nodig: wat is goed? Hiervoor kunnen we checklists opstellen. Bijvoorbeeld: hoe herkennen we een goed testplan?

Heuristiek | observeren en meemaken

Observaties
Welke activiteiten zijn nuttig om te observeren? Wanneer een team scrum toepast dan ligt het voor de hand om de Scrum events sprint planningdaily scrum, sprint review en sprint retrospective mee te maken.

Observeer het werk
Iemand die over het eigen werk vertelt, geeft een deel van het verhaal. Het plaatje wordt completer bij het observeren van de mensen wanneer ze daadwerkelijk aan het werk zijn. Dan wordt beter duidelijk hoe het werk ook echt gebeurt.

Samen zitten
Observeren van werk wordt heel intens wanneer de onderzoeker een teamlid aan het werk ziet, bijvoorbeeld bij het testen. Ook het samen doorlopen van werkstukken, denk hierbij aan de testautomatisering-code, levert veel gedetailleerd inzicht op in een bepaald aandachtsgebied. Wanneer de onderzoeker ook meteen iets teruggeeft, zoals tips, werkt het twee kanten op.

Werkplek in het team
Agile teams zitten als het goed is als team bij elkaar. Door een werkplek in de directe omgeving van het team te kiezen, krijgt de onderzoeker veel mee van hoe het team werkt en samenwerkt.

Onderzoeker werkt mee
Door te participeren in het werk krijgen onderzoekers gedetailleerd inzicht.

Brainstorm met team
In een brainstorm met representanten van de organisatie leidt de interactie tussen de deelnemers vaak al tot concrete verbetermogelijkheden of oplossingen. De aanpak Compact TI past daar goed bij.

Heuristiek | analyse

Inconsistentie
Wanneer, ook na extra checks, informatie inconsistent blijft, is dat een bevinding uit het onderzoek. Dit signaleert vaak (grote) tegenstellingen in de organisatie of een gebrekkige communicatie of informatievoorziening in de organisatie.

Voorbarige conclusies trekken
Dit punt is tricky. Soms is de situatie zo duidelijk, dat de onderzoeker al snel in de gaten heeft wat de kern van de zaak is. De rest van het onderzoek staat dan in het teken van bevestiging zoeken en aan buy-in werken voor wat mogelijk na het onderzoek in de organisatie gaat veranderen. De onderzoeker loopt zo echter ook de kans een tunnelvisie te ontwikkelen en ziet daarmee in het vervolg van het onderzoek mogelijk cruciale informatie over het hoofd. Dit zet de kwaliteit van het onderzoek onder grote druk.

De fase-van-de-grote-verwarring
Tijdens het onderzoek vallen steeds meer stukjes van de puzzel op zijn plaats. Dan gebeurt het soms dat een nieuw stuk informatie uit het onderzoek helemaal niet past bij het plaatje dat de onderzoeker inmiddels ontwikkeld heeft. De verwarring die dit oplevert, vormt de basis voor een double check ronde: wat is de achtergrond van de inconsistentie? Het kan dan blijken dat

  • de onderzoeker had een tunnelvisie ontwikkeld, komt tot een nieuwe hypothese waarbinnen alle stukjes in elkaar passen
  • de inconsistentie is blijvend en is daarmee een bevinding uit het onderzoek

Wanneer de onderzoeker niet de verwarringsfase terechtkomt, is het verstandig om te double checken op tunnelvisie. Maar sommige organisaties zijn inderdaad erg consistent: vaak een teken van transparante onderlinge communicatie.

Oké-niet-oké dilemma
Wanneer een onderzoeker een model gebruikt met controlepunten, dan komt bij ieder controlepunt de vraag op: wanneer is het oké? Een goed gebruik is om een controlepunt op oké te zetten als volledig aan de controle is voldaan. Lastig wordt het wanneer dit niet helemaal het geval is en de onderzoeker zich afvraagt of met een niet-oké dan wel het juiste beeld ontstaat. De volgende controlevraag lost zo’n dilemma vaak op: gaat het niet voldoen aan dit controlepunt tot een verbetervoorstel leiden? Als het antwoord daarop ja is, dan is een niet-oké op het controlepunt nuttig, want de onderzoeker kan een verbetervoorstel koppelen aan het niet behaalde controlepunt. Anders is in een twijfelgeval een oké op het controlepunt te overwegen.

Een misschien
Wanneer een onderzoeker onvoldoende informatie heeft om bij een controlepunt tot een oké of niet-oké te komen, dan is het invullen van een vraagteken een optie. Daarmee geeft de onderzoeker duidelijk aan dat de uitkomst niet bepaald is.

Analyseer continu
Kennis uit onderzoek tot zo ver roept vaak nieuwe vragen op om mee te nemen in het vervolgonderzoek. Daarom is het belangrijk om continu te analyseren: wat is inmiddels bekend, waar moet meer informatie over komen, waar moet de aandacht worden verlegd, geïntensiveerd of misschien wel gestopt omdat inmiddels ‘het lek boven is’. Het alert acteren op voortschrijdend inzicht tijdens de hele looptijd van het CTDV initiatief is een belangrijke pijler van CDTV. Door direct en continu te analyseren wordt informatie niet gemist en kan de onderzoeker steeds weer focussen op de volgende onderzoekstaak zonder bang te zijn dat informatie wegzakt.

Checkpoint-jacht
Wanneer een model wordt gebruikt, en er zitten na analyse nog veel ‘gaten’ in de antwoorden op de controlepunten, dan gaat de onderzoeker soms op ‘checkpoint-jacht’. Checkpoints die ‘waarschijnlijk oké’ zijn of juist ‘waarschijnlijk niet oké’ kunnen snel worden afgewerkt door het staccato afvuren van de vragen van de controlepunten. Hiermee wordt snel een stuk van de onderzoekdekking ingekleurd. Het is fijn om het ‘even zeker te weten’ in plaats van checkpoints in te vullen op basis van vermoedens. Sommige organisaties vinden de onderbouwing van de ‘score’ belangrijk, ook een reden om een deel van het onderzoek te besteden aan het concreet doorlopen van de controlepuntenlijst.

Heuristiek | toetsen en afstemmen

Proefballonnen
Tijdens een onderzoek ontstaan hypotheses over oorzaken en ideeën voor verbeteringen. Het oplaten van proefballonnetjes tijdens interviews en in sessies levert vaak veel op. Dit geeft bijvoorbeeld bevestiging dat het onderzoek op het goede spoor zit. Of niet natuurlijk, maar dan is dat ook goed om te weten. Proefballonnen kunnen ook bijdragen aan buy-in: mensen zien alvast wat er misschien gaat veranderen in het vervolg van het onderzoek.

Tussentijdse afstemming
Regelmatig sparren met de opdrachtgever van het CDTV-initiatief biedt de mogelijkheid om het onderzoek bij te sturen op basis van voortschrijdend inzicht of een veranderende context

Buy-in
Veel onderzoek richt zich in eerste instantie op het vergaren van informatie en op het vinden van problemen. Het effect dat onderzoeksactiviteiten hebben op het verkrijgen van buy-in moet echter niet worden onderschat. Een onderzoeker die tijdens het onderzoek de mensen uit de organisatie alvast op mogelijke toekomstige veranderingen voorbereidt en er de voordelen van laat zien, vergroot de buy-in voor de veranderingen die een gevolg kunnen zijn van het onderzoek.

Heuristiek | tot slot

Onderzoek verloopt ‘exploratory’
In een interview heb je soms ‘beet’: een probleem komt boven water, dat verder onderzocht moet worden. Net zoals bij exploratory testen moet het nieuwe probleemgebied goed worden onderzocht. Het probleem moet goed begrepen worden. Bovendien kan er nog meer ‘achter zitten’. Ook weer net zoals bij defects in de software: vaak zitten er nog meer in de buurt. Het kan hierdoor gebeuren dat een interview anders loopt en niet alle geplande onderwerpen aan bod komen. Een vervolgsessie kan dan nodig zijn.

Volg de problemen
Naar analogie van ‘follow the money’: volg de problemen waar mensen mee komen. Vaak is het verstandig de onderzoeksfocus met de problemen mee te laten bewegen, ook als de focus hiermee buiten het aandachtsgebied van de controlevragen van een model beweegt. Zie ook de ‘We weten niet wat we niet weten’ heuristiek.

Heuristiek | We weten niet wat we niet weten
De focus van een onderzoeker op een onderwerp of vraagstelling vermindert het vermogen om waarnemingen te doen buiten het focusgebied. Het is belangrijk om te beseffen dat ergens anders voor het onderzoek relevante informatie kan schuilen, zelfs buiten het aandachtsgebied van het CDTV-initiatief.

Heuristiek | Checkpoints, controlepunten
Controlepunten uit een model zijn net vooraf opgestelde testgevallen: ze richten zich voornamelijk op het checken van iets. Ze zijn minder krachtig voor het vinden van problemen doordat problemen overal kunnen zitten en niet per se op de plek waar het checkpoint zich op richt.

Heuristiek | Check, double check
Verschillende situaties geven aanleiding om informatie uit onderzoek te controleren, zoals:

  • Informatie is niet consistent, gegevens zijn in tegenspraak; aanvullend onderzoek moet duidelijk maken wat waar is of waar de inconsistentie vandaan komt (de inconsistentie kan op zichzelf trouwens een belangrijke waarneming op zichzelf zijn)
  • Informatie is te consistent, te mooi om waar te zijn, klopt dit wel?
  • Informatie is verrassend, is er een tweede bron ter bevestiging?
  • Informatie is cruciaal en bepalend voor conclusies; dubbelcheck is haast een voorwaarde voor geloofwaardigheid en vertrouwen in de juistheid; dit geldt zowel voor belangrijke positieve zaken als voor negatieve zoals gevonden problemen.

Heuristiek | Het probe-effect
Om verschillende redenen beïnvloedt de onderzoeker waarnemingen of observaties:

  • Mensen gedragen zich mogelijk anders in aanwezigheid van de onderzoeker dan normaal.
  • Als iemand van de organisatie deel uit maakt van het onderzoeksteam is men mogelijk minder openhartig of voelt men zich misschien minder vrij.
  • Dat laatste geval biedt ook een kans: de persoon uit de organisatie die als mede-onderzoeker deelneemt, kan bij de onafhankelijke onderzoeker aangeven wanneer mensen een te optimistisch beeld geven van de werkelijkheid.

Heuristiek | Beste van de klas
Organisaties schuiven vaak hun meest ervaren mensen naar voren voor onderzoek. Vaak zitten hier de toppers van de afdeling bij. Dat heeft voordelen: zij zijn in de regel goed geïnformeerd, kunnen vaak goed uitleggen en zijn daarmee een prima gesprekspartner voor de onderzoeker. Er kleven ook risico’s aan: de onderzoeker kan zo een te rooskleurig beeld krijgen van de afdeling.


Terug naar Context Driven Testverbetering.

 

Meer informatie

Heeft u een vraag of wilt u een vrijblijvende afspraak maken? Laat hieronder uw gegevens achter, dan nemen wij zo snel mogelijk contact met u op. U kunt ons natuurlijk ook bellen:

+31 (0) 33 277 35 22 (Nederland)
+32 (0) 16 39 48 04 (België)

    Uw gegevens gebruiken wij alleen voor een correcte afhandeling van uw vraag. Lees voor meer informatie onze privacyverklaring.

    Hoe wij dat doen?
    Lees meer
    Focus
    Focus
    Vakmanschap
    Vakmanschap
    Kennisdeling
    Kennisdeling
    Persoonlijk
    Persoonlijk
    Lokaal
    Lokaal
    Oprecht
    Oprecht
    Plezier
    Plezier
    Meer
    Deze website is gerealiseerd door Webheads.

    Neem contact op!