“Testen, testen, testen!” horen we nu zelfs onze premier roepen en als softwaretester hoor ik dat natuurlijk graag. Met een vergelijking tussen het testen van Corona en het testen van software, dacht ik dat ik als softwaretester iets zinnigs zou kunnen zeggen over Coronatesten. Maar het bleek eerder andersom.
Testen is het onderzoeken van iets. Dit begint met een informatiebehoefte die wordt vertaald in een vraag. De vraag wordt gesteld, door middel van de test, aan een “object” in kwestie, bijvoorbeeld door het object te onderwerpen aan een actie en te observeren hoe het object reageert. De antwoorden op de vragen bevredigen de informatiebehoefte, als het goed is.
Of de informatiebehoefte is bevredigd, hangt af van de relevantie van de vragen en de antwoorden. Daarom is het van essentieel belang om de informatiebehoefte uit te diepen en te vertalen naar een goede teststrategie en vanuit daar de juiste vragen te stellen. Als je informatie wilt over de besmetting van de Nederlandse bevolking dan zul je niet de gehele bevolking kunnen testen. De informatiebehoefte is in dit geval heel globaal en het object is heel divers. Welke vragen of testen heb je dan nodig om een zinnig antwoord te vinden? Als je wilt weten hoeveel besmette mensen ook daadwerkelijk ziek worden, heb je weer een andere informatiebehoefte. Als je wilt weten of ooit besmette mensen die niet meer ziek zijn, immuun zijn bij een volgende besmetting, moet je een aantal vragen stellen aan verschillende objecten en moet je testresultaten ook nog eens heel nauwgezet interpreteren, onder andere met statistiek.
Testen is niet een vaststaande set aan activiteiten die je steeds op dezelfde wijze uitvoert en die altijd de informatie levert die je wilt. Testen levert informatie: testen is het stellen van een vraag en verkrijgen van antwoorden daarop. Testen bevredigt niet direct de informatiebehoefte die voorafgaat aan de vraag. Daarvoor is interpretatie nodig van de antwoorden maar vooral eerst ook het interpreteren van de informatiebehoefte. Wat is de informatiebehoefte precies, wat is de teststrategie en welke vragen horen daarbij? Zijn we volledig met onze vragen, kloppen onze testen wel? Welke mogelijke antwoorden kunnen er komen en wat zeggen deze dan? Wat is bijvoorbeeld de kans dat we nietszeggende of niet altijd iets zeggende antwoorden krijgen? Is het mogelijk dat iemand die wel is besmet door de test niet als besmet wordt gezien (false negative) of dat een niet besmet iemand als wel besmet wordt gezien (false positive)?
In de context van Corona zien we diverse informatiebehoeften met daaronder enorme menselijke en maatschappelijke belangen. De vragen die worden gesteld om hierin te voorzien zijn zo wetenschappelijk mogelijk uitgewerkt. Maar toch is de onzekerheid over de juistheid van antwoorden en of ze daarmee de informatiebehoefte vervullen, nog steeds enorm. De grote achterliggende informatiebehoefte (hoe moeten we in deze pandemie gezondheidsrisico’s, belasting van zorgpersoneel en economie en maatschappij balanceren) is niet alleen in het testen van Corona-besmetting te vangen en krijgt geen eenduidig antwoord. Het gehele veld van afhankelijkheden (nieuw virus, zorgbelasting, economie, handhaving en dergelijke) is te complex en sommige variabelen te nieuw. Door transformatie van de informatiebehoefte in vragen, het systematisch beantwoorden van de vragen en de antwoorden vervolgens in breed comité te interpreteren in het licht van de informatiebehoefte, doet men het beste dat men kan.
Polteq Testspecialist Gerard Numan
Waar ik als softwaretester door de Corona-crisis weer eens met mijn neus op wordt gedrukt, is het belang van de samenhang tussen de informatiebehoefte (de context), de teststrategie, de vragen die worden geformuleerd om deze behoefte te vervullen (de tests) en het interpreteren van antwoorden (de testresultaten). Te vaak wordt in projecten de informatiebehoefte gezien als standaard acceptatiecriteria of ooit vastgestelde productrisico’s, waar standaardvragen (standaardtesten) bij horen en we ook precies weten wat de antwoorden moeten zijn. Bij kleine wijzigingen of technische releases werkt dit nog redelijk, omdat de belangrijkste risico’s met standaardtesten ten minste zijn gedekt. Of het testen efficiënt is, is dan nog maar de vraag. Bij grote projecten, nieuwe systemen of processen en diensten is kwaliteit méér dan alleen maar acceptatiecriteria en risico’s aftikken. In dat geval moeten we informatiebehoeften uitdiepen, testen zien als het stellen van vragen, verkrijgen van antwoorden en interpreteren van de antwoorden in het licht van behoeften.
Het gaat niet alleen maar om “testen, testen, testen”: Het gaat erom dat we met behulp van een teststrategie zinnige en representatieve tests definiëren. Tests die gebaseerd zijn op de behoeften van alle betrokkenen.
Gerard Numan
