Er wordt mij vaak gevraagd: hoe schrijf je nu eigenlijk een goed testrapport? Het antwoord op deze vraag is niet eenvoudig te geven. Het is namelijk geheel afhankelijk van de organisatie waar je voor test. Zit je in een klassiek “Waterfall” project of zit je juist in een flitsend “Agile” team waarin testen de verantwoordelijkheid van iedereen is? Ik heb een tweetal manieren van rapporteren waar je wellicht je voordeel mee kan doen!
Laten we eerst naar de basis gaan, wat is een testrapport?
Een testrapport, ook wel een vrijgaveadvies genoemd, voorziet alle “stakeholders” van de resultaten van de gedane tests, de bevindingen (fouten, afwijkingen, alles wat niet zo loopt als bedacht) en alle overige zaken die van belang waren in het testtraject.
Het klassieke testrapport bevat een aantal vaste onderdelen die we allemaal geleerd hebben tijdens onze test gerelateerde opleidingen.
Maar is dit nodig? Of kunnen we toe met een meer compacte vorm? Laten we de punten doorlopen.
Op het titelblad zetten we de volgende zaken:
De inhoudsopgave spreekt voor zich, maar houd er rekening mee dat je deze bijwerkt na elke wijziging in het document. Het is mij eens overkomen dat de inhoudsopgave niet overeen kwam met de inhoud en dat staat slordig en niet professioneel.
Hier beschrijven we wat je wilt bereiken met het rapport, voorbeeld:
“Het doel van dit document is een duidelijk overzicht te geven van het testproces van het ABC-systeem. In de volgende hoofdstukken wordt u door het testproces van FAT-SAT-UAT geleid. Na de managementsamenvatting volgt een algemene beschrijving van het testproces en details van de ABC-TST3-tests.”
Zoals de titel van dit hoofdstuk al verklapt, vatten we hier het complete testproces en de uitkomsten daarvan samen. Een managementsamenvatting moet op 1 A4 passen, we schrijven dit tenslotte voor managers die meer te doen hebben dan enorme epistels doorlezen. Wat in ieder geval niet mag ontbreken in de samenvatting:
Hier komen we tot de kern van het document; de uitgevoerde tests en de bevindingen. Hier plaats je een meer uitgebreid overzicht van de testsoorten en testvormen die aan bod zijn gekomen en de daarbij behorende uitkomsten / bevindingen.
Een testtraject is niet compleet zonder belemmeringen. Denk dan aan performance issues, stabiliteit, verkeerde inrichting en nog veel meer. Vermeld dit in je testrapport, het kan voorkomen dat je tegen dezelfde problemen aanloopt tijdens een volgend traject.
De conclusie na het testen is natuurlijk van groot belang, als kwaliteit voorop staat zal de conclusie en het bijbehorende vrijgaveadvies kunnen bepalen of een product wel of niet “Live” zal gaan. Het kan zijn dat men in productie gaat zonder jouw zegen, maar met je testrapport en vrijgaveadvies en dat is helemaal niet erg. De beslissing om “live” te gaan ligt bij de business en het enige dat jij als tester / testmanager kan doen is een onafhankelijk advies uitbrengen over de huidige staat van het product.
Bovenstaand is een voorbeeld van een klassiek testrapport. Het is een lijvig document dat vaak de 10 pagina’s overschrijdt en ik ben van mening dat dit veel korter kan. Namelijk op 1 A4-tje:
Dit onderdeel bevat de naam van het project of het sprintnummer, de geteste systemen, begin- en einddatum en daarnaast een beschrijving van de opdracht. Het heeft mijn voorkeur om de uitkomst van het testtraject ook bij deze informatie te zetten, zodat het betrokken management in één oogopslag ziet of een implementatie akkoord is voor productie of niet.
Hier gaan we beschrijven welke testsoorten zijn uitgevoerd met daarbij de aantallen.
Een overzicht van de aantallen bevindingen met hun ernst, impact en opgelost of niet. Link hierbij naar het registratiesysteem om een ieder de mogelijkheid te geven de bevindingen te bekijken.
Laat hier zien of er is voldaan aan alle exitcriteria zoals: alle tests zijn uitgevoerd, alle bevindingen met een hoge impact zijn opgelost, etc.
Ga het gesprek aan met de manager over hoe gedetailleerd het testrapport moet zijn. Is het management tevreden met een overzicht waarin men in één oogopslag kan zien wat de uitkomst is, dan zal een one-page testrapport een prima oplossing zijn. Voor de traditionele managers kan het nodig zijn om het eerstgenoemde rapport te schrijven, maar met deze handleiding gaat dat vast wel lukken.
Richard van de Velde