Leaders in software testing

Hoe mobile testing helpt om 5 sterren te halen

Leaders in software testing

Hoe mobile testing helpt om 5 sterren te halen

Hoe mobile testing helpt om 5 sterren te halen
Mobile app testen
Robby Wiegmans 14 januari 2019
0 reacties

De keuze in apps is enorm. In 2018 waren er meer dan 2.8 miljoen apps voor Android beschikbaar in de PlayStore van Google. Voor iOS waren dat er meer dan 2,2 miljoen in de App Store van Apple. En deze cijfers zullen waarschijnlijk alweer verouderd zijn tegen de tijd dat je dit leest.

Aantal sterren in de App Store

Bij het zoeken naar een app kijken gebruikers vaak als eerste naar het aantal sterren dat de app heeft in de App Store. Deze sterren staan voor feedback van gebruikers en worden gezien als een recensie. Het hoogst aantal sterren dat een app kan krijgen is vijf. Gebruikers zijn geneigd automatisch die app te installeren die het meeste aantal sterren heeft gekregen. Over een app met 4 sterren zullen ze zich nog geen zorgen maken, maar bij een app met slechts 3 sterren slaat de twijfel toe: zal deze app nog wel voldoen aan mijn verwachtingen?

Uit onderzoek van AppFollow blijkt dat  50% van de potentiele gebruikers bij 3 sterren afhaakt en de app überhaupt niet downloadt. Heeft de app 2 sterren, dan volgen er nog maar 10% downloads… Tja, toch maar eens de reviews lezen of het wel terecht is dat de app maar zo weinig sterren heeft gekregen. Of zal ik toch die andere app installeren met meer sterren? Bij 1 ster MOET er wel iets aan de hand zijn.  De kans dat jouw app nog wordt gedownload is nu bijna nihil.

Hoe vaak heb je een app gedownload, maar deze kort daarna alweer verwijderd? Gemiddeld zal slechts 16% van ons een app meer dan twee keer proberen. De belangrijkste redenen voor het verwijderen zijn: apps die bevriezen, crashen, langzaam opstarten, helemaal niet starten of gewoon niet voldoen aan de verwachtingen van de gebruikers. En dit wordt ongenadig afgestraft met een laag aantal sterren in de app store.

De gebruiker heeft dus een enorme hoeveelheid keuze! Deze overvloed aan opties heeft een gebruiker gecreëerd die erg ongeduldig en veeleisend is. Als een website langzaam wordt geladen, hoe lang ga je dan wachten? Volgens een rapport van Google verlaat 53% van bezoeken aan mobile sites een pagina die er langer dan 3 seconden over doet om te laden.

Business case

De Volkskrant, een klant waarvoor ik werk, heeft te maken met meer dan 500.000 mensen die dagelijks de mobile app of website bezoeken met behulp van een smartphone of tablet. En elke gebruiker eist dat de app op zijn of haar specifieke device draait.

Daarom hebben wij in het begin van het projectet Google Analytics gekeken met welke devices de gebruikers de app van De Volkskrant hebben geïnstalleerd of de website bezoeken. Op basis hiervan hebben wij een set samengesteld van echte devices waarop wij willen testen. In samenwerking met de klant wordt periodiek gekeken of de lijst met devices nog relevant is, of dat devices vervallen of geüpdatet of aangevuld moeten worden. Met deze geselecteerde devices testen wij dagelijks de nieuwe features en integratietesten.

Naast het testteam helpen ook developers en mensen uit de business mee met testen. De developers houden zich bezig met unittesten en GUI-testen op emulatoren. De business helpt ons met het schrijven van acceptatietesten in BDD stijl. Deze gebruiken wij voor de geautomatiseerde regressietesten die zijn geschreven in Java met Cucumber.

Testdata uit JSON bestanden wordt vergeleken met een referentie JSON bestand. Indien hier een verandering is, dan faalt die specifieke testcase, maar gaat het testframework verder met de andere testcases. Na afloop volgt een testrapportage. Onze testen duren zo’n 30 minuten, daarom draait het testframework elke nacht. Dit gebeurt automatisch in onze Bitrise bouwstraat. Hiermee weten we zeker dat de app stabiel is en zo goed als  mogelijk bug-vrij.

Happy Customer

Maar onze beste bevindingen komen van onze beta testers. De Volkskrant heeft namelijk 200 vrijwillige beta testers, via Apple’s TestFlight en Google’s Beta Playstore, die samen met ons de pre-release testen. Dit doen zij met het doorgeven van het device, model, platform en buildnummer. Hiermee komen net die edge cases voorbij die wij als testers nog niet bedacht hebben.

Uiteraard kunnen wij niet alle gebruikers van de nieuwe app tevreden houden. Niet iedereen houdt van verandering en er zijn gebruikers die graag willen dat hun oudere devices eeuwig ondersteund blijven. Maar voor waar het technisch mogelijk is, gaan we voor de happy customer. Dat bereiken we door zo vroeg mogelijk te testen: in de designfase, in de ontwikkelfase, in de testfase en in de beta fase. En dat allemaal voor eindgebruikers. Nu maar hopen dat dezelfde eindgebruikers ons willen belonen met een groot aantal sterren in de Store.

Robby Wiegmans

Reageren

Om SPAM te voorkomen wordt uw bericht na goedkeuring door de webmaster geplaatst.

Het e-mailadres wordt niet gepubliceerd.


Reacties

Er zijn nog geen reacties.

Onderwerpen

Laatste reacties

Hoi Evie, ik zie jouw verhaal voorbij komen. Wat gaaf! Wat ontzettend fijn ...
› Lees verder

Nicolette

Beste Erik, helder verhaal waar ik volledig achter kan staan! groet Huub
› Lees verder

Huub Jansen

Zeer interessant interview
› Lees verder

Vaassen Joffrey
Polteq (NL)Printerweg 523821 AD AmersfoortNederlandT +31 (0) 33 277 35 22E info@polteq.com
Polteq (BE)Interleuvenlaan 623001 Heverlee (Leuven)BelgiëT +32 (0) 16 39 48 04E infobe@polteq.com