Polteq iQ®: testen van AI en complexe systemen
Onder de vlag van ‘Digitale Transformatie’ omarmen organisaties in toenemende mate digitale technologie om sneller in te spelen op de veranderende behoeften van de markt. Traditionele organisaties veranderen plots in data-gedreven organisaties door de grote hoeveelheden data die deze digitale technologieën voortbrengen. Dankzij ‘Artificial Intelligence’ en ‘Machine Learning’ worden organisaties in staat gesteld om snel en nauwkeurig grote hoeveelheden data te analyseren, nieuwe inzichten te verkrijgen en juiste beslissingen te nemen. Waar deze AI-toepassingen bijdragen in het versnellen en verbeteren van werkprocessen, blijken zij in de praktijk vaak ondoorzichtig en complex te zijn en dreigen organisaties de controle op hun interne besluitvorming te verliezen. Met Polteq iQ® (increment Quotiënt) krijgt u inzicht in wat de impact van wijzigingen in ‘Artificial Intelligence’- en ‘Machine Learning’-toepassingen is op de resultaten.
De uitdaging: AI als ‘black box’
Artificial Intelligence en Machine Learning ondersteunen in het uitvoeren van analyses, het verkrijgen van nieuwe inzichten en het nemen van besluiten op basis van big data. Deze technologieën zijn echter beide complex. De onderliggende algoritmes blijken in de praktijk voor de meeste mensen een ‘black box’, terwijl deze algoritmes in toenemende mate invloed hebben op ons leven.
Bij traditionele aanpakken van software testen wordt inzicht gegeven in de kwaliteit van dergelijke ‘black boxes’ door het vergelijken van de op voorhand gewenste resultaten met de werkelijke resultaten. Op basis van deze vergelijkingen kan aangegeven worden of de software “goed” of “fout” is. Het testen van AI-systemen vraagt echter om een andere aanpak. Door de dynamische aard van AI-systemen zijn traditionele testaanpakken onvoldoende toereikend om de kwaliteit van dit soort systemen aan te tonen. Bij AI-systemen kan het gedrag van het systeem evolueren zonder menselijke tussenkomst, heeft het een eigen feedback loop en kan het doorlopend leren van nieuwe data. Eén van de risico’s daarbij is dat het AI-systeem zich na go-live anders gaat gedragen dan gedurende het ontwikkelproces.
Hoe meet u dan de kwaliteit van dit proces, hoe kunt u vertrouwen hebben in een dergelijk zelflerend systeem en hoe weet u dat de algoritmes doen wat ze moeten doen?
De oplossing: Polteq iQ®
Om de kwaliteit van AI-systemen te optimaliseren is het essentieel om inzicht te hebben in de impact van wijzigingen die aangebracht zijn in de onderliggende algoritmes (en daarmee de werking van het product). Polteq heeft hiervoor een gestructureerde testaanpak ontwikkeld met een bijbehorend testframework (Polteq iQ®). Polteq iQ® geeft u de mogelijkheid om verschillende versies van een systeem met elkaar te vergelijken en – voorafgaande aan inproductiename – vast te stellen of het product of de dienst beter of slechter geworden is door de aanpassingen. Polteq iQ® communiceert met de API van het doelsysteem om zo testgevallen geautomatiseerd uit te voeren. De resultaten van de uitvoer op de verschillende systemen worden automatisch vergeleken, waarbij een dashboard met metrieken wordt gevuld.
De visualisatie van de resultaten in een dashboard vergemakkelijkt de interpretatie. Polteq iQ® is voor meerdere toepassingen geschikt doordat de metrieken op key performance indicatoren kunnen worden ingericht, passend bij het te onderzoeken domein.
De verkregen inzichten kunnen worden gebruikt om het algoritme anders in te regelen. Na de wijziging(en) wordt opnieuw gemeten, waardoor men inzicht krijgt in het resultaat van de wijzigingen. Dit geeft u controle over de kwaliteit van uw AI- en/of ‘Machine Learning’-toepassingen.
De aanpak
Polteq iQ® voor het testen van AI-systemen omvat de volgende stappen:
1. domeinanalyse
2. configureren van Polteq-iQ® tooling
3. opzetten van benodigde testdata
4. koppeling Polteq-iQ® met API
5. testuitvoering
6. analyse metrieken en rapportage
Toepassingen Polteq iQ®
Een goed voorbeeld van een systeem met onderliggende AI is een ‘recommendation engine’.
Een ‘recommendation engine’ beveelt bijvoorbeeld producten aan op basis van het koopgedrag van anderen die een vergelijkbaar profiel hebben. Echter, een resultaat dat prima is voor de ene gebruiker kan onacceptabel of onbruikbaar zijn voor de andere gebruiker. Een nieuwe versie van het systeem heeft dan mogelijk een verschillende impact voor verschillende gebruikers. Polteq iQ® is uitermate geschikt om de impact van wijzigingen op het systeem te analyseren.
Andere gebieden waarop Polteq iQ® goed kan worden toegepast, zijn:
- Optimaliseren van zoekmachines
- Virtuele Assistenten
- Fraudedetectie
- Online customer support/ chatbots
- Geautomatiseerde redacties
- Surveillance
- Muziek- en filmaanbevelingen
- Social media
- Medische toepassingen
- Objectherkenning
- Virtual Reality/Augmented Reality
Wilt u controle krijgen op de impact van wijzigingen in uw ‘Artificial Intelligence’- en ‘Machine Learning’-toepassingen? Neem dan contact met ons op.
