Polteq iQ voor het testen van AI | Polteq, specialist in software testen
Delen Printen E-mail

Polteq iQ is een door Polteq ontwikkelde testaanpak met bijbehorend testframework voor het testen van AI en Machine Learning.

Testen van AI en Machine Learning

Onder de vlag van ‘Digitale Transformatie’ omarmen meer en meer organisaties in toenemende mate digitale technologie om sneller in te spelen op de veranderende behoeften van de markt. Traditionele organisaties veranderen plots in data-gedreven organisaties door de grote hoeveelheden data die deze digitale technologieën voortbrengen. Dankzij ‘Artificial Intelligence’ en ‘Machine Learning’ worden organisaties in staat gesteld om snel en nauwkeurig grote hoeveelheden data te analyseren, nieuwe inzichten te verkrijgen en juiste be­slissingen te nemen. Waar deze AI-toepassingen bijdragen in het versnellen en ver­beteren van werkprocessen, blijken zij in de praktijk ondoorzichtig en complex te zijn en verliezen organisaties de controle op hun interne besluitvorming. Met Polteq iQ® (increment Quotiënt) krijgt u de mogelijkheid om inzicht te verkrijgen over wat de impact van wijzigingen in ‘Artificial Intelligence’- en ‘Machine Learning’-toepassingen is op de resultaten.

De uitdaging: AI als ‘black box’

Artificial Intelligence en Machine Learning ondersteunen in het doen van analyses, het verkrijgen van nieuwe inzichten en het nemen van besluiten op basis van big data. Deze technologieën zijn echter beide complex. De onderliggende algoritmes blijken in de praktijk voor de meeste mensen een ‘black box’, terwijl deze algoritmes in toenemende mate invloed hebben op ons leven.

Bij traditionele aanpakken van software testen wordt inzicht gegeven in de kwaliteit van dergelijke ‘black boxes’ door het vergelijken van de op voorhand gewenste resultaten met de werkelijke resultaten. Op basis van deze vergelijkingen kan aangegeven worden of de software “goed” of “fout” is. Het testen van AI-systemen vraagt echter om een andere aanpak. Door de dynamische aard van AI-systemen zijn traditionele testaanpakken onvoldoende toereikend om de kwaliteit van dit soort systemen aan te tonen. Bij AI-systemen kan het gedrag van het systeem evolueren zonder menselijke tussenkomst, heeft het een eigen feedback loop en kan het doorlopend leren van nieuwe data. Eén van de risico’s daarbij is dat het AI-systeem zich na go-live anders gaat gedragen dan gedurende het ontwikkelproces.

Hoe meet u dan de kwaliteit van dit proces, hoe kunt u vertrouwen hebben in een dergelijk zelflerend systeem en hoe weet u dat de algoritmes doen wat ze moeten doen?

De oplossing: Polteq iQ®

Om de kwaliteit van AI-systemen te optimaliseren is het essentieel om inzicht te hebben in de impact van wijzi­gingen die aangebracht zijn in de onderliggende algoritmes (en daarmee de werking van het product). Polteq heeft hiervoor een gestructureerde testaanpak ontwikkeld met bijbehorend testframework (Polteq iQ®). Polteq iQ® geeft u de mogelijkheid om verschillende versies van een systeem met elkaar te vergelijken en – voorafgaande aan inproductiename – vast te stellen of het product of de dienst beter of slechter geworden is door de aanpassingen. Polteq iQ® communiceert met de API van het doelsysteem om zo testgevallen geautomatiseerd uit te voeren. De resultaten van de uitvoer op de verschillende systemen worden automatisch vergeleken, waarbij een dashboard met metrieken wordt gevuld.

De visualisatie van de resultaten in een dashboard vergemakkelijkt de interpretatie. Polteq iQ® is voor meerdere toepassingen geschikt doordat de metrieken op key performance indicatoren kunnen worden ingericht, passend bij het te onderzoeken domein.

De verkregen inzichten kunnen worden gebruikt om het algoritme anders in te regelen. Na de wijziging(en) wordt opnieuw gemeten, waardoor men inzicht krijgt in het resultaat van de wijzigingen. Dit geeft u controle over de kwaliteit van uw AI- en/of ‘Machine Learning’-toepas­singen.

Polteq iQ - testen van AI en Machine Learning

Testresultaten recommendation engine

De aanpak

Polteq iQ® voor het testen van AI-systemen omvat de volgende stappen:

1. domeinanalyse;
2. configureren van Polteq-iQ® tooling;
3. opzetten van benodigde testdata;
4. koppeling Polteq-iQ® met API;
5. testuitvoering;
6. analyse metrieken en rapportage.

Toepassingen Polteq iQ®

Een goed voorbeeld van een systeem met onderliggende AI is een ‘recommendation engine’.
Een ‘recommendation engine’ beveelt bijvoorbeeld producten aan op basis van het koopgedrag van anderen die een vergelijkbaar profiel hebben. Echter, een resultaat dat prima is voor de ene gebruiker kan onacceptabel of onbruikbaar zijn voor andere gebruiker. Een nieuwe versie van het systeem heeft dan mogelijk een verschillende impact voor verschillende gebruikers. Polteq iQ® is uitermate geschikt om de impact van wijzigingen op het systeem te analyseren.

Andere gebieden waar Polteq iQ® goed kan worden toegepast, zijn:

  • optimaliseren van zoekmachines;
  • Virtuele Assistenten;
  • fraudedetectie;
  • online customer support / chatbots;
  • geautomatiseerde redacties;
  • surveillance;
  • muziek- en filmaanbevelingen;
  • social media;
  • medische toepassingen;
  • objectherkenning;
  • Virtual Reality / Augmented Reality.

Wilt u controle krijgen op de impact van wijzigingen in uw ‘Artificial Intelligence’- en ‘Machine Learning’-toepassingen? Neem dan vrijblijvend contact met ons op.

Gratis webinar

Op donderdag 25 maart organiseert Polteq van 12.30 tot 13.30 uur het gratis lunch-webinar: ‘Inzicht in de kwaliteit van Artificial Intelligence (AI)’. Tijdens dit webinar nemen we u mee in de wereld van AI en de uitdagingen die bij het testen van AI komen kijken.

Geïnteresseerd? Meld u aan!

25 maart 2021: gratis webinar inzicht in de kwaliteit van AI

Meer informatie

Heeft u een vraag of wilt u een vrijblijvende afspraak maken? Laat hieronder uw gegevens achter, dan nemen wij zo snel mogelijk contact met u op. U kunt ons natuurlijk ook bellen:

+31 (0) 33 277 35 22 (Nederland)
+32 (0) 16 39 48 04 (België)

Hoe wij dat doen?
Lees meer
Focus
Focus
Vakmanschap
Vakmanschap
Kennisdeling
Kennisdeling
Persoonlijk
Persoonlijk
Lokaal
Lokaal
Oprecht
Oprecht
Plezier
Plezier
Meer
Deze website is gerealiseerd door Webheads.

Neem contact op!