De APK voor voorspelmodellen; hoe je als data scientist weer tijd krijgt voor dingen die echt leuk zijn

15 mei 2019

Artikel geschreven door Jurriaan Nagelkerke, Principal Consultant

Wij, data scientists, zijn goed in het ontwikkelen van nieuwe modellen en halen daar een groot deel van onze werkvreugde uit. Data met de juiste preparatietechnieken, analysestappen en machine learning omzetten in waarde voor de onderneming is ons vak. Het liefste stoppen we zo veel mogelijk tijd in deze waardecreatie. De keerzijde van ons vak is dat alle voorspelmodellen en data producten die zijn opgeleverd, ook in de lucht gehouden moeten worden. Dus hoe meer je oplevert, hoe meer er moet worden onderhouden en hoe minder tijd er is voor de ‘echt leuke dingen’. Die dingen waar de data scientist juist van grootste meerwaarde voor de organisatie is…

De APK voor je voorspelmodellen

Voorspelmodellen kunnen doorgaans best een tijdje mee. Maanden en soms zelfs jaren. Zo lang het model aansluit op de businessdoelen en ‘alles nog goed gaat’ in de scoring. Maar hoe weet je of dat nog zo is? Daarvoor hebben we de APK voor voorspelmodellen gemaakt. Met een aantal checks kom je eenvoudig tot de conclusie of inderdaad ‘alles nog goed gaat’.

De online APK check: een goed begin

Hoe werkt de APK? De APK voor voorspelmodellen begint met een online APK check. Aan de hand van 10 vragen wordt gekeken of veranderingen binnen of buiten jouw organisatie mogelijk een risico vormen voor de bruikbaarheid van jouw voorspelmodel. Binnen 5 minuten weet je waar je aan toe bent.

Risico’s op vier domeinen

Er wordt gekeken naar risico’s op vier domeinen: Organisatie, Data, Wereld en Tijd. De scores per domein vormen gezamenlijk een eindscore. Wanneer de online APK check een verhoogd risico uitwijst, volgt een uitgebreide scan op domeinen met een risico om het risico nader te onderzoeken. Dit kan je doen, of laten doen, aan de hand van verdiepende vragen van de zogenaamde (zelf)scan. Deze vragen zenden we je toe.

Expertsessie en vervolgstappen

De uitkomsten van deze scan (vragenlijst) en eventuele vervolgstappen worden in een expertsessie besproken. Je hebt dan scherp zicht op bestaande en mogelijke risico’s bij het gebruik van je voorspelmodel. Je weet wat te doen en hoe je het model met minimale inzet maximaal kunt blijven inzetten. Ook bespreken we tips vanuit andere organisaties en ervaringen om een voorspelmodel langere tijd zonder risico te kunnen blijven gebruiken.

Kwaliteit onder controle door de APK voor voorspelmodellen

De APK voor voorspelmodellen helpt organisaties om de kwaliteit te bewaken van business processen waarin voorspelmodellen worden gebruikt. Voorspelmodellen zijn een onderdeel van de in gang gezette professionalisering van data science en en maakt het sturen op data binnen een organisatie mogelijk. Voorspelmodellen die worden ontwikkeld zijn steeds vaker een cruciaal onderdeel van business processen geworden. Het ‘in de lucht houden’ van deze modellen wordt een steeds grotere opgave voor organisaties.

Een investering in kwaliteit en continuïteit

Voor de data scientist betekent de APK in eerste instantie ‘meer werk’. Het invullen van de zelfscan(s) kan alleen de data scientist. Bovendien is zijn deelname aan de expertsessie waarin de resultaten worden besproken essentieel. Onder de streep helpt de APK de data scientist. Doordat het voorspelmodel gecheckt is, is de kwaliteit van de uitkomst en de continuïteit van de bedrijfsprocessen geregeld. Zo heeft de data scientist weer ruimte voor het ontwikkelen van nieuwe analyses en data producten. Bovendien is deze minder tijd kwijt aan beheer van eerdere successen.

Expertsessie met op maat advies en tips

Met een expertsessie krijg je inzicht in mogelijke risico’s bij bestaande voorspelmodellen, hands-on tips over passende documentatie en effectieve monitoring. Bovendien komen de adviezen en vraagstukken vanuit ervaringen uit diverse branches. Zo kan de data scientist het beheer van modellen met minimale effort af. Mogelijk kan hij het beheer zelfs elders beleggen met vertrouwen dat ‘alles nog goed gaat’ en zo niet, dit tijdig (automatisch) wordt opgemerkt.

Handig voor jou? Test ‘m zelf

Denk je dat de APK jou kan helpen om de kwaliteitsbewaking en het beheer van één van jouw voorspelmodellen te gaan borgen? Doe dan zelf eens de online check!

Doe de online check >