Zijn jouw voorspelmodellen nog up-to-date?

28 maart 2019

Artikel geschreven door Jurriaan Nagelkerke, Principal Consultant

Voorspelmodellen zijn een krachtige en veelgebruikte manier om meer kennis en waarde uit de data te halen die niet altijd met het blote oog zichtbaar is. Zo kunnen voorspelmodellen ingezet worden om de klanten te selecteren met een grote kans op een (cross sell) verkoop of om de klanten te identificeren met hoge kans om hun abonnement te stoppen en/of weg te gaan. Je zet campagnes effectiever in en je bespaart geld, wanneer je met een campagne alleen de klanten benadert die een hoge kans hebben om weg te gaan volgens het model. Bovendien overspoel je dezelfde klant niet met campagnes. De kracht van het voorspelmodel is wel afhankelijk van de kwaliteit. Check daarom regelmatig of hij nog up-to-date is.

Veel voorspelmodellen zijn maatwerk

Goede voorspelmodellen zijn doorgaans maatwerk. Ze worden gebouwd door kundige analisten of door een externe partij met specialistische kennis op het gebied van voorspeltechnieken. Na een paar weken van verzamelen van data, opschonen combineren, analyseren en tweaken staat er een goed model wat in gebruik kan worden genomen in selectieprocessen. Afhankelijk van het type campagne zal de klanten- of prospectbase wekelijks, maandelijks, of ieder kwartaal opnieuw worden uitgescoord. Om zo de klanten met de hoogste kans te selecteren en deze klanten een passend aanbod te doen in de campagne.

Een voorspelmodel langdurig gebruiken is niet zonder risico’s

We hebben al veel succesvolle cases van voorspelmodellen meegemaakt bij onze klantrelaties. Door ons gemaakt en overgedragen, of door analisten van de klant zelf ontwikkeld. Vaak zien we bij klanten dat ze deze voorspelmodellen blijven gebruiken volgens het PIEP-systeem. Oftewel: zolang het model output blijft generen die uitgeleverd kan worden voor een campagne. Maar ondertussen zijn er genoeg interne en externe factoren die invloed kunnen hebben op je model, waardoor deze nu niet meer optimaal functioneert en daarmee niet meer de beste klantgroep selecteert. Zonde! Door het model aan te passen, opnieuw te trainen, of nieuwe databronnen toe te voegen aan het voorspelmodel, had mogelijk een hoger rendement behaald kunnen worden. Daarnaast is het gebruiken van een verouderd model ook niet zonder risico’s. Zo kan een verouderd voorspelmodel er namelijk ook voor zorgen dat er data worden gebruikt voor klantselecties, die volgens de nieuwe privacywetgeving helemaal niet meer gebruikt mogen worden. Of dat door veranderingen in het datalandschap inmiddels de verkeerde klanten vooraan worden gezet voor jouw campagne!

Optimaliseer je campagne én je check voorspelmodel

Bij het verder professionaliseren en optimaliseren van campagnes hoort ook: doorlopende kwaliteitscontrole. Enerzijds door de voorspelkracht van het model te monitoren. En anderzijds door op verschillende domeinen te controleren of het model nog doet waar het voor bedoeld is. Doen de analisten die het model hebben gemaakt of het model in beheer hebben dat dan niet? In onze ervaring zijn analisten doorgaans vooral bezig met het ontwikkelen van nieuwe inzichten en modellen. Ze krijgen daar meer energie van en bovendien wordt dat ook van ze gevraagd. En als het model bij een andere afdeling in beheer is gegeven, is het voor hen vaak lastig in te schatten of het model nog ‘goed’ is. Het periodiek controleren of wat draait nog optimaal werkt, is (vooral bij gebrek aan PIEP) doorgaans geen prioriteit. En al helemaal niet als de persoon of organisatie die het model ontwikkelde, inmiddels niet meer aanwezig is binnen de organisatie.

Een voorbeeld over het effect van langdurig gebruik van een voorspelmodel

Een voorbeeld om inzicht te geven in gevolgen bij het langdurig gebruiken van een model. Door met hetzelfde model langere tijd in dezelfde poel van prospects te blijven vissen, zal het model iedere keer dezelfde prospects blijven selecteren. Deze prospects ontvingen naar alle waarschijnlijkheid al meerdere keren het aanbod. Bovendien is het zeer waarschijnlijk dat ze niet nóg een keer op hetzelfde aanbod in zullen gaan. Ze zullen zich eerder uitschrijven voor alle communicatie. Een ander voorbeeld van een risico is dat  één van de voorspellers in het model inmiddels heel andere waarden bevat dan het creëren van het model. Denk hierbij aan een product dat inmiddels van naam is veranderd. Daar waar het sterk responsverhogend was dat iemand een ‘plusabonnement’ had, is dat niet meer voorspellend als dit abonnement is hernoemd naar ‘premiumabonnement’. Naamsveranderingen of andere veranderingen komen vaker voor dan gedacht en kunnen voorspelmodellen onverwachts overhoop gooien. En niet onbesproken kan blijven: mag je bepaalde voorspellers nog wel gebruiken? Neem het contactgedrag van de klant over langere tijd. Is het wel volgens de interne richtlijnen om deze data voor dit doel te gebruiken?

Mis het niet: de periodieke controle op je voorspelmodel

Om in te schatten hoe groot het risico is dat het model niet meer doet waar het voor bedoeld is, hebben we vanuit Cmotions de APK voor voorspelmodellen ontwikkeld. Net zoals je bij je auto jaarlijks een check uit laat voeren om te zien of deze nog veilig de weg op mag, is het verstandig om ook periodiek een check uit te voeren voor je voorspelmodel. Maakt je voorspelmodel met de huidige beschikbare data en onder de huidige wetgeving de best mogelijke voorspelling? En past deze nog steeds goed bij het doel van de huidige campagne?

Online check: dé APK voor je voorspelmodel

Vanuit onze brede ervaring met het bouwen en implementeren van voorspelmodellen, hebben we een online check ontwikkeld met 10 vragen. Deze check is in te vullen door managers. De vragenlijst gaat over 4 domeinen. Het geeft een eerste indicatie op welke van de domeinen jouw voorspelmodel mogelijk een risico loopt. Loop je geen risico, dan weet je dat direct. Mocht er wel een verhoogd risico zijn. Dan hebben we per domein een uitgebreid stappenplan voor een (zelf)scan. Deze gaat dieper in op variabelen, monitoring, voorspellingen, wetgeving etcetera. Deze vragenlijst is bedoeld voor de analist vanwege de specifieke kennis van de data. De uitkomsten bespreken we graag met elkaar in een expertsessie. In deze sessie wordt duidelijk of er aanpassingen nodig zijn en zo ja, welke. Hopelijk kunnen we deze sessie afsluiten met een welverdiend certificaat dat aangeeft dat het model future-proof is.

Heeft jouw organisatie een voorspelmodel draaien waarvan je je afvraagt of dat nog wel helemaal goed gaat? Doe dan nu de online check en je weet binnen 5 minuten of je een risico loopt of dat je je voorspelmodel nog prima een tijdje kunt blijven gebruiken.

Doe de online check >

Meer informatie over de online APK check.