We zijn gewend geraakt aan het gebruik van algoritmen voor het geautomatiseerd nemen van beslissingen. Denk bijvoorbeeld aan een snelheidsovertreding, een aanvraag voor een hypotheek, een marketingcampagne of screening van een CV. Onze gewenning aan het gebruik op steeds meer terreinen brengt ook een hele reeks ethische problemen met zich mee. De beslissingen die genomen worden door middel van AI ligt niet bij de algoritmes die zijn ontwikkeld maar bij de mensen die de algoritmes ontwikkelen en in productie nemen. Daarom is het belangrijk dat wij, de data professionals die deze modellen ontwikkelen en in productie nemen, ons bewust zijn van onze eigen vooroordelen. In dit artikel bespreken we daarom voorbeelden van een specifiek ethisch probleem, cognitieve bias. Voor de meesten is dit een blinde vlek, dus die kunnen we maar beter even in het zonnetje zetten. Bias wordt gedefinieerd als een te algemene overtuiging over een bepaalde groep mensen die vaak onbewust wordt toegepast.
Er zijn verschillende soorten vooroordelen in het AI domein:
Bias in Machine Learning komt voor als modellen die gebruikt worden voor beslissingen last hebben van zogenaamde inductieve bias. Dit betreft modellen die aannames doen en generaliseren buiten de gegevens om waarmee ze zijn getraind. Stel je bijvoorbeeld een segmentatiemodel voor waarbij een nieuwe klant wordt ingedeeld in het verkeerde segment omdat de kenmerken van deze klant niet beschikbaar waren in de trainingsdata. Cognitieve bias daarentegen komt voor in het menselijk brein en betreft aangeleerde informatie en vooroordelen die mensen gebruiken om de wereld beter te begrijpen.
Er zijn zeer veel verschillende vormen van cognitieve bias, hieronder bespreken we er drie. Het laatste type is de mismatch van gegevens en de aannames die worden gebruikt om een model te construeren in tegenstelling tot de werkelijke populatie. De gegevens die worden gebruikt zijn daarmee geen goede afspiegeling van de populatie, met alle gevolgen van dien.
Dit type bias komt voort uit de neiging van je hersenen om informatieverwerking te vereenvoudigen met behulp van voorkeuren en persoonlijke ervaringsfilters. Dit doen we om efficiënt te zijn: elk seconde verwerken we grote hoeveelheden informatie. Het analyseren van al de aangeboden informatie kost ontzettend veel tijd en energie. Dus we maken een selectie en een vereenvoudiging om snel grote hoeveelheden te verwerken. Maar wat gebeurt er als deze bias de wereld van data analytics binnenkomt? In de volgende subsecties presenteren we drie verschillende cognitieve biases, hoe je deze kunt herkennen en wat je kunt doen om je bewust te worden hiervan.
1. Appeal to Novelty bias
Dit ‘nieuwheidseffect’ kan als volgt worden gedefinieerd: wanneer nieuwe technologie wordt geïntroduceerd is er een tendens om deze technologie te accepteren of zelfs te prefereren terwijl de prestaties aanvankelijk niet veel beter zijn of zelfs slechter. Dat iets het label ‘nieuw’ krijgt is voldoende voor een grote belangstelling en adoptie. Volgens deze bias voelen wij ons aangetrokken tot nieuwe dingen en beschouwen wij nieuwe of moderne dingen als superieur aan traditionele of de status quo. Gebruik je bijvoorbeeld een churn-model dat vorig jaar is ontwikkeld om te voorspellen welke klanten hun abonnement gaan opzeggen dan is de kans groot dat je een meer recent ontwikkeld churn-model accepteert zonder dat je weet of het ook echt beter presteert. Het voorkomen van het ‘nieuwheidseffect’ start met bewustwording: maak altijd een feitelijke vergelijking van nieuwe methoden met traditionele. Gebruik hiervoor een benchmark, of een blinde test: welke methode presteert het beste op feitelijke waarneming?
2. Blind Spot bias
De cognitieve bias die bekend staat als de ‘blind spot’ treedt op wanneer je in staat bent om de invloed van vooroordelen op het oordeel van anderen te herkennen terwijl je de invloed van je eigen vooroordelen op je eigen oordeel niet ziet. In dit geval geloven mensen vaak echt dat hun eigen manier correct is en helemaal niet bevooroordeeld, terwijl anderen dat wel zijn. Je kunt een collega die goed geïnformeerd is over recente AI ontwikkelingen bijvoorbeeld wijzen op zijn of haar voorkeur voor nieuwe methoden en technieken terwijl deze niet een betere performance laten zien.
Aan de andere kant ben je zelf een voorstander van het gebruik van decision trees omdat jij gewoon betere resultaten hiermee krijgt; en dit is zeker geen vooringenomenheid. Bij dit soort bias is het belangrijk een zelfreflectief proces te hebben om niet alleen bias te herkennen in andermans werkzaamheden, maar ook in persoonlijk perspectief. Dit verreist ten eerste dat je open staat voor het feit dat je handelt met vooroordelen en dat je van de meesten hiervan je niet bewust bent. Laat collega’s daarom af en toe meekijken met jouw code en besluitvorming om te voorkomen dat je dingen over het hoofd ziet. Bespreek beslissingen die je neemt in een team om meer feedback op te halen over je handelen en je bewust te worden van je blinde vlekken.
3. Availability heuristic bias
Dit effect betreft een mentale snelkoppeling die gebruik maakt van de eerste ideeën die in iemands hoofd opkomen bij het nemen van een beslissing. Als data professional zal dit ervoor zorgen dat methoden en technieken die je vaak gebruikt eerder geselecteerd worden voor een toepassing. Stel je hebt recent een training ‘topic modeling’ afgerond en op de werkvloer hoor je twee collega’s praten over het modelleren van reality shows. Bij de vraag welke methoden hier het best geschikt voor zouden zijn is het waarschijnlijker dat je kiest voor ‘topic modeling’ als techniek omdat deze techniek toegankelijk is in het kortetermijngeheugen en niet omdat deze bijzonder geschikt is voor dit vraagstuk. De enige manier om de beschikbaarheidsheuristiek te vermijden bij het nemen van kritische beslissingen is een moment te nemen om de gegevens en het doel van de taak te herzien, in plaats van aan te nemen dat wat het eerst in je opkomt, accuraat is. Maak bijvoorbeeld een kort plan van aanpak bij het starten van de analyse en toets dit bij één of twee collega’s voordat je start met je werkzaamheden.
Vooroordelen zijn vaak versimpelde voorstellingen van de werkelijkheid en erg menselijk, iedereen heeft ze. Het kan verhinderen dat iedereen gelijke rechten en toegang heeft bij het nemen van geautomatiseerde beslissingen, en daarom is het belangrijk dat je je bewust bent van je eigen blinde vlekken. De belangrijkste uitdaging voor data professionals is het creëren van een eerlijke omgeving voor iedereen. Eerder schreven we al over hoe je als bedrijf kunt starten met verantwoordelijke AI. Daarnaast heeft de Association of Computing Machinery (ACM) een checklist met ethische richtlijnen opgesteld die kan worden gebruikt als basis voor elk model, elke code en elk systeem. Als je meer wilt lezen over cognitieve vertekeningen, hebben we de perfecte 6-delige serie voor je!
Wil je meer weten over dit onderwerp? Neem dan contact op met Wouter van Gils via onderstaande contactgegevens.