Hoe leer je een computer typen zonder toetsenbord? Kunstmatige intelligentie op de SSGN

3 juli 2018

Artikel geschreven door Stijn Kuijpers en Jeanine Schoonemann

Het is een ochtend in mei op de Stedelijk Scholengemeenschap Nijmegen. Er zijn 50 leerlingen, 7 laptops met webcam en 26 letters. De leerlingen krijgen de opdracht: bedenk een eigen gebarentaal en leer de computer jouw gebaren herkennen, zodat je zonder toetsenbord kunt typen.

Maatschappelijk betrokken: education for the next generation

Als bedrijf vindt Cmotions het belangrijk om maatschappelijk betrokken te zijn. Dat doen wij met ons programma “Who Cares?”. Binnen het thema “education for the next generation” verzorgden wij een tweedaagse workshop op de Stedelijk Scholengemeenschap Nijmegen (SSGN). De workshop vond plaats tijdens de projectweek voor ruim 50 VWO leerlingen. Een workshop waarin we de groep tieners op een interactieve manier wilden meenemen in onze wereld van data, analytics en artificial intelligence.

Kunstmatige intelligentie en jouw eigen gebarentaal

We startten de workshop met een korte presentatie over hoe en waarom bedrijven jouw persoonlijke data verzamelen en hoe ze kunstmatige intelligentie inzetten. Om daarna lekker praktisch aan de slag te gaan met dit onderwerp.

De techies & de creatives

Voor de opdracht verdeelden we de leerlingen in zeven groepen. De “techies” (leerlingen die het vak informatica volgen) en “creatives” werkten samen aan een uniek gebarenalfabet en een algoritme dat die gebaren kan herkennen op de computer via de webcam. De leerlingen kregen als doel om op dag 2 in een afsluitende battle zo goed en zo snel mogelijk een tekst in te voeren via de webcam. Let the games begin!

De samensmelting van de groepen om het alfabet te maken

Om hun kwaliteiten en interesses maximaal in te zetten, doken de techies dieper in de wereld van objectherkenning en Python. Terwijl de creatives voor iedere letter van het alfabet een gebaar bedachten. Na de “samensmelting” van de groepen wisten de techies meer over de eisen waaraan de foto’s moesten voldoen om het model te trainen. De groep kon samen verder aan de slag met 26 letters en voor elke letter waren er 30 foto’s nodig.

Succesfactoren voor de gebarentaal

Een succesvolle gebarentaal onderscheidde zich al. De volgende factoren waren van belang:

Voor letters die veel voorkomen, is een eenvoudig (en dus snel) gebaar verstandig.
Gebaren die voor jou totaal verschillend lijken, zijn dat voor een computer niet altijd.
Schaduw is lastig voor de foto’s, maar niet per se een probleem.
Niet iedereen is even soepel in het draaien van arm, pols of vingers!

Gelukkig kregen de laptops na de eerste dag ruim 36 uur de tijd om alle foto’s te verwerken tot een intelligent algoritme. Een algoritme dat een unieke gebarentaal kan herkennen én dat kort daarvoor nog niet eens bestond.

Mogelijkheden versus privacy: het debat

De ochtend van dag twee startten we fris en fruitig met een pittig debat over de voor- en nadelen van het gebruik van data en kunstmatige intelligentie. In een Lagerhuis-opstelling voerden de leerlingen een goede inhoudelijke discussie over o.a. gratis social media platforms & privacy, “slim” cameratoezicht door de overheid en zelfdenkende wapens. Wij waren positief verrast over de kwaliteit en creativiteit van de gebruikte argumenten door zowel voor- als tegenstanders van de stellingen.

The battle: welke gebarentaal werd het best herkend

Tenslotte was het moment daar: de battle! In de oefenrondjes bleek al snel dat niet iedere letter even gemakkelijk herkend werd, maar dat het iedere groep toch wel lukte om zeker een handvol letters consequent en snel te “typen”. De twee topteams staken met kop en schouders boven de rest uit. Zij voerden in 5 minuten en groot deel van de finale-tekst foutloos in. Uiteindelijk won het team dat vooraf het beste had nagedacht over de gebaren voor veelvoorkomende letters en dat het beste samenwerkte tussen techies en creatives. Complimenten!

Geslaagde workshop dankzij enthousiaste samenwerking tussen bedrijfsleven en onderwijs

Wij hebben ontzettend veel plezier gehad in het voorbereiden en verzorgen van deze workshop voor een doelgroep die wij niet gewend zijn. Toch best spannend! Gelukkig waren de leerlingen enthousiast en de schoolleiding ontzettend positief over deze samenwerking tussen bedrijfsleven en onderwijs. Wij hopen dat we met deze workshop nu én in de toekomst kunnen bijdragen aan “education for the next generation”, want het smaakt zeker naar meer!

Bekijk hier de foto’s van de 2-daagse workshop: