Deepfake it until you make it

5 juni 2020

De laatste jaren ging mijn data science aandacht uit naar tekst (NLP / NLU), maar dat weerhoud me er niet van om een beetje te spelen met video. Geïnspireerd door president Trump zijn benadering van het coronavirus en Jim Carrey vs Allison Brie, deed ik mijn eerste poging om te spelen met DeepLearning voor video’s en DeepFakes.

Een eerste resultaat met AI

Ondanks dat het zeker niet perfect is, moet ik zeggen dat ik onder de indruk ben over hoe makkelijk het was om dit resultaat te bereiken. Naar mijn mening is dit dan ook een goed voorbeeld van de democratisering van artificial intelligence. Ondanks de risico’s die deze trends met zich meebrengen, van nep nieuws tot garbage in / garbage out, geloof ik dat deze trend ons meer goede dan slechte dingen gaat brengen.

De tijdsinvestering … van mijn computer

Het kostte me 4 dagen trainingstijd. Nou ja, eigenlijk niet mij, maar mijn computer (MSI Prestige with NVIDIA GTX1070). Sterker nog, ik was het weekend weg. Ik ben er, denk ik, niet meer dan 2 of 3 uur mee bezig geweest. De meeste tijd was ik kwijt aan het opnemen van de video van mezelf, het maken van de trainingsdata en het nabewerken van bepaalde effecten.

Efficiency en productie, belangrijke trends in data science

Een andere opkomende trend is meer focus op efficiency. Dagen, weken, maanden van training en getrainde modellen die bestaan uit parameters van biljoenen, GB’s of zelfs TB’s aan data, zijn niet altijd gemakkelijk en snel in productie te brengen. Terwijl we pas waarde kunnen creëren met data, als algoritmes in productie zijn. Een tijdje terug hoorde ik dat slechts 20% van alle algoritmes die gemaakt zijn, ook in productie gaan. Wanneer ik kijk naar mijn jaren ervaring als data scientist, dan heb ik veel organisaties gezien waar ze die 20% niet eens redden. Maar dat is misschien iets voor een andere keer om het over te hebben.

Wil jij jezelf deepfaken?

Check dan hier de stappen die ik heb gezet (no code, no worries).

Om te beginnen zijn er 2 belangrijke packages voor DeepFakes: FaceSwap en DeepFaceLab, zie hieronder.

Ik heb de laatste gebruikt, omdat ik er goede verhalen over heb gehoord.

1. Zoek een video waarin je jouw gezicht wil hebben.
2. Maak een video van ongeveer 20 minuten van jezelf. Ik heb mezelf een tijdje opgenomen terwijl ik aan het werk was. Eigenlijk heb ik de video gevonden tijdens het opnemen. Achteraf had ik beter eerst de video kunnen uitzoeken. Je krijgt een beter resultaat als je de video imiteert.
3. Enkele tips:
   a. Probeer de belichting hetzelfde te maken (de mijne was te licht)
   b. Imiteer de spraak (omdat ik aan het werk was tijdens het filmen, praatte ik niet echt; daardoor zijn mijn tanden soms vaag en Jeroen Scott articuleert niet zo expliciet)
   c. En misschien moet je jezelf op dezelfde manier scheren als degene die je nadoet.
4. Dan door de batchfiles:
   0. clear workspace.bat
   1. extract images from video data_src
   2. extract images from video data_dst FULL FPS.bat
   3. data_src faceset extract.bat
   4. data_dst faceset extract.bat
   5. train SAEHD.bat
   Ik heb de SAEHD gebruikt voor training. Er zijn andere mogelijkheden. Maar van alle blogs die ik heb gelezen, was deze het meest gebruikte.
   6. TIP: ga een weekend weg, je computer zal veel herrie maken. Het is onmogelijk om met andere dingen bezig te zijn zonder oordopjes. Mijn grootste vraag was hierbij: hoe lang moet ik mijn computer trainen? Ik zocht het uit en heb verschillende antwoorden gevonden. Iemand zei: drie tot zeven dagen (dat helpt…). Iemand anders zei: totdat je een loss bereikt van 0.02. Nou ik kwam tot 0.16 na vier dagen. De volgende dag moest ik weer aan het werk en ik wilde niet afgeleid worden door de herrie van mijn computer, dus ben ik gestopt met trainen (je kunt altijd de training later weer oppakken). En ik ben eigenlijk wel blij met het resultaat.
   7. merge SAEHD.bat
   8. merged to mp4.bat. Er is een interactieve laag waar je dingen in kunt aanpassen. Zoals bijvoorbeeld de grootte van je hand (die hoefde ik niet aan te passen), kleur van je huid en andere dingen. Het geheim is: bijna niemand weet wat er hier echt gebeurd, dus probeer gewoon wat dingen uit.

Bekijk mijn DeepFake video!

Dit artikel verscheen eerder op TheAnalyticsLab.nl.

Dit is artikel is gemaakt vanuit de initiatieven in The Analytics Lab. We zijn altijd bezig met ontwikkelingen op het gebied van data science. Daarom hebben we in 2016 The Analytics Lab opgericht. Daar zoeken we de grenzen op van de mogelijkheden van data science & AI. We delen graag onze ervaringen en kennis met jullie.