Algoritme brengt portretten Mona Lisa en Marilyn Monroe tot leven
Russische onderzoekers hebben met de hulp van artificiële intelligentie een techniek ontwikkeld die een portret kan laten bewegen.
Portretten die plots tot leven komen? Tot nu toe zagen we die nog alleen in Harry Potter verschijnen, maar in de toekomst kan het dagelijkse realiteit worden. Onderzoekers van het Samsung AI-center in Moskou geven alvast een eerste aanzet in een preprint paper die maandag is verschenen op het elektronische platform ArXiv. Het artikel is nog niet gepubliceerd in een wetenschappelijk tijdschrift (en dus nog niet beoordeeld door collega's), maar de resultaten zien er alvast indrukwekkend uit. In een video doen de onderzoekers uit de doeken hoe ze erin geslaagd zijn om de portretten van Salvador Dali, Albert Einstein, Fyodor Dostoyevsky, Marilyn Monroe en zelfs de Mona Lisa aan het praten te krijgen.
Generative Adversarial Networks
De onderzoekers gebruikten de techniek van Generative Adversarial Networks. Daarbij worden drie deep learning-netwerken gecombineerd. Eerst leerden ze hun algoritme om expressieve gezichtskenmerken te herkennen, zoals de positie van ogen, neus en mond. Daarvoor deden ze beroep op 7.000 bewegende gezichten die ze van een publieke databank haalden. Aan de hand van die voorbeelden werd een eerste neuraal netwerk getraind om de belangrijke punten op het gezicht om te zetten in vectoren die vervolgens door een tweede netwerk gebruikt konden worden. Dit 'generatornetwerk' tracht om op basis van die vectoren en één nieuwe foto een volledig bewegend gezicht te genereren. Ten slotte evalueert het 'discriminatornetwerk' of die video's realistisch zijn.
Het was eerder al mogelijk om met artificiële intelligentie valse video's te maken. Nadat iemand een gratis tooltje had gelanceerd waarmee je gezichten in films kunt 'swappen', circuleerden vorig jaar de eerste deepfake-video's op het web (en het duurde niet lang vooraleer pornowebsites filmpjes moesten verbieden waarin de gezichten van porno-actrices vervangen waren door die van celebrities). Om dergelijke deepfake-video's te maken is echter veel videomateraal van de persoon in kwestie nodig, terwijl bij deze nieuwe techniek één enkele foto volstaat.
Meer foto's levert realistischere video op
De video's die op basis van één foto gemaakt worden ogen weliswaar nog niet perfect. Bij acht foto's lijken de bewegingen en gezichtsexpressies realistischer. Worden er 32 foto's gebruikt, dan kan je het verschil met een echte video nog amper zien. De techniek zou gebruikt kunnen worden om bewegende avatars te maken, bijvoorbeeld voor toepassingen in de game-industrie. Je zou er ook die ene foto van je overgrootvader mee tot leven kunnen wekken. Tegelijk zet een technologie waarmee op basis van één foto een nepvideo kan gemaakt worden ook de deur open voor misbruik. Recent is binnen de AI-gemeenschap een debat ontstaan over de vraag of dergelijke resultaten wel zomaar gepubliceerd mogen worden.
In samenwerking met Datanews
