- Daniel Voshart, een ontwerper in Toronto, gebruikte machine learning en Photoshop om bustes van Romeinse keizers om te zetten in fotorealistische beelden.
- Voshart wilde de keizers presenteren zoals ze eruit zouden hebben gezien aan het einde van hun regeerperiode, ondanks eventuele ziekten die hun uiterlijk zouden kunnen hebben veranderd.
- Artiesten staan erom bekend dat ze het goede uiterlijk van de heersende klasse overdrijven, dus vermoedelijk zijn deze beelden eerlijker.
Artiesten hebben in het verleden overdreven hoe aantrekkelijk heersers waren op hun portretten en sculpturen. Koningin Caroline van Engeland zei het het beste in 1795, toen ze het moment beschreef waarop ze haar verloofde, koning George IV, voor het eerst zag: “Ik vind hem erg dik, en in geen geval zo mooi als zijn portret.”
Nu corrigeert een ontwerper uit Toronto een aantal van die creatieve vrijheden. Door machine learning, Photoshop en historische gegevens te combineren, heeft Daniel Voshart 54 Romeinse keizerbustes uit de periode van het Prinsdom (27 v.Chr. tot 285 n.Chr.) omgetoverd tot fotorealistische afbeeldingen.
⏳ Je houdt van oude geschiedenis. Dat doen wij ook. Laten we er samen op los gaan.
Oorspronkelijk begon Voshart aan het werk als een soort quarantaineproject. “Ik denk dat het de aard van de pandemie was, die me aan het denken zette over iets anders, en misschien werd ik aangetrokken door de morbide details van het leven van de keizers,” vertelt hij aan Popular Mechanics. “Ik werkte aan een sciencefictionshow over 2000 jaar in de toekomst, dus misschien werd ik aangetrokken om over het verleden na te denken.”
Maar Voshart had niet kunnen voorspellen dat de bestellingen voor zijn eerste editie prints – met keizers als Augustus, Nero en Decius – op zijn Etsy-pagina zouden ontploffen. “Ik wist niet dat de respons zo groot zou zijn dat ik mijn werkuren zou verminderen om aan de vraag te voldoen,” zegt hij.
Het proces was niet simpelweg een kwestie van het inpluggen van foto’s van de bustes om er een soort perfect menselijk gezicht uit te spugen, aldus Voshart. Om de ruwe schetsen voor het gezicht van elke keizer te genereren, leunde Voshart zwaar op een machine learning tool genaamd Artbreeder. De open-source software maakt gebruik van generatieve adversariale netwerken, of GAN’s, om een afbeelding te spawnen.
Als dat bekend klinkt, komt dat waarschijnlijk omdat je hebt gehoord van deepfakes, of synthetische media die vaak voor snode doeleinden worden gebruikt. GAN’s, de onderliggende technologie in deepfakes, kunnen algoritmen helpen verder te gaan dan de eenvoudige taak van het classificeren van gegevens en in het rijk van het creëren van gegevens – in dit geval, beelden. Dit gebeurt wanneer twee GAN’s elkaar proberen wijs te maken dat een afbeelding echt is. Met slechts één beeld kan een beproefde GAN een videoclip maken van bijvoorbeeld Richard Nixon.
Roman Emperors Merch
>
Hoewel de Romeinse keizers van Voshart geen deepfakes zijn, delen ze wel een soortgelijk technologisch kader – het zijn gewoon verschillende toepassingen van machine learning. Specifiek, Artbreeder gebruikt NVidea StyleGAN, een open-source GAN die computerwetenschappers in december 2018 hebben gemaakt.
In een virtuele lezing van 30 september over “GAN’s for Good,” Anima Anandkumar, de directeur van machine learning research voor NVIDIA, legt uit hoe de technologie werkt. Door gebruik te maken van een techniek genaamd disentanglement learning, kan de GAN bepaalde stijlelementen in isolatie beter scheiden en controleren, iets wat kunstenaars zoals Voshart van nature veel beter kunnen dan machines.
“Mensen zijn hier geweldig in,” legde Anandkumar uit in de lezing. “We hebben verschillende concepten die we als zuigelingen hebben geleerd en we hebben dat op een ongesuperviseerde manier gedaan, en op deze manier kunnen we nu componeren, en geheel nieuwe beelden of concepten maken.” In de praktijk betekent dit dat een gebruiker meer controle heeft over welke eigenschappen van een bronafbeelding ze willen gebruiken in de nieuwe afbeelding.
Tap hier om te stemmen
Joel Simon, de ontwikkelaar die Artbreeder heeft gemaakt, vertelt aan Popular Mechanics dat het allemaal neerkomt op de manier waarop de neurale netwerken van het programma de “ruimte” in de afbeeldingen weergeven.
“Wanneer een afbeelding wordt ‘geüpload’, wordt het gezicht bijgesneden en vervolgens wordt er een zoekproces uitgevoerd om de dichtstbijzijnde plaats in de ruimte voor die afbeelding te vinden,” legt hij uit. “Als het eenmaal in deze ‘ruimte’ is, is het gemakkelijk om te ‘bewegen’ door getallen toe te voegen of af te trekken die overeenkomen met waarden zoals de leeftijd of het geslacht, hier de ‘genen’ genoemd. Dus door kleur toe te voegen, doet het dat op een zeer intelligente manier, niet alleen door pixels te bewerken, maar door door de ruimte van alle gezichten te bewegen.”
Dit maakt het eenvoudiger voor een kunstenaar als Voshart om trainingsgegevens te uploaden – in dit geval ongeveer 800 voorbeelden van Romeinse keizerbustes – om tot een hyperrealistisch gezicht te komen met minder artefacten, of afwijkingen die door de software worden geïntroduceerd.
Toch had Voshart een aanzienlijke hoeveelheid werk aan zijn handen, zelfs na het gebruik van de Artbreeder-software. In zijn testfase, voorafgaand aan het produceren van de Romeinse keizer gezichten die zijn afgebeeld in zijn uiteindelijke prenten, kwamen de resultaten vol met afwijkingen.
“Het resultaat vertoont veel vreemde artefacten en neigt ertoe gelaatstrekken te vervormen tot een soort gemiddeld gezicht, wat het tegenovergestelde is van wat je wilt als je een interessante uitdrukking wilt behouden,” zegt Voshart. “Mijn proces was meer downloaden van Artbreeder, aanpassen in Photoshop, en het proces herhalen door het weer in Artbreeder te laden.”
Ook al kan het een hoofdpijn zijn om fouten in de gegenereerde afbeeldingen te verwijderen, Voshart zegt dat er “geen verre kans” is dat hij het werk had kunnen doen zonder de kracht van machine learning.