- Daniel Voshart, en designer i Toronto, brugte maskinlæring og Photoshop til at omdanne buster af romerske kejsere til fotorealistiske billeder.
- Voshart ønskede at præsentere kejserne, som de ville have set ud ved slutningen af deres regeringstid, uanset eventuelle sygdomme, der kunne have ændret deres udseende.
- Kunstnere har været kendt for at overdrive det gode udseende af den herskende klasse, så formentlig er disse billeder mere retfærdige.
Kunstnere har historisk set overdrevet, hvor attraktive regenterne var på deres portrætter og skulpturer. Dronning Caroline af England sagde det bedst tilbage i 1795, da hun beskrev det øjeblik, hun første gang fik øje på sin forlovede, kong George IV: “Jeg synes, han er meget fed og på ingen måde så smuk som hans portræt.”
Nu retter en designer fra Toronto op på nogle af disse kreative friheder. Ved at kombinere maskinlæring, Photoshop og historiske optegnelser har Daniel Voshart forvandlet 54 romerske kejserbuster fra Principat-perioden (27 f.Kr. til 285 e.Kr.) til fotorealistiske billeder.
⏳ Du elsker oldtidshistorie. Det gør vi også. Lad os nørde med det sammen.
Originalt påtog Voshart sig arbejdet som en slags karantæneprojekt. “Jeg tror, det var pandemiens karakter, som fik mig til at tænke på alt muligt andet, og måske blev jeg tiltrukket af de morbide detaljer i kejsernes liv,” siger han til Popular Mechanics. “Jeg arbejdede på et sci-fi-show om 2.000 år i fremtiden, så måske blev jeg tiltrukket af at tænke på fortiden.”
Men Voshart kunne ikke have forudset, at ordrerne på hans første udgave af prints – med kejsere som Augustus, Nero og Decius – ville eksplodere på hans Etsy-side. “Jeg vidste ikke, at responsen ville være så stor, at jeg faktisk ville reducere mine arbejdstimer for at imødekomme efterspørgslen”, siger han.
Processen var ikke blot et spørgsmål om at indsætte billeder af busterne for at spytte en slags perfekt menneskeansigt ud, siger Voshart. For at generere de grove udkast til hver kejsers ansigt var Voshart stærkt afhængig af et maskinlæringsværktøj kaldet Artbreeder. Open source-softwaren bruger generative adversarial networks, eller GAN’er, til at skabe et billede.
Hvis disse lyder bekendt, er det sandsynligvis fordi du har hørt om deepfakes eller syntetiske medier, der ofte bruges til forbryderiske formål. GAN’er, den underliggende teknologi i deepfakes, kan hjælpe algoritmer med at bevæge sig ud over den simple opgave med at klassificere data og ind på området for datakreation – i dette tilfælde billeder. Dette sker, når to GAN’er forsøger at narre hinanden til at tro, at et billede er ægte. Ved hjælp af så lidt som ét billede kan en gennemprøvet GAN skabe et videoklip af f.eks. Richard Nixon.
Roman Emperors Merch
Mens Vosharts romerske kejsere ikke er deepfakes, deler de en lignende teknologisk ramme – de er bare forskellige anvendelser af maskinlæring. Konkret bruger Artbreeder NVidea StyleGAN, en open-source GAN, som computerforskere skabte tilbage i december 2018.
I en virtuel forelæsning den 30. september om “GANs for Good” forklarer Anima Anandkumar, direktør for forskning i maskinlæring hos NVIDIA, hvordan teknologien fungerer. Ved hjælp af en teknik kaldet disentanglement learning kan GAN’en bedre adskille og kontrollere visse stilelementer isoleret set, hvilket kunstnere som Voshart naturligt kan gøre meget bedre end maskiner kan.
“Mennesker er gode til dette”, forklarede Anandkumar i foredraget. “Vi har forskellige begreber, som vi har lært som spædbørn, og vi har gjort det på en uovervåget måde, og på denne måde kan vi nu komponere og lave helt nye billeder eller koncepter.” I praksis betyder det, at en bruger har mere kontrol over, hvilke egenskaber i et kildebillede han/hun gerne vil bruge i det nye billede.
Tryk her for at stemme
Joel Simon, udvikleren, der har skabt Artbreeder, fortæller til Popular Mechanics, at det hele handler om den måde, hvorpå programmets neurale netværk repræsenterer “rum” i billederne.
“Når et billede ‘uploades’, beskæres ansigtet, og derefter foretages en søgeproces for at finde det nærmeste sted i rummet for det pågældende billede”, forklarer han. “Når det først er i dette ‘rum’, er det nemt at ‘flytte rundt’ ved at tilføje eller trække tal fra, der svarer til værdier som alder eller køn, her kaldet ‘gener’. Så ved at tilføje farve gør den det på en meget intelligent måde, ikke bare ved at redigere pixels, men ved at bevæge sig gennem rummet af alle ansigter.”
Dette gør det enklere for en kunstner som Voshart at uploade træningsdata – i dette tilfælde omkring 800 prøver af romerske kejserbuster – for at komme frem til et hyperrealistisk ansigt med færre artefakter eller abnormiteter, der indføres af softwaren.
Selvfølgelig havde Voshart stadig en betydelig mængde arbejde foran sig, selv efter at han havde brugt Artbreeder-softwaren. I hans testfase, før han producerede de romerske kejseransigter, der er afbildet på hans endelige tryk, kom resultaterne fyldt med abnormiteter.
“Resultatet kommer ud med masser af mærkelige artefakter og har en tendens til at morfe træk tilbage til en slags gennemsnitsansigt, hvilket er det modsatte af, hvad man ønsker, når man ønsker at bevare et interessant udtryk”, siger Voshart. “Min proces var mere at downloade fra Artbreeder, ændre det i Photoshop og gentage processen ved at indlæse det igen i Artbreeder.”
Selv om det kan være en hovedpine at fjerne fejl i de genererede billeder, siger Voshart, at der er “ikke en fjern chance” for, at han kunne have udført arbejdet uden maskinlæringens kraft.