- Daniel Voshart, en designer i Toronto, använde maskininlärning och Photoshop för att omvandla byster av romerska kejsare till fotorealistiska bilder.
- Voshart ville presentera kejsarna så som de skulle ha sett ut i slutet av sin regeringstid, oaktat eventuella sjukdomar som kan ha förändrat deras utseende.
- Konstnärer har varit kända för att överdriva den härskande klassens goda utseende, så antagligen är dessa bilder mer rättvisa.
Konstnärer har historiskt sett överdrivit hur attraktiva härskare var i sina porträtt och skulpturer. Englands drottning Caroline sa det bäst 1795 när hon beskrev det ögonblick då hon för första gången fick syn på sin fästman, kung George IV: ”Jag tycker att han är mycket fet och inte alls så vacker som hans porträtt.”
Nu korrigerar en designer från Toronto några av dessa kreativa friheter. Genom att kombinera maskininlärning, Photoshop och historiska dokument har Daniel Voshart förvandlat 54 byster av romerska kejsare från principatperioden (27 f.Kr. till 285 e.Kr.) till fotorealistiska bilder.
⏳ Du älskar antik historia. Det gör vi också. Låt oss nörda över den tillsammans.
Originellt tog Voshart itu med arbetet som ett slags karantänsprojekt. ”Jag tror att det var pandemins karaktär som fick mig att tänka på allt annat, och kanske drogs jag till de morbida detaljerna i kejsarnas liv”, säger han till Popular Mechanics. ”Jag arbetade med en sci-fi-serie om 2 000 år i framtiden, så jag kanske drogs till att tänka på det förflutna.”
Men Voshart kunde inte ha förutspått att beställningarna på hans första upplaga av trycksaker – med kejsare som Augustus, Nero och Decius – skulle explodera på hans Etsy-sida. ”Jag visste inte att responsen skulle bli så stor att jag faktiskt skulle minska mina arbetstimmar bara för att möta efterfrågan”, säger han.
Processen handlade inte bara om att sätta in foton av bysterna för att få fram något slags perfekt mänskligt ansikte, säger Voshart. För att generera de grova utkasten till varje kejsares ansikte förlitade sig Voshart i hög grad på ett verktyg för maskininlärning som heter Artbreeder. Programvaran med öppen källkod använder generativa adversariella nätverk, eller GAN, för att skapa en bild.
Om dessa låter bekanta är det förmodligen för att du har hört talas om deepfakes, eller syntetiska medier som ofta används i skändliga syften. GANs, den underliggande tekniken i deepfakes, kan hjälpa algoritmer att gå bortom den enkla uppgiften att klassificera data och övergå till att skapa data – i det här fallet bilder. Detta händer när två GAN:er försöker lura varandra att tro att en bild är äkta. Med så lite som en bild kan en beprövad GAN skapa ett videoklipp av till exempel Richard Nixon.
Roman Emperors Merch
Och Vosharts romerska kejsare är inte deepfakes, men de delar ett liknande tekniskt ramverk – de är bara olika tillämpningar av maskininlärning. Artbreeder använder specifikt NVidea StyleGAN, en GAN med öppen källkod som datorforskare skapade i december 2018.
I en virtuell föreläsning den 30 september om ”GANs for Good” förklarar Anima Anandkumar, chef för forskning om maskininlärning på NVIDIA, hur tekniken fungerar. Med hjälp av en teknik som kallas ”disentanglement learning” kan GAN bättre separera och kontrollera vissa stilelement isolerat, något som konstnärer som Voshart naturligt kan göra mycket bättre än vad maskiner kan.
”Människor är bra på detta”, förklarade Anandkumar i föreläsningen. ”Vi har olika koncept som vi har lärt oss som barn och vi har gjort det på ett oövervakat sätt, och på detta sätt kan vi nu komponera och skapa helt nya bilder eller koncept”. I praktiken innebär det att en användare har mer kontroll över vilka egenskaper hos en källbild som de vill använda i den nya bilden.
Tryck här för att rösta
Joel Simon, utvecklaren som skapade Artbreeder, säger till Popular Mechanics att det hela handlar om hur programmets neurala nätverk representerar ”utrymme” i bilderna.
”När en bild ”laddas upp” beskärs ansiktet och sedan görs en sökprocess för att hitta den närmaste platsen i rummet för den bilden”, förklarar han. ”När den väl befinner sig i detta ’utrymme’ är det lätt att ’flytta runt’ genom att lägga till eller dra ifrån siffror som motsvarar värden som ålder eller kön, här kallade ’gener’. Så genom att lägga till färg gör den det på ett mycket intelligent sätt, inte bara genom att redigera pixlar utan genom att röra sig genom alla ansiktens utrymme.”
Detta gör det enklare för en konstnär som Voshart att ladda upp träningsdata – i det här fallet cirka 800 exempel på byster av romerska kejsare – för att skapa ett hyperrealistiskt ansikte med färre artefakter, eller avvikelser som införs av programvaran.
Sedan dess hade Voshart fortfarande en betydande arbetsinsats, även efter att ha använt programvaran Artbreeder. I testfasen, innan han producerade de romerska kejsaransikten som avbildas i hans slutliga utskrifter, var resultaten fulla av avvikelser.
”Resultatet kommer ut med många konstiga artefakter och tenderar att morfa dragen tillbaka till något slags genomsnittligt ansikte, vilket är motsatsen till vad man vill när man vill behålla ett intressant uttryck”, säger Voshart. ”Min process var mer att ladda ner från Artbreeder, ändra i Photoshop och upprepa processen genom att ladda tillbaka till Artbreeder.”
Även om det kan bli en huvudvärk att ta bort brister i de genererade bilderna, säger Voshart att det finns ”inte en enda chans” att han hade kunnat göra arbetet utan kraften i maskininlärning.