- Torontossa työskentelevä suunnittelija Daniel Voshart käytti koneoppimista ja Photoshopia muuttaakseen Rooman keisarien rintakuvat fotorealistisiksi kuviksi.
- Voshart halusi esittää keisarit sellaisina, miltä he olisivat näyttäneet valtakautensa lopussa, huolimatta mahdollisista sairauksista, jotka olisivat voineet muuttaa heidän ulkonäköään.
- Taiteilijat ovat tunnetusti liioitelleet hallitsevan luokan ulkonäköä, joten oletettavasti nämä kuvat ovat oikeudenmukaisempia.
Taiteilijat ovat historiallisesti liioitelleet hallitsijoiden viehättävyyttä muotokuvissaan ja veistoksissaan. Englannin kuningatar Caroline sanoi sen parhaiten vuonna 1795, kun hän kuvaili hetkeä, jolloin hän ensimmäisen kerran näki sulhasensa, kuningas Yrjö IV:n: ”Minusta hän on hyvin lihava, eikä missään nimessä niin kaunis kuin hänen muotokuvansa.”
Nyt eräs Torontossa asuva suunnittelija korjaa joitakin näistä luovista vapauksista. Yhdistämällä koneoppimisen, Photoshopin ja historialliset tallenteet Daniel Voshart on muuttanut 54 roomalaisen keisarin rintakuvaa prinsiippikaudelta (27 eaa. – 285 jKr.) fotorealistisiksi kuviksi.
⏳ Rakastat antiikin historiaa. Niin mekin. Nörttaillaan sitä yhdessä.
Alun perin Voshart ryhtyi työhön eräänlaisena karanteeniprojektina. ”Luulen, että se johtui pandemian luonteesta, joka sai minut miettimään kaikkea muuta, ja ehkä minua veti puoleensa keisarien elämän sairaalloiset yksityiskohdat”, hän kertoo Popular Mechanicsille. ”Työskentelin scifi-sarjan parissa, joka kertoo 2000 vuoden päästä tulevaisuudesta, joten ehkä minua veti puoleensa menneisyyden pohtiminen.”
Voshart ei kuitenkaan osannut ennustaa, että hänen Etsy-sivullaan räjähtäisi käsiin tilauksia hänen ensikertalaisille painoksilleen, joissa on mukana keisareita kuten Augustus, Nero ja Decius. ”En tiennyt, että reaktio olisi niin suuri, että itse asiassa vähentäisin työtunteja pelkästään kysyntään vastaamiseksi”, hän sanoo.
Prosessi ei ollut pelkkää kuvien liittämistä rintakuviin, jotta saataisiin syljettyä ulos jonkinlaiset täydelliset ihmiskasvot, Voshart sanoo. Luodakseen karkeat luonnokset kunkin keisarin kasvoista Voshart tukeutui vahvasti Artbreeder-nimiseen koneoppimistyökaluun. Avoimen lähdekoodin ohjelmisto käyttää generatiivisia vastakkaisverkkoja eli GANeja kuvan synnyttämiseen.
Jos nämä kuulostavat tutuilta, olet luultavasti kuullut deepfakesista eli synteettisestä mediasta, jota käytetään usein häijyihin tarkoituksiin. GANit, deepfakesin perustana oleva teknologia, voivat auttaa algoritmeja siirtymään datan luokittelusta datan luomiseen – tässä tapauksessa kuvien luomiseen. Näin tapahtuu, kun kaksi GANia yrittää huijata toisiaan luulemaan, että kuva on aito. Jo yhden kuvan avulla kokeiltu GAN voi luoda videoleikkeen vaikkapa Richard Nixonista.
Roman Emperors Merch
Voshartin roomalaiset keisarit eivät ole syväväärennöksiä, mutta niillä on samanlaiset teknologiset puitteet – ne ovat vain erilaisia koneoppimisen sovelluksia. Tarkemmin sanottuna Artbreeder käyttää NVidea StyleGANia, avoimen lähdekoodin GANia, jonka tietojenkäsittelytieteilijät loivat joulukuussa 2018.
Syyskuun 30. päivänä pidetyssä virtuaalisessa luennossa ”GANs for Good” NVIDIAn koneoppimistutkimuksen johtaja Anima Anandkumar selittää, miten teknologia toimii. Käyttämällä tekniikkaa nimeltä disentanglement-oppiminen GAN pystyy paremmin erottelemaan ja hallitsemaan tiettyjä tyylielementtejä eristyksissä, minkä Voshartin kaltaiset taiteilijat osaavat luonnostaan tehdä paljon paremmin kuin koneet.
”Ihmiset ovat loistavia tässä”, Anandkumar selitti luennolla. ”Meillä on erilaisia käsitteitä, jotka olemme oppineet imeväisikäisinä, ja olemme tehneet sitä valvomattomalla tavalla, ja tällä tavalla voimme nyt säveltää ja tehdä täysin uusia kuvia tai käsitteitä.” Käytännössä tämä tarkoittaa sitä, että käyttäjällä on enemmän valtaa siihen, mitä lähdekuvan ominaisuuksia hän haluaa käyttää uudessa kuvassa.
Taputa tästä äänestääksesi
Artbreederin luonut kehittäjä Joel Simon kertoo Popular Mechanicsille, että kaikki on kiinni tavasta, jolla ohjelman hermoverkot esittävät kuvissa olevan ”tilan”.
”Kun kuva ”ladataan”, kasvot rajataan, ja sitten tehdään hakuprosessi, jolla etsitään kuvalle lähin paikka tilassa”, hän selittää. ”Kun se on tässä ’tilassa’, sitä on helppo ’liikutella’ lisäämällä tai vähentämällä numeroita, jotka vastaavat arvoja, kuten ikää tai sukupuolta, joita tässä kutsutaan ’geeneiksi’. Lisäämällä väriä se tekee sen hyvin älykkäällä tavalla, ei vain muokkaamalla pikseleitä, vaan liikkumalla kaikkien kasvojen avaruudessa.”
Tämän ansiosta Voshartin kaltaisen taiteilijan on yksinkertaisempaa ladata harjoitusdataa – tässä tapauksessa noin 800 näytettä roomalaisten keisareiden rintakuvista – ja saada aikaan hyperrealistiset kasvot, joissa on vähemmän artefakteja tai ohjelmiston aiheuttamia poikkeavuuksia.
Voshartilla oli silti huomattava määrä työtä käsissään Artbreeder-ohjelmiston käytön jälkeenkin. Hänen testausvaiheessaan, ennen kuin hän tuotti lopullisissa vedoksissa kuvattuja Rooman keisarin kasvoja, tulokset tulivat täynnä poikkeavuuksia.
”Tuloksessa on paljon outoja artefakteja, ja sillä on taipumus muuttaa piirteet takaisin jonkinlaisiksi keskivertokasvoiksi, mikä on päinvastoin kuin mitä halutaan, kun halutaan säilyttää mielenkiintoinen ilme”, Voshart sanoo. ”Minun prosessini oli enemmänkin ladata Artbreederistä, muokata Photoshopissa ja toistaa prosessi lataamalla se takaisin Artbreederiin.”
Vaikka virheiden poistaminen luoduista kuvista voikin tuottaa päänvaivaa, Voshart sanoo, ettei ole ”pienintäkään mahdollisuutta”, että hän olisi pystynyt tekemään työn ilman koneoppimisen voimaa.