- Daniel Voshart, un designer de Toronto, a utilisé l’apprentissage automatique et Photoshop pour transformer les bustes des empereurs romains en images photoréalistes.
- Voshart voulait présenter les empereurs tels qu’ils auraient été à la fin de leur règne, nonobstant les maladies qui auraient pu altérer leur apparence.
- Les artistes sont connus pour exagérer la bonne mine de la classe dirigeante, donc on peut supposer que ces images sont plus justes.
Les artistes ont historiquement exagéré la beauté des souverains dans leurs portraits et sculptures. La reine Caroline d’Angleterre l’a bien dit en 1795, lorsqu’elle a décrit le moment où elle a posé les yeux pour la première fois sur son fiancé, le roi George IV : » Je le trouve très gros, et en aucun cas aussi beau que son portrait. «
À présent, un designer de Toronto corrige certaines de ces libertés créatives. En fusionnant l’apprentissage automatique, Photoshop et des documents historiques, Daniel Voshart a transformé 54 bustes d’empereurs romains de la période du Principat (27 av. J.-C. à 285 apr. J.-C.) en images photoréalistes.
⏳ Vous aimez l’histoire ancienne. Nous aussi. Nervons-la ensemble.
À l’origine, Voshart a entrepris ce travail comme une sorte de projet de quarantaine. « Je pense que c’est la nature de la pandémie, qui m’a fait réfléchir à tout autre chose, et peut-être que j’ai été attiré par les détails morbides de la vie des empereurs », explique-t-il à Popular Mechanics. « Je travaillais sur une série de science-fiction sur 2 000 ans dans le futur, alors peut-être que j’étais attiré par la réflexion sur le passé. »
Mais Voshart ne pouvait pas prédire que les commandes pour ses impressions de la première édition – mettant en vedette des empereurs comme Auguste, Néron et Decius – exploseraient sur sa page Etsy. « Je ne savais pas que la réponse serait telle que je réduirais en fait les heures de mon travail simplement pour répondre à la demande », dit-il.
Le processus ne consistait pas simplement à brancher des photos des bustes pour en faire sortir une sorte de visage humain parfait, dit Voshart. Pour générer les ébauches du visage de chaque empereur, Voshart s’est largement appuyé sur un outil d’apprentissage automatique appelé Artbreeder. Le logiciel open-source utilise des réseaux adversariaux génératifs, ou GAN, pour engendrer une image.
Si cela vous semble familier, c’est probablement parce que vous avez entendu parler des deepfakes, ou médias synthétiques souvent utilisés à des fins néfastes. Les GAN, la technologie sous-jacente des deepfakes, peuvent aider les algorithmes à dépasser la simple tâche de classification des données et à entrer dans le domaine de la création de données – dans ce cas, des images. C’est ce qui se produit lorsque deux GAN tentent de se tromper mutuellement en faisant croire qu’une image est réelle. En utilisant aussi peu qu’une image, un GAN éprouvé peut créer un clip vidéo de, disons, Richard Nixon.
Marchandises des empereurs romains
Bien que les empereurs romains de Voshart ne soient pas des deepfakes, ils partagent un cadre technologique similaire – ce sont juste des applications différentes de l’apprentissage automatique. Plus précisément, Artbreeder utilise NVidea StyleGAN, un GAN open-source que les informaticiens ont créé en décembre 2018.
Dans une conférence virtuelle du 30 septembre sur « GANs for Good », Anima Anandkumar, directeur de la recherche sur l’apprentissage automatique pour NVIDIA, explique comment la technologie fonctionne. En utilisant une technique appelée apprentissage de désenchevêtrement, le GAN peut mieux séparer et contrôler certains éléments de style de manière isolée, ce que des artistes comme Voshart peuvent naturellement faire beaucoup mieux que les machines.
« Les humains sont excellents à cela », a expliqué Anandkumar dans la conférence. « Nous avons différents concepts que nous avons appris en tant que nourrissons et nous avons fait cela d’une manière non supervisée, et de cette façon, nous pouvons maintenant composer, et faire des images ou des concepts entièrement nouveaux. » En pratique, cela signifie qu’un utilisateur a plus de contrôle sur les propriétés d’une image source qu’il souhaite utiliser dans la nouvelle.
Tap ici pour voter
Joel Simon, le développeur qui a créé Artbreeder, explique à Popular Mechanics que tout se résume à la façon dont les réseaux neuronaux du programme représentent « l’espace » dans les images.
« Lorsqu’une image est ‘téléchargée’, le visage est recadré, puis un processus de recherche est effectué pour trouver l’endroit le plus proche dans l’espace pour cette image », explique-t-il. Une fois qu’il se trouve dans cet « espace », il est facile de le « déplacer » en ajoutant ou en soustrayant des nombres qui correspondent à des valeurs telles que l’âge ou le sexe, appelés ici « gènes ». Donc, en ajoutant de la couleur, il le fait de manière très intelligente, pas seulement en éditant des pixels, mais en se déplaçant dans l’espace de tous les visages. »
Ceci simplifie la tâche d’un artiste comme Voshart qui télécharge des données d’entraînement – dans ce cas, environ 800 d’échantillons de bustes d’empereurs romains – pour aboutir à un visage hyperréaliste avec moins d’artefacts, ou d’anomalies introduites par le logiciel.
Pour autant, Voshart avait une quantité importante de travail sur les bras, même après avoir utilisé le logiciel Artbreeder. Dans sa phase de test, avant de produire les visages de l’empereur romain qui sont illustrés dans ses tirages finaux, les résultats sont arrivés criblés d’anomalies.
« Le résultat sort avec beaucoup d’artefacts étranges et a tendance à remodeler les traits vers une sorte de visage moyen, ce qui est le contraire de ce que vous voulez quand vous voulez maintenir une expression intéressante », dit Voshart. « Mon processus était plutôt de télécharger depuis Artbreeder, de modifier dans Photoshop, et de répéter le processus en chargeant à nouveau dans Artbreeder. »
Même si cela pourrait être un casse-tête de supprimer les défauts dans les images générées, Voshart dit qu’il n’y a « pas une chance infime » qu’il aurait pu faire le travail sans la puissance de l’apprentissage automatique.