- トロントのデザイナー、Daniel Voshart氏は、機械学習とPhotoshopを使って、ローマ皇帝の胸像をフォトリアリスティックな画像に変換しています。
- Voshart 氏は、皇帝たちの外見が変化するような病気にもかかわらず、在位期間終了時の姿を提示したかったのです。
芸術家は歴史的に、肖像画や彫刻の中で支配者がいかに魅力的であるかを誇張して表現してきた。 1795年、イギリスのキャロライン女王は、婚約者であるジョージ 4 世を初めて目にした瞬間について、「彼はとても太っていて、決して肖像画ほど美しくはないと思う」と、最高の言葉を残しています。 Daniel Voshart 氏は、機械学習、Photoshop、歴史的記録を融合させ、公国時代（紀元前27年から紀元285年）のローマ皇帝の胸像54点をフォトリアリスティックな画像に変換しました。
⏳ あなたは古代史が好きなんですね。 私たちもそうです。
もともとヴォシャールは、ある種の検疫プロジェクトとしてこの仕事を引き受けました。 「パンデミックの性質上、他のことは考えられないし、皇帝たちの生活の病的な細部に惹かれたのかもしれません」と、彼はポピュラー・メカニクスに語っています。 「2000 年後の未来についての SF 番組を制作していたので、過去について考えることに引き寄せられたのかもしれません」
しかし Voshart は、彼の Etsy ページでアウグストゥス、ネロ、デキウスなどの皇帝を描いた初版のプリントの注文が爆発的に増えるとは予測していませんでした。 「このような反響があり、需要に応えるために自分の仕事の時間を減らすことになるとは思いもしませんでした」と彼は言います。
プロセスは、単に胸像の写真を差し込んで、ある種の完璧な人間の顔を吐き出すということではなかったと、Voshart 氏は言います。 各皇帝の顔の下書きを作成するために、Voshart氏はArtbreederという機械学習ツールに大きく依存しました。 このオープンソースのソフトウェアは、GANと呼ばれる生成的敵対ネットワークを用いて画像を生成します。
この言葉に聞き覚えがあるとすれば、それはおそらく、ディープフェイク、つまり、悪意のある目的によく使われる合成メディアを聞いたことがあるからでしょう。 ディープフェイクの基盤技術であるGANは、アルゴリズムがデータを分類するという単純な作業を超えて、データを作成する領域（この場合は画像）にまで踏み込むのを助けることができます。 これは、2つのGANがお互いを騙して、ある画像を本物だと思わせようとするときに起こる現象である。 GANは、わずか1枚の画像から、例えばリチャード・ニクソンのビデオクリップを作成することができる。
ローマ皇帝グッズ
Voshart氏のローマ皇帝はディープフェイクではありませんが、同様の技術的枠組みを共有しています – 彼らは機械学習の異なるアプリケーションというだけです。 具体的には、Artbreederは、コンピュータ科学者が2018年12月に作成したオープンソースのGANであるNVidea StyleGANを使用しています。
9月30日の「GANs for Good」の仮想講義では、NVIDIAの機械学習研究ディレクターであるAnima Anandkumarが、この技術の仕組みについて説明しています。 GAN は、分離学習と呼ばれる技術を利用して、特定のスタイル要素を分離してよりよく制御することができ、Voshart のようなアーティストが機械よりも自然にうまくできることです。 “私たちには、幼児期に学んださまざまな概念があり、それを教師なし方法で行ってきました。” “この方法で、私たちは今、合成し、まったく新しいイメージや概念を作ることができます。” と、Anandkumar は講義で説明しました。 実際には、ユーザーは、新しい画像で使用したい元画像のどの特性をよりコントロールできることを意味します。
Tap here to vote
Artbreeder を作った開発者の Joel Simon は、プログラムのニューラル ネットワークが画像内の「空間」を表現する方法にかかっていることを Popular Mechanics に教えてくれました。
「画像が『アップロード』されると、顔が切り取られ、その画像の空間内で最も近い場所を見つけるための検索処理が行われます」と彼は説明します。 “この「空間」に入ってしまえば、年齢や性別といった値に対応する数字（ここでは「遺伝子」と呼びます）を足したり引いたりすることで簡単に「移動」することができるのです。 つまり、色を追加することによって、ピクセルを編集するだけでなく、すべての顔の空間内を移動することによって、非常に知的な方法でそれを行います」
これにより、Voshart のようなアーティストは、トレーニングデータ（この場合は、ローマ皇帝胸像のサンプル約 800 個）をアップロードして、ソフトウェアによって生じるアーティファクトや異常が少ない超リアルな顔を思いつくことがより簡単になります。
それでも、VoshartはArtbreederソフトウェアを使ってからもかなりの量の仕事を抱えていたのです。 最終的なプリントに描かれているローマ皇帝の顔を作る前のテスト段階で、異常が多発したのです。
「結果は、奇妙なアーチファクトがたくさん出てきて、特徴をある種の平均的な顔に戻してしまう傾向があり、面白い表情を維持したいときには、これは正反対です」と、Voshart 氏は言います。 「私のプロセスは、Artbreederからダウンロードし、Photoshopで修正し、Artbreederにロードしてプロセスを繰り返すというものでした。
生成された画像の欠陥を取り除くのは頭痛の種かもしれませんが、Voshart氏は、機械学習の力なしには、この作業を行えた可能性は「まずない」と述べています。