・Photoshopの新機能 風景ミキサー とGANの仕組み

Photoshop2022で風景ミキサーという新機能が搭載されました。
風景の季節を変えてしまうというものです。

元画像

春

夏

秋

冬

人物が入っているときは被写体を選択にチェックを入れないとホラーになる
元

被写体を選択

そのまま

被写体の選択もAIを使っていると思われます。
被写体を選択するAIとしてはBASnetと呼ばれるものがGithubにあります。

また、この季節を変更する技術は
Cycle-Ganと呼ばれるAIが使われていると思われます。
以前に紹介したGANの応用で、
異なる二枚の画像を互いの特徴量を抽出して似せるという技術です。

写真をゴッホ風とかに変換したり、アニメ調にしたり、
馬をシマウマに変換したりできます。

Cycle-Ganの仕組みを勉強したことをメモがてら記載しておきます。

まずは普通のGANの学習。
2stepに学習が分かれます。

1step

本物に似た偽物を作ります。
この時にはDiscriminatorのパラメータは固定しておいて、
学習によって変化が無いようにする。
最初はめちゃくちゃな画像が作られるが、学習が進んで、
最適なパラメータが設定されれば秋っぽい画像が作れるようになる。

2Step

今度はgeneratorのパラメータを固定して
同等の精度の偽物の秋画像が常に作られるようにする。
この作られた偽物の秋と本物の秋を比較して正しく本物or偽物が判断できるように
学習を進めます。

GANはこの二つのstepを繰り返して、
それぞれのパラメータを最適化していくことで、
本物に近い偽物画像を作れるようになります。

ここまでがGANの学習の説明です。
今回の季節変換やゴッホ風など、一方の画像の特徴を学んで作り出すGANは
この方法だとどうしても学習が収束しないという課題がありました。
そこで考え出されたのがCycle-GANという方法。

Cycle-GANでは、同じようなネットワークをもう一つ用意します。
もう一つのネットワークは
本物の秋から偽物の春を作り出すものです。

互いに変換できるネットワークがあれば、
本物→偽物→偽物から作った偽物
ということができます

これをもとの本物と比較してDiscriminatorを学習。

こうすることで、画像の特徴だけとらえてその部分を変換し
余分な変換をしない、という学習をさせることができます。

例えば、この季節変換の例だと、
空は変換しない、
葉っぱの色だけ変換する
といった学習をさせることができます。