2023年2月
      1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28        
無料ブログはココログ

« ・灯台と星空の撮影 | トップページ | ・スマホのマクロ撮影はなぜ超広角レンズで行うのか »

2021年10月28日 (木)

・Photoshopの新機能 風景ミキサー とGANの仕組み

Photoshop2022で風景ミキサーという新機能が搭載されました。
風景の季節を変えてしまうというものです。

元画像
Resize177010


Resize177009


Resize177008


Resize177013


Resize177006

人物が入っているときは被写体を選択にチェックを入れないとホラーになる

Resize177005

被写体を選択
Resize177003

そのまま
Resize177004

被写体の選択もAIを使っていると思われます。
被写体を選択するAIとしてはBASnetと呼ばれるものがGithubにあります。

また、この季節を変更する技術は
Cycle-Ganと呼ばれるAIが使われていると思われます。
以前に紹介したGANの応用で、
異なる二枚の画像を互いの特徴量を抽出して似せるという技術です。

写真をゴッホ風とかに変換したりアニメ調にしたり
馬をシマウマに変換したりできます。

Resize177017

20211018_141819_gogh

Cycle-Ganの仕組みを勉強したことをメモがてら記載しておきます。

まずは普通のGANの学習。
2stepに学習が分かれます。

1step
Cyclegan-1

本物に似た偽物を作ります。
この時にはDiscriminatorのパラメータは固定しておいて、
学習によって変化が無いようにする。
最初はめちゃくちゃな画像が作られるが、学習が進んで、
最適なパラメータが設定されれば秋っぽい画像が作れるようになる。

2Step
Cyclegan-2
今度はgeneratorのパラメータを固定して
同等の精度の偽物の秋画像が常に作られるようにする。
この作られた偽物の秋と本物の秋を比較して正しく本物or偽物が判断できるように
学習を進めます。

GANはこの二つのstepを繰り返して、
それぞれのパラメータを最適化していくことで、
本物に近い偽物画像を作れるようになります。


ここまでがGANの学習の説明です。
今回の季節変換やゴッホ風など、一方の画像の特徴を学んで作り出すGANは
この方法だとどうしても学習が収束しないという課題がありました。
そこで考え出されたのがCycle-GANという方法。

Cycle-GANでは、同じようなネットワークをもう一つ用意します。
もう一つのネットワークは
本物の秋から偽物の春を作り出すものです。

Cyclegan-3

互いに変換できるネットワークがあれば、
本物→偽物→偽物から作った偽物
ということができます

Cyclegan-4

これをもとの本物と比較してDiscriminatorを学習。
Cyclegan-5

こうすることで、画像の特徴だけとらえてその部分を変換し
余分な変換をしない、という学習をさせることができます。

例えば、この季節変換の例だと、
空は変換しない、
葉っぱの色だけ変換する
といった学習をさせることができます。

« ・灯台と星空の撮影 | トップページ | ・スマホのマクロ撮影はなぜ超広角レンズで行うのか »

写真講座」カテゴリの記事

コメント

コメントを書く

(ウェブ上には掲載しません)

« ・灯台と星空の撮影 | トップページ | ・スマホのマクロ撮影はなぜ超広角レンズで行うのか »