・Adobeのスーパー解像度がヤバい(すごい)

AdobeCameraRAWの3月のアップデートで
スーパー解像度という機能が追加されました。
AIを用いて補間を行う技術ですがこれがすごい。
どういう仕組みなのかはAdobeのブログに記載してあります。

上記ブログを読み解いて、超簡単にAIの学習を説明したのが以下の図。

学習時(Adobeのエンジニアがやったこと)

ユーザ使用時

今まで、
苦労していろいろなアルゴリズムを開発していた画素補間ですが、
AIに行わせることで人間の考えたアルゴリズムを超えています。

ブログを見る限り、フェイク画像を作り出すGANではない様子。

さて、チャートでどの程度スーパー解像度がすごいのか確認してみます。
比較はカメラの出力のJPEG、ピクセルシフト超解像(ペンタックスRRS)
そしてスーパー解像度です。
倍率を揃えるために、元画像とピクセルシフト超解像は200%表示にしています。
(クリックで拡大します)

左：元画像　中：スーパー解像度　右：RRS

拡大
左：元画像　中：スーパー解像度　右：RRS

元画像ではつぶれて見えない100の文字の中の縞模様とかまで出てきている。
これまでの画素補間では考えられないことが起きている。

左：元画像　中：スーパー解像度　右：RRS

色モアレも起きなくなっています。
ベイヤーの宿命だったことが起きていない…。

左：元画像　中：スーパー解像度　右：RRS

つぶれて読みづらかった小さい文字も読めます。
GANだとこうはいかない。

さてここまでが良い部分。
意地悪チャートでは欠点も見えてきました。
左：元画像　中：スーパー解像度　右：RRS

本来存在しない、ものすごく細かい模様が作られてしまっています。

左：元画像　中：スーパー解像度　右：RRS

ジーメンスターの部分にも謎の模様が。

左：元画像　中：スーパー解像度　右：RRS

輝度の低い部分では効果が弱い。
暗い人工芝の部分では、他の部分に比べて解像度が変わらない。

左：元画像　中：スーパー解像度　右：RRS

芝に比べれば解像度が上がっていますが、
やはり効果が弱い。

意地悪チャートなどで欠点は見えたものの、
複数枚画素シフト超解像に匹敵するほどの効果が見えるこの機能、
トリミングとかする際には、有効そうです。

ちなみに、ペンタックスのRRSのRAWにも効果がありました。
左：通常撮影　右：RRS＋スーパー解像度

同じカメラ、レンズでここまで解像度が上がるのは驚異！