・コンピュテーショナルフォトグラフとは

最近はAIの技術で、単に「合成写真」とは言えないレベルの写真が撮れるようになってきました。
StableDffusionが最もたるものですが、
最近のスマホで搭載されているナイトモードなんかもコンピュテーショナルフォトです。

写真を英語にするとフォトグラフ。
光の画という意味で、カメラの仕組みを正しく表しています。
レンズを通った光が、フィルムや撮像素子に結像する。それを保存したものがフォトグラフ、写真です。
コンピュテーショナルフォトではそこに様々処理を加えます。

コンピュテーショナルフォトをすごく活用してるのがスマホ。
先日発表されたiPhone15の広告の一つ。

細部を美しくとらえ、現実に近い色を再現し、暗い場所での性能を向上させました。

この一文でかなり様々なことをやっていることがわかります。
スマホでは1回のシャッターボタン押したときに実際には10枚以上の写真を連写している。
動いている被写体や手振れによる時間方向のずれは瞬時に位置合わせをして重ねられます。

なぜこんなことをするのか？
まずひとつ目に重ね合わせによってノイズを除去するためです。

二つ目にHDRです。
HDRとはハイダイナミックレンジの略で
露出を変えた複数枚の写真を合成することで
白飛びや黒潰れを抑えた写真にする技術です。

こういった技術を駆使してナイトモードを実現しています。

さらにこういった処理に加え、ポートレートモードでのボケは
スマホならではの複眼(カメラが2個、3個以上ついている)
で同時撮影して視差情報から深度マップの作製、
それに加えAIによる深度情報の作成を組み合わせて
背景にソフトウェア的なボカシを入れます。

そのほかにも消しゴムマジックや、
プロンプトによる生成もコンピュテーショナルフォトです。

こういった単なるRAW現像に限らない高度な画像処理を施した写真がコンピュテーショナルフォトです。
そういう意味だと、昔からありますが天体写真なんかはコンピュテーショナルフォトともいえる。

・星景写真をより高画質に

最近星景写真を撮った後の画像処理が
以前よりもかなり時間がかかるようになってしまいました。
それはより高画質(低ノイズ)を目指してはじめたためです。

これまでは星景写真を撮影するときには
・星を追尾撮影
・地上を固定撮影
の二枚を撮影してそれを1枚の画像にしていました。

星空撮影ではどうしても高感度撮影or長秒撮影になりがちなので
どうしてもノイズが増えます。
ノイズを軽減する手法は最近のAIによる手法と複数枚の画像の重ね合わせを併用します。

・星空部分の処理

星空部分は専用のソフトでスタック(重ね合わせ処理)を行います。
専用ソフトを使うと、赤い星雲などがかなり浮かび上がる。
この星空部分の追尾撮影が一番画像枚数が多い。
(ただし、アストロトレーサーを使用した場合は、枚数は10-20枚くらい)

撮影してきたら、一番最初にAIを使ってノイズ処理をしておきます。

星空の部分のAI処理はPureRAW3が一番良い。

このAIの処理にとにかく時間がかかる。。。
(高性能なグラボが必要)

出力されたDNGファイルを、PhotoshopでRAW現像します。
この段階でそれぞれの画像はそれなりに見栄えがする画像になるように。

16bitのtiff形式で保存しておく。

このTiffデータをsequatorで読み込んでスタック処理をします。
「光害を減らす」のパラメータは変えるとかなり仕上がりに違いが出るので、
いくつか作っておきます。
左から二番目の強さで、「積極的な抑制」をONとOFFにしたものをそれぞれ作成。
また、左から3番目か四番目の設定、積極的な抑制OFFで1枚。
合計で3枚作成しました。

強さ2積極的な抑制ON

強さ2積極的な抑制OFF

強さ3積極的な抑制OFF

積極的な抑制をONにすると、地上と空の境界付近が明るく浮くことがなくなります。
ただし、不自然に暗くなるときもあるので、両方作っておきます。
上記の例では明るく浮く現象は発生していませんが、明るく浮いた場合は、
その領域だけ「積極的な抑制」をonにした画像を使うことでうまくごまかせます。

・地上部分の処理
地上部分は単純に長秒露光でISO感度を下げてノイズを少なく撮れればそれでもかまいません。
ただし、夏に撮影するなどで気温が高いと、
長秒露光の熱ノイズが目立ってきます。
そのため、30秒x10枚など、複数枚を重ねることでノイズ低減をします。
重ね合わせは画像の平均で算出します。
フォトショップで平均画像を作るのは面倒くさいので、
ChatGPTを使って平均を出すスクリプトを作成しました。

平均を使って消せるノイズはランダムノイズだけです。
そのため、平均処理をする前にAIによるデノイズ処理をしてしまうと
平均でのノイズ処理がうまくいかなくなるので、AI処理は平均化の後に行います。

RAW現像した画像

平均化した画像

ダウンロード - heikin.py

Pythonで記載されています。
引数の指定は　python heikin.py [画像が入ってるフォルダ名]
です。

こうして出力した平均画像をそのまま使ってもいいのですが
固定の位置に出現するノイズが残ってる可能性があります。
その場合はPhotoshopの
フィルター⇒ノイズ⇒ダスト&スクラッチ
半径は1-2pix
閾値は0レベルでよい。
あまり半径を大きくしすぎると、ノイズも消える代わりに解像も犠牲になります。

ダスト&スクラッチ前後

ここまで処理してもまだノイズや解像感が気になる場合は
TopazPhotoAIでノイズ処理をしてもいいかもしれない。

これで地上部分が完成。

・地上部分と空部分の合成

Photoshopで作成した画像をレイヤーとして読み込みます。

地上部分の画像から空領域を切り取ります。

最近は、空を選択でいい感じに空部分だけを切り抜いてくれるので楽。

次に星空の部分を整えていきます。
今回は、「積極的な抑制」をOFFにしたことで不自然な部分は無いので
ONにした画像は使いません。
光害抑制の強度3の画像に黒いマスクを全体かけた後、
ブラシツールでコントラストを強めたい部分だけ白で塗っていきます。

あとはレイヤーを合成すれば完成

どこまでこだわるかにもよりますが、どんどん撮影時間と処理時間が長くなってしまう…。

・生成系AIがあれば写真を撮影する必要はないのか？

最近は画像生成系のAIの技術向上が凄いです。
以前記事にも書いたように、大きなフォトコンでも優勝してしまっています。

良いGPUマシンをがあれば文章を入力するだけで簡単に写真のような画像を生成できます。

上の写真?は画像生成系で有名なStable Difusionで作成しました。
入力したスクリプトは
「Beach with washboard rocks and night sky with Milky Way」
日本語にすると
「洗濯板岩のあるビーチと天の川のある夜空」
です。

こんなような写真を作れないか試してみた結果です。

入力するスクリプトが十分精査されていないので
まだまだな部分がありますがインスタグラムとかで共有する分には
これくらいの画質でも十分な気がします。

ならば、頑張って星のきれいな場所に行ったり、
何時間も撮影を頑張ったりする必要はもうないのか？

インスタで海外旅行や高級料理の写真ばかりUPしている
承認欲求だけの人はそれでいいかもしれない。

写真を撮るということは、過程を楽しむというのも大事な要素です。
星空の撮影でも、その場で一緒になった方と話をしたり、
自分の表現したい写真を撮影するための技術だったり。

また、証拠としての写真も大事な要素。
この場所でこんなものを見た、この人と一緒に行ったとか。

生成系AIは権利上の問題も発生する可能性があります。
現在のStableDifusionの学習はネット上をクロールして集めた画像を使っています。
そのため、現状では著作権上問題ないのですが、今後法律が変わるとどうなるかわかりません。
また、営利目的で使ってしまうと、
権利上問題なくとも、SNSなどで炎上したときの損失が考えられます。

学術上の問題としては、今後ネット上に生成された画像が大量にあふれると
それを収集して再度学習に使ってしまうため、どこかで性能が頭打ちになってしまいます。
それどころか、変な特徴を学んでしまい、
現実ではありえないような出力に収束してしまうかもしれません。
それを防ぐためにも生成物でない「写真」データを持っておくこと、撮影することは大事です。

・ホワイトミストフィルター×ヒメボタル

ヒメボタル撮影は単調になりがちなので
何かヒメボタルの玉ボケを面白く表現できないかを色々考えてきました。

・星形や桜型のフィルターを使う

 

・ソフトフォーカスレンズを使う

・バブルボケのレンズを使う

・ロシアの星ボケになるレンズ(indaster)を使う
　→これはF8くらいまで絞らないといけないので非常に難しい…。

イルミネーションで活躍するソフト系のフィルターも試してみました。
ただし、モノによっては玉ボケの中にざらざら模様が発生してしまうので
注意が必要です。

今回はKANIのホワイトミストNo5を使いました。

KANI ホワイトプレミアムミスト No5 82mm / ソフトフィルター 価格：10,800円（税込、送料別) (2023/7/20時点) 楽天で購入

ソフト効果がなるべく強く、かつざらざら模様が発生しないものを選択。
カメラ2台並べて比較撮影したものがこちら。
なるべく条件を合わせていますが、レンズが違うので厳密に合わせられない…。

フィルターなし

ホワイトミストフィルター使用

 

違いは思ったよりありませんが、ホワイトミストを使ったほうが
蛍の光が若干柔らかくなっています。
中心部分の光が集まってるあたりで色飽和しがちだったところが
光の重なりがわかるようになっています。

もっとわかりやすい撮影ができたら、また記載したいと思います。

比較ではないが、ホワイトミストフィルターを使用して撮影した写真

・ペンタックスからニコンZ8に乗り換え時の設定

ずっとペンタックス(ハイエンド機種)を使っていて
ニコンZ8に乗り換えたとき、
「あれ、ペンタだと簡単にできた切り替え、何処でやればいいの？」
とか、
この設定メニューのこんな奥にあるの？ってのを解決するために
いろいろいじっていたのでそのメモを記載しておきます。

・ISO感度切り替え
K-1だとISOボタンを押して後ろダイアルで感度変更
グリーンボタンでAUTOに切り替えができました。
Z1も割と似ていて、ISOボタンを「押しながら」後ろダイアルで感度切り替えです。
AUTOへの変更はISOボタンを押しながら前ダイアルを動かす、です。
前ダイアルが動かしにくい…。どこかのボタンに割り当てはできなそう。

・info画面のパネルのカスタマイズ
 
どこにあるのかかなり探しました
メニュー⇒カスタムメニュー⇒f1 iメニューのカスタマイズ
です

・ユーザモード登録
撮影メニューの管理がユーザモードに相当します。
メニュー⇒静止画撮影メニュー⇒撮影メニューの管理

ここで現在の設定を記録しておけます。名前も付けられる。

・バルブモード
撮影モードにはPASMしかありません。
バルブはMモードでシャッター速度を長くしていくと最後にあります。
このままだと、バルブへの切り替えが面倒くさいので
私はSHOOT D にバルブを設定しておきました。

infoパネルに割り当てておけばすぐに切り替えられます。
SHOOT Dの時は手振れ補正をオフ、MFにしました。

・AF補助光
カスタムメニューのa12でオフにできますが
タイマー撮影時は光ってしまいます。
ペンタックスではタイマー時なども光らなくできますがZ8はできません。
なので私は黒のマスキングテープで隠してしまいました。

・アウトドアモニター
K-1だとアウトドアモニターが下ボタンに割り当てられていて
ボタン一発で液晶画面の輝度を変更できます。
Z8ではメニュー⇒セットアップメニューの中にモニターの明るさがあります。
Z8でボタン一発でモニターの輝度を変更するには
「マイメニュー」にモニターの明るさを登録。

f2のカスタムボタンの機能割り当てでFn3ボタンを
「毎メニューのトップ項目へジャンプ」にすれば
Fn3ボタン一発で画面輝度変更に行けます。
 

・セルフタイマーonにしても自動で手振れ補正がオフにならない
三脚使用時などにこれは問題になります。
ペンタックスは自動でオフにしてくれて痒い所に手が届く。
これを解決するのに、USERモードを一つを三脚として登録しました。

・マウントアダプターでkマウントレンズ使用時のレンズ登録
ペンタックスでは電子接点のないレンズを使用するときは
電源on時にレンズ焦点距離が入力できます。
z8だとそれが無いので、あらかじめ登録したレンズを選択する必要があります。
Kマウントから乗り換えてすぐのころは、
マウントアダプターでKマウントレンズを使用することが多い。
メニューの深いところにいると不便なので録画撮影ボタンに割り当てました。
 

・カスタムイメージ
ニコンではピクチャーコントロールという名前。
ペンタだと一等地にボタンがありました。
なので、Z8でも割り当てています。

・スターライトビューモード
アストロトレーサーを搭載しているペンタックスにこそ欲しい機能。
ライブビューのフレームレートを下げる(シャッター速度を上げる)ことで
すごい暗いシーンでも、ライブビューで映し出せます。
これによって星にピント合わせをしたり、
構図を決めることが容易になる。
私の場合はよく使うのでボタンに割り当てています。

とりあえずはこれで使ってみて、必要に応じて調整をしたりしてみます。

・メインカメラを買い替え

ずっと撮影のメイン機材としてペンタックスK-1を使ってきていましたが
(正確には基板交換アップデートしたK-1mk2)
7年ぶりに買い換えました。

動体撮影用にソニーを買ったり、マウントアダプタ遊びでパナソニックを買ったりしてましたが
メイン機材としては初のマウント乗り換え。

開封

レンズはまだそろっていないので、しばらくはマウントアダプターを使ってKマウントレンズを。

とりあえず標準ズームのZ 24-120 F4とZ
広角ズームのZ 17-28 F2.8 は買おうと思っています。

まだ手元で設定をいろいろいじっただけなのですが、
やはり操作性とか、ボタン配置とか手にしっくりくるかどうかは
ペンタックスのほうが上です。
ペンタのボタンは絶妙な位置にあり、グリップを握りながらでも押しやすい配置をしている。
アストロトレーサーも非常に活用していたので
メイン機材を乗り換えるのはかなり勇気のいることでしたがさすがに、最近はついていけない。

一眼レフ宣言までは良かった。工房的モノ作りもよい。
しかし最近のモノクロームだとか、フィルムプロジェクトだとか、
1%のユーザすら離れるような現状の方向性はどうなのか。
もはや資金やエンジニアの観点から完全新規の一眼レフが作れないのかとも思ってしまいます。

高い買い物だったので、無駄にならないようこれから使いこなしていきます。

・安いSDカードと高いSDカードの違い

AmazonとかでSDカードを買おうとすると
有象無象のSDカードが出てきます。

基本的にSDカードの値段は書き込み速度と容量で決まるのですが
同じ書き込み速度、容量でも安いメーカから高いメーカまであります。
値段も2-3倍くらい違ったりする。

安いのでいいじゃんと思うかもしれませんが、
あまりにも安いのは注意！

酷いのだと、SDカードを分解するとマイクロSDが入っていたり、
記載の容量の半分くらいしか書き込みできなかったり…。

そうでなくとも、書き込み速度が想定より出なかったり
データが消えたり。

また、ぱっと見で分からない部分ですが、
安いSDカードは内部のチップが適切ではなく、
沢山電流が流れてしまい、カメラのバッテリーライフに影響を与えることもあります。

よくわからないメーカも多い中、ある程度信頼できるメーカを紹介します。
ただし、どのメーカでも偽物がある可能性があるので、そこは十分に注意が必要です。
特にAmazonの場合はメーカーのショップで購入するようにしたほうがいい。

・Angelbird

ANGELBIRD｜エンジェルバード SDXCカード AV PRO SD MK2 128GB V90 AVP128SDMK2V90 価格：30,140円（税込、送料別) (2023/6/14時点) 楽天で購入

オーストリアに拠点があり、開発生産販売まですべて自社で行っているメーカです。
シネマなどのプロユース含め絶対の信頼性を理念にしています。
データの復旧もやってくれる。
記載の書き込み速度が同等他社に比べて低い場合もありますが、
これは保証書き込み速度を記載しているためです。

SDカードなどは中のデータ量が1/3を超えてくると書き込み速度が一気に落ちますが、
このメーカのは落ちない。
容量が160GBなど中途半端なメモリは、キャッシュ領域として一部を使っていたりするためです。

・ProGrade Digital

ProGrade Digital (プログレードデジタル) 【SDXC UHS-II V90】 COBALT 300R メモリーカード 正規輸入品 (128GB) 価格：24,887円（税込、送料無料) (2023/6/14時点) 楽天で購入

Amazonでタイムセールをやっているときが安くておすすめ。
公式ストアで購入すれば偽物の可能性もないのもおすすめの理由

・キオクシア

キオクシア KSDU-A128G SDカード 価格：5,478円（税込、送料別) (2023/6/14時点) 楽天で購入

昔の記事で東芝のSDが良いといいましたが、
東芝が半導体事業を売却した後のブランドです。
最近は偽物も出回っているようなので注意が必要です。
私は今のところトラブルは発生したことがありません。
UHS-II対応の製品が少ないので、動画や連写をする方は注意。

・SUNEAST

SE-SDU2128GA300 SUNEAST(サンイースト) SDXCメモリーカード 128GB Class10 UHS- V90シリーズ 価格：16,992円（税込、送料別) (2023/6/14時点) 楽天で購入

日本のメーカーです。
最近使い始めたのでまだ評価はできません。

・AI系画像処理ソフトの比較

前回はDxOのPureRAW3の性能をチェックしてみましたが。
TopazLabのPhotoAIも購入したので、
これもどんな性能なのかチェック。

比較は
オリジナル
Photoshop 強化(パラメータ最大)
DxO PureRAW3(PrimeXD)
PhotoAI(デフォルト設定)

撮影はPentaxKP。
それぞれの画像はクリックで拡大可能。

まずはISO 100

拡大

TopazのPhotoAIは細かい模様が溶けてるし、
エッジ部分が妙にジャギジャギしてるところもあったり、
かなり不自然です。
PhotoAIは低感度の元の良い写真には使わないほうがいいかも。
一方PureRAW3はディティールがしゃっきりとして一段良くなったように見えます。

ISO 1600

PhotoAIはノイズがかなり消えていますが、ディティールも消えています。
強化はディティールが残っていますが、ノイズが消え切れていない。
PureRAW3は怖いくらいきれいにノイズが消えている。
ただ、布の模様も消えてしまっているが、、

ISO 6400

ここに来るといきなりPhotoAIが良くなります。
入力画像はかなりノイズが厳しくなってきていますが、
PhotoAIはそれなりにノイズを消して、ディティールも残している。
PureRAW3は本来無い模様を作り出しているように見えますが
ノイズは少なくて一見キレイ。
強化は色ノイズは抑えているものの、ノイズ多め。

ISO 12800

ノイズの影響なのか、露出が変わってしまっている。
PhotoAIはものすごく細かいような模様があるが、作り出した模様で
実物と違っている。
PhotoAIもそこまでひどくないが同様の傾向。
強化はくさびチャートの下の部分など不自然にべたっとした場所があります。

ISO 51200

ここまでくるともはや何が写っているかわからない。
強化がノイズは少なく、色が一番きれいに出ています。
これくらいノイズがひどいとさすがに使えない。

ISO 20万

ノイズまみれで情報がほとんどなくなってきていますが
PhotoAIは紫色のノイズは消してくれています。
強化が何とか頑張って絵を作ろうとしているのがわかる。

ISO 40万

PureRAW3はノイズ部分をあきらめました。黒く塗りつぶされる。
ただし、情報がある明るい部分はかなりきれいにしてくれている。
強化はここまで来ても何とか絵を作ろうと頑張っています。
PhotoAIは頑張ったけど無理でしたって感じ。

AI系の処理と言っても、ソフトによってかなり結果が異なります。
目的に合わせて使い分ける必要がありそうです。

・DxO PureRAW3で天体画像のノイズ処理

ノイズ処理やシャープネス処理の性能が非常に優秀と話題の
DxOのPureRAW3を購入しました。

処理前処理後

普通のシーンでの比較はほかのサイトなどでいくらでもあるので
今回は星景写真にフォーカスして記載します。
PureRaw3で処理した画像をコンポジットするとどうなるのか、、なども。

元の写真

PhotoshopのAIノイズ除去

PureRAW3のDeepPEIME処理

PureRAW3のDeepPEIME_XD処理
(処理時間はかかるがリッチな処理を行う)

拡大して比較
(PureRAW3だけ露出暗めになったので、0.5EVほど持ち上げています)

Photoshopのノイズ除去はとりあえずパラメータを50%にしています。
下のPureRAW3に比べるとノイズが残っていますが、細かな星は一番残っています。
PureRAW3 Primeはノイズはかなり消えていますが、小さな星も消えてしまってるように見えます。
PrimeXDはうねうねした線のような模様が浮かんできていて、星空では使えなさそう。

これらの画像を17枚コンポジット(Sequatorを使用)した結果を見てみます。

元の写真

PhotoshopのAIノイズ除去

PureRAW3のDeepPEIME処理

PureRAW3のDeepPEIME_XD処理
(処理時間はかかるがリッチな処理を行う)

これも拡大して比較

オリジナルに比べて、処理した画像はすべて、色がしっかりと出ています。
薄い星雲の色なども出ている。

コンポジット後ではPrimeXDで出ていたうねうねした線がなくなり、
逆に暗い星とかもしっかり出ています。またノイズも少なめ。

コンポジット前提であればXD処理が良く、一枚撮影ならノーマルのPrime処理が良さそう。

また、PhotoshopのAIノイズ除去も結構優秀なので、
この差分にPureRAW3のソフト代14000円出せるかどうかは難しいところ。

・AI生成画像がフォトコンで優勝

世界的に大きなフォトコンで、AI生成画像(写真ではない)が
優勝してしまいました。

優勝作品
Pseudomnesia: The Electrician(訳‐偽りの記憶: 電気屋)

ただ、この作品を応募したエルダグセンさんは生成系AIによる問題提起が目的で
受賞は辞退したとの事。

写真の評価の専門家がAI生成画像と写真の区別がつかないほどまで
AIが進化したというのはかなり凄いことです。

また、受賞を辞退したとはいえ、
生成画像で芸術的な作品を作り上げたエルダグセンさんの能力も十分に凄い。
また、彼も言っていますが、写真は[Photography] つまり日本語だと光画。
光を用いてフィルムや撮像素子に像を結んだものです。
一方、AIによる画像は入力した言葉をもとに絵を作っていくので[PromptoGraphy]。

ChatGPTを作成したOpenAIのサービスの一つ、DALL-E2で同じようなことが試せます。

最近はChatGPTを含め、生成系AIが話題となっていますが
私はこれらに否定的なわけではありません。
国によっては法律で規制なども考えているところすらあるようですが、
AIはうまく利用することが大事で、人類の発展につながります。

写真においても、自分じゃ思いつかない構図や設定を教えてくれるかもしれません。
AIが作ってくれた画像をもとに自分のオリジナリティを考えることもできる。

生成系AIはまだまだ可能性があるので、上手に使うことで
自分の撮影や編集の技術を上げていくこともできるかと思います。