・コンピュテーショナルフォトグラフとは

最近はAIの技術で、単に「合成写真」とは言えないレベルの写真が撮れるようになってきました。
StableDffusionが最もたるものですが、
最近のスマホで搭載されているナイトモードなんかもコンピュテーショナルフォトです。

写真を英語にするとフォトグラフ。
光の画という意味で、カメラの仕組みを正しく表しています。
レンズを通った光が、フィルムや撮像素子に結像する。それを保存したものがフォトグラフ、写真です。
コンピュテーショナルフォトではそこに様々処理を加えます。

コンピュテーショナルフォトをすごく活用してるのがスマホ。
先日発表されたiPhone15の広告の一つ。

細部を美しくとらえ、現実に近い色を再現し、暗い場所での性能を向上させました。

この一文でかなり様々なことをやっていることがわかります。
スマホでは1回のシャッターボタン押したときに実際には10枚以上の写真を連写している。
動いている被写体や手振れによる時間方向のずれは瞬時に位置合わせをして重ねられます。

なぜこんなことをするのか？
まずひとつ目に重ね合わせによってノイズを除去するためです。

二つ目にHDRです。
HDRとはハイダイナミックレンジの略で
露出を変えた複数枚の写真を合成することで
白飛びや黒潰れを抑えた写真にする技術です。

こういった技術を駆使してナイトモードを実現しています。

さらにこういった処理に加え、ポートレートモードでのボケは
スマホならではの複眼(カメラが2個、3個以上ついている)
で同時撮影して視差情報から深度マップの作製、
それに加えAIによる深度情報の作成を組み合わせて
背景にソフトウェア的なボカシを入れます。

そのほかにも消しゴムマジックや、
プロンプトによる生成もコンピュテーショナルフォトです。

こういった単なるRAW現像に限らない高度な画像処理を施した写真がコンピュテーショナルフォトです。
そういう意味だと、昔からありますが天体写真なんかはコンピュテーショナルフォトともいえる。

・星景写真をより高画質に

最近星景写真を撮った後の画像処理が
以前よりもかなり時間がかかるようになってしまいました。
それはより高画質(低ノイズ)を目指してはじめたためです。

これまでは星景写真を撮影するときには
・星を追尾撮影
・地上を固定撮影
の二枚を撮影してそれを1枚の画像にしていました。

星空撮影ではどうしても高感度撮影or長秒撮影になりがちなので
どうしてもノイズが増えます。
ノイズを軽減する手法は最近のAIによる手法と複数枚の画像の重ね合わせを併用します。

・星空部分の処理

星空部分は専用のソフトでスタック(重ね合わせ処理)を行います。
専用ソフトを使うと、赤い星雲などがかなり浮かび上がる。
この星空部分の追尾撮影が一番画像枚数が多い。
(ただし、アストロトレーサーを使用した場合は、枚数は10-20枚くらい)

撮影してきたら、一番最初にAIを使ってノイズ処理をしておきます。

星空の部分のAI処理はPureRAW3が一番良い。

このAIの処理にとにかく時間がかかる。。。
(高性能なグラボが必要)

出力されたDNGファイルを、PhotoshopでRAW現像します。
この段階でそれぞれの画像はそれなりに見栄えがする画像になるように。

16bitのtiff形式で保存しておく。

このTiffデータをsequatorで読み込んでスタック処理をします。
「光害を減らす」のパラメータは変えるとかなり仕上がりに違いが出るので、
いくつか作っておきます。
左から二番目の強さで、「積極的な抑制」をONとOFFにしたものをそれぞれ作成。
また、左から3番目か四番目の設定、積極的な抑制OFFで1枚。
合計で3枚作成しました。

強さ2積極的な抑制ON

強さ2積極的な抑制OFF

強さ3積極的な抑制OFF

積極的な抑制をONにすると、地上と空の境界付近が明るく浮くことがなくなります。
ただし、不自然に暗くなるときもあるので、両方作っておきます。
上記の例では明るく浮く現象は発生していませんが、明るく浮いた場合は、
その領域だけ「積極的な抑制」をonにした画像を使うことでうまくごまかせます。

・地上部分の処理
地上部分は単純に長秒露光でISO感度を下げてノイズを少なく撮れればそれでもかまいません。
ただし、夏に撮影するなどで気温が高いと、
長秒露光の熱ノイズが目立ってきます。
そのため、30秒x10枚など、複数枚を重ねることでノイズ低減をします。
重ね合わせは画像の平均で算出します。
フォトショップで平均画像を作るのは面倒くさいので、
ChatGPTを使って平均を出すスクリプトを作成しました。

平均を使って消せるノイズはランダムノイズだけです。
そのため、平均処理をする前にAIによるデノイズ処理をしてしまうと
平均でのノイズ処理がうまくいかなくなるので、AI処理は平均化の後に行います。

RAW現像した画像

平均化した画像

ダウンロード - heikin.py

Pythonで記載されています。
引数の指定は　python heikin.py [画像が入ってるフォルダ名]
です。

こうして出力した平均画像をそのまま使ってもいいのですが
固定の位置に出現するノイズが残ってる可能性があります。
その場合はPhotoshopの
フィルター⇒ノイズ⇒ダスト&スクラッチ
半径は1-2pix
閾値は0レベルでよい。
あまり半径を大きくしすぎると、ノイズも消える代わりに解像も犠牲になります。

ダスト&スクラッチ前後

ここまで処理してもまだノイズや解像感が気になる場合は
TopazPhotoAIでノイズ処理をしてもいいかもしれない。

これで地上部分が完成。

・地上部分と空部分の合成

Photoshopで作成した画像をレイヤーとして読み込みます。

地上部分の画像から空領域を切り取ります。

最近は、空を選択でいい感じに空部分だけを切り抜いてくれるので楽。

次に星空の部分を整えていきます。
今回は、「積極的な抑制」をOFFにしたことで不自然な部分は無いので
ONにした画像は使いません。
光害抑制の強度3の画像に黒いマスクを全体かけた後、
ブラシツールでコントラストを強めたい部分だけ白で塗っていきます。

あとはレイヤーを合成すれば完成

どこまでこだわるかにもよりますが、どんどん撮影時間と処理時間が長くなってしまう…。