・コンピュテーショナルフォトグラフとは

最近はAIの技術で、単に「合成写真」とは言えないレベルの写真が撮れるようになってきました。
StableDffusionが最もたるものですが、
最近のスマホで搭載されているナイトモードなんかもコンピュテーショナルフォトです。

写真を英語にするとフォトグラフ。
光の画という意味で、カメラの仕組みを正しく表しています。
レンズを通った光が、フィルムや撮像素子に結像する。それを保存したものがフォトグラフ、写真です。
コンピュテーショナルフォトではそこに様々処理を加えます。

コンピュテーショナルフォトをすごく活用してるのがスマホ。
先日発表されたiPhone15の広告の一つ。

細部を美しくとらえ、現実に近い色を再現し、暗い場所での性能を向上させました。

この一文でかなり様々なことをやっていることがわかります。
スマホでは1回のシャッターボタン押したときに実際には10枚以上の写真を連写している。
動いている被写体や手振れによる時間方向のずれは瞬時に位置合わせをして重ねられます。

なぜこんなことをするのか？
まずひとつ目に重ね合わせによってノイズを除去するためです。

二つ目にHDRです。
HDRとはハイダイナミックレンジの略で
露出を変えた複数枚の写真を合成することで
白飛びや黒潰れを抑えた写真にする技術です。

こういった技術を駆使してナイトモードを実現しています。

さらにこういった処理に加え、ポートレートモードでのボケは
スマホならではの複眼(カメラが2個、3個以上ついている)
で同時撮影して視差情報から深度マップの作製、
それに加えAIによる深度情報の作成を組み合わせて
背景にソフトウェア的なボカシを入れます。

そのほかにも消しゴムマジックや、
プロンプトによる生成もコンピュテーショナルフォトです。

こういった単なるRAW現像に限らない高度な画像処理を施した写真がコンピュテーショナルフォトです。
そういう意味だと、昔からありますが天体写真なんかはコンピュテーショナルフォトともいえる。

・星景写真をより高画質に

最近星景写真を撮った後の画像処理が
以前よりもかなり時間がかかるようになってしまいました。
それはより高画質(低ノイズ)を目指してはじめたためです。

これまでは星景写真を撮影するときには
・星を追尾撮影
・地上を固定撮影
の二枚を撮影してそれを1枚の画像にしていました。

星空撮影ではどうしても高感度撮影or長秒撮影になりがちなので
どうしてもノイズが増えます。
ノイズを軽減する手法は最近のAIによる手法と複数枚の画像の重ね合わせを併用します。

・星空部分の処理

星空部分は専用のソフトでスタック(重ね合わせ処理)を行います。
専用ソフトを使うと、赤い星雲などがかなり浮かび上がる。
この星空部分の追尾撮影が一番画像枚数が多い。
(ただし、アストロトレーサーを使用した場合は、枚数は10-20枚くらい)

撮影してきたら、一番最初にAIを使ってノイズ処理をしておきます。

星空の部分のAI処理はPureRAW3が一番良い。

このAIの処理にとにかく時間がかかる。。。
(高性能なグラボが必要)

出力されたDNGファイルを、PhotoshopでRAW現像します。
この段階でそれぞれの画像はそれなりに見栄えがする画像になるように。

16bitのtiff形式で保存しておく。

このTiffデータをsequatorで読み込んでスタック処理をします。
「光害を減らす」のパラメータは変えるとかなり仕上がりに違いが出るので、
いくつか作っておきます。
左から二番目の強さで、「積極的な抑制」をONとOFFにしたものをそれぞれ作成。
また、左から3番目か四番目の設定、積極的な抑制OFFで1枚。
合計で3枚作成しました。

強さ2積極的な抑制ON

強さ2積極的な抑制OFF

強さ3積極的な抑制OFF

積極的な抑制をONにすると、地上と空の境界付近が明るく浮くことがなくなります。
ただし、不自然に暗くなるときもあるので、両方作っておきます。
上記の例では明るく浮く現象は発生していませんが、明るく浮いた場合は、
その領域だけ「積極的な抑制」をonにした画像を使うことでうまくごまかせます。

・地上部分の処理
地上部分は単純に長秒露光でISO感度を下げてノイズを少なく撮れればそれでもかまいません。
ただし、夏に撮影するなどで気温が高いと、
長秒露光の熱ノイズが目立ってきます。
そのため、30秒x10枚など、複数枚を重ねることでノイズ低減をします。
重ね合わせは画像の平均で算出します。
フォトショップで平均画像を作るのは面倒くさいので、
ChatGPTを使って平均を出すスクリプトを作成しました。

平均を使って消せるノイズはランダムノイズだけです。
そのため、平均処理をする前にAIによるデノイズ処理をしてしまうと
平均でのノイズ処理がうまくいかなくなるので、AI処理は平均化の後に行います。

RAW現像した画像

平均化した画像

ダウンロード - heikin.py

Pythonで記載されています。
引数の指定は　python heikin.py [画像が入ってるフォルダ名]
です。

こうして出力した平均画像をそのまま使ってもいいのですが
固定の位置に出現するノイズが残ってる可能性があります。
その場合はPhotoshopの
フィルター⇒ノイズ⇒ダスト&スクラッチ
半径は1-2pix
閾値は0レベルでよい。
あまり半径を大きくしすぎると、ノイズも消える代わりに解像も犠牲になります。

ダスト&スクラッチ前後

ここまで処理してもまだノイズや解像感が気になる場合は
TopazPhotoAIでノイズ処理をしてもいいかもしれない。

これで地上部分が完成。

・地上部分と空部分の合成

Photoshopで作成した画像をレイヤーとして読み込みます。

地上部分の画像から空領域を切り取ります。

最近は、空を選択でいい感じに空部分だけを切り抜いてくれるので楽。

次に星空の部分を整えていきます。
今回は、「積極的な抑制」をOFFにしたことで不自然な部分は無いので
ONにした画像は使いません。
光害抑制の強度3の画像に黒いマスクを全体かけた後、
ブラシツールでコントラストを強めたい部分だけ白で塗っていきます。

あとはレイヤーを合成すれば完成

どこまでこだわるかにもよりますが、どんどん撮影時間と処理時間が長くなってしまう…。

・生成系AIがあれば写真を撮影する必要はないのか？

最近は画像生成系のAIの技術向上が凄いです。
以前記事にも書いたように、大きなフォトコンでも優勝してしまっています。

良いGPUマシンをがあれば文章を入力するだけで簡単に写真のような画像を生成できます。

上の写真?は画像生成系で有名なStable Difusionで作成しました。
入力したスクリプトは
「Beach with washboard rocks and night sky with Milky Way」
日本語にすると
「洗濯板岩のあるビーチと天の川のある夜空」
です。

こんなような写真を作れないか試してみた結果です。

入力するスクリプトが十分精査されていないので
まだまだな部分がありますがインスタグラムとかで共有する分には
これくらいの画質でも十分な気がします。

ならば、頑張って星のきれいな場所に行ったり、
何時間も撮影を頑張ったりする必要はもうないのか？

インスタで海外旅行や高級料理の写真ばかりUPしている
承認欲求だけの人はそれでいいかもしれない。

写真を撮るということは、過程を楽しむというのも大事な要素です。
星空の撮影でも、その場で一緒になった方と話をしたり、
自分の表現したい写真を撮影するための技術だったり。

また、証拠としての写真も大事な要素。
この場所でこんなものを見た、この人と一緒に行ったとか。

生成系AIは権利上の問題も発生する可能性があります。
現在のStableDifusionの学習はネット上をクロールして集めた画像を使っています。
そのため、現状では著作権上問題ないのですが、今後法律が変わるとどうなるかわかりません。
また、営利目的で使ってしまうと、
権利上問題なくとも、SNSなどで炎上したときの損失が考えられます。

学術上の問題としては、今後ネット上に生成された画像が大量にあふれると
それを収集して再度学習に使ってしまうため、どこかで性能が頭打ちになってしまいます。
それどころか、変な特徴を学んでしまい、
現実ではありえないような出力に収束してしまうかもしれません。
それを防ぐためにも生成物でない「写真」データを持っておくこと、撮影することは大事です。

・ホワイトミストフィルター×ヒメボタル

ヒメボタル撮影は単調になりがちなので
何かヒメボタルの玉ボケを面白く表現できないかを色々考えてきました。

・星形や桜型のフィルターを使う

 

・ソフトフォーカスレンズを使う

・バブルボケのレンズを使う

・ロシアの星ボケになるレンズ(indaster)を使う
　→これはF8くらいまで絞らないといけないので非常に難しい…。

イルミネーションで活躍するソフト系のフィルターも試してみました。
ただし、モノによっては玉ボケの中にざらざら模様が発生してしまうので
注意が必要です。

今回はKANIのホワイトミストNo5を使いました。

KANI ホワイトプレミアムミスト No5 82mm / ソフトフィルター 価格：10,800円（税込、送料別) (2023/7/20時点) 楽天で購入

ソフト効果がなるべく強く、かつざらざら模様が発生しないものを選択。
カメラ2台並べて比較撮影したものがこちら。
なるべく条件を合わせていますが、レンズが違うので厳密に合わせられない…。

フィルターなし

ホワイトミストフィルター使用

 

違いは思ったよりありませんが、ホワイトミストを使ったほうが
蛍の光が若干柔らかくなっています。
中心部分の光が集まってるあたりで色飽和しがちだったところが
光の重なりがわかるようになっています。

もっとわかりやすい撮影ができたら、また記載したいと思います。

比較ではないが、ホワイトミストフィルターを使用して撮影した写真

・安いSDカードと高いSDカードの違い

AmazonとかでSDカードを買おうとすると
有象無象のSDカードが出てきます。

基本的にSDカードの値段は書き込み速度と容量で決まるのですが
同じ書き込み速度、容量でも安いメーカから高いメーカまであります。
値段も2-3倍くらい違ったりする。

安いのでいいじゃんと思うかもしれませんが、
あまりにも安いのは注意！

酷いのだと、SDカードを分解するとマイクロSDが入っていたり、
記載の容量の半分くらいしか書き込みできなかったり…。

そうでなくとも、書き込み速度が想定より出なかったり
データが消えたり。

また、ぱっと見で分からない部分ですが、
安いSDカードは内部のチップが適切ではなく、
沢山電流が流れてしまい、カメラのバッテリーライフに影響を与えることもあります。

よくわからないメーカも多い中、ある程度信頼できるメーカを紹介します。
ただし、どのメーカでも偽物がある可能性があるので、そこは十分に注意が必要です。
特にAmazonの場合はメーカーのショップで購入するようにしたほうがいい。

・Angelbird

ANGELBIRD｜エンジェルバード SDXCカード AV PRO SD MK2 128GB V90 AVP128SDMK2V90 価格：30,140円（税込、送料別) (2023/6/14時点) 楽天で購入

オーストリアに拠点があり、開発生産販売まですべて自社で行っているメーカです。
シネマなどのプロユース含め絶対の信頼性を理念にしています。
データの復旧もやってくれる。
記載の書き込み速度が同等他社に比べて低い場合もありますが、
これは保証書き込み速度を記載しているためです。

SDカードなどは中のデータ量が1/3を超えてくると書き込み速度が一気に落ちますが、
このメーカのは落ちない。
容量が160GBなど中途半端なメモリは、キャッシュ領域として一部を使っていたりするためです。

・ProGrade Digital

ProGrade Digital (プログレードデジタル) 【SDXC UHS-II V90】 COBALT 300R メモリーカード 正規輸入品 (128GB) 価格：24,887円（税込、送料無料) (2023/6/14時点) 楽天で購入

Amazonでタイムセールをやっているときが安くておすすめ。
公式ストアで購入すれば偽物の可能性もないのもおすすめの理由

・キオクシア

キオクシア KSDU-A128G SDカード 価格：5,478円（税込、送料別) (2023/6/14時点) 楽天で購入

昔の記事で東芝のSDが良いといいましたが、
東芝が半導体事業を売却した後のブランドです。
最近は偽物も出回っているようなので注意が必要です。
私は今のところトラブルは発生したことがありません。
UHS-II対応の製品が少ないので、動画や連写をする方は注意。

・SUNEAST

SE-SDU2128GA300 SUNEAST(サンイースト) SDXCメモリーカード 128GB Class10 UHS- V90シリーズ 価格：16,992円（税込、送料別) (2023/6/14時点) 楽天で購入

日本のメーカーです。
最近使い始めたのでまだ評価はできません。

・AI系画像処理ソフトの比較

前回はDxOのPureRAW3の性能をチェックしてみましたが。
TopazLabのPhotoAIも購入したので、
これもどんな性能なのかチェック。

比較は
オリジナル
Photoshop 強化(パラメータ最大)
DxO PureRAW3(PrimeXD)
PhotoAI(デフォルト設定)

撮影はPentaxKP。
それぞれの画像はクリックで拡大可能。

まずはISO 100

拡大

TopazのPhotoAIは細かい模様が溶けてるし、
エッジ部分が妙にジャギジャギしてるところもあったり、
かなり不自然です。
PhotoAIは低感度の元の良い写真には使わないほうがいいかも。
一方PureRAW3はディティールがしゃっきりとして一段良くなったように見えます。

ISO 1600

PhotoAIはノイズがかなり消えていますが、ディティールも消えています。
強化はディティールが残っていますが、ノイズが消え切れていない。
PureRAW3は怖いくらいきれいにノイズが消えている。
ただ、布の模様も消えてしまっているが、、

ISO 6400

ここに来るといきなりPhotoAIが良くなります。
入力画像はかなりノイズが厳しくなってきていますが、
PhotoAIはそれなりにノイズを消して、ディティールも残している。
PureRAW3は本来無い模様を作り出しているように見えますが
ノイズは少なくて一見キレイ。
強化は色ノイズは抑えているものの、ノイズ多め。

ISO 12800

ノイズの影響なのか、露出が変わってしまっている。
PhotoAIはものすごく細かいような模様があるが、作り出した模様で
実物と違っている。
PhotoAIもそこまでひどくないが同様の傾向。
強化はくさびチャートの下の部分など不自然にべたっとした場所があります。

ISO 51200

ここまでくるともはや何が写っているかわからない。
強化がノイズは少なく、色が一番きれいに出ています。
これくらいノイズがひどいとさすがに使えない。

ISO 20万

ノイズまみれで情報がほとんどなくなってきていますが
PhotoAIは紫色のノイズは消してくれています。
強化が何とか頑張って絵を作ろうとしているのがわかる。

ISO 40万

PureRAW3はノイズ部分をあきらめました。黒く塗りつぶされる。
ただし、情報がある明るい部分はかなりきれいにしてくれている。
強化はここまで来ても何とか絵を作ろうと頑張っています。
PhotoAIは頑張ったけど無理でしたって感じ。

AI系の処理と言っても、ソフトによってかなり結果が異なります。
目的に合わせて使い分ける必要がありそうです。

・DxO PureRAW3で天体画像のノイズ処理

ノイズ処理やシャープネス処理の性能が非常に優秀と話題の
DxOのPureRAW3を購入しました。

処理前処理後

普通のシーンでの比較はほかのサイトなどでいくらでもあるので
今回は星景写真にフォーカスして記載します。
PureRaw3で処理した画像をコンポジットするとどうなるのか、、なども。

元の写真

PhotoshopのAIノイズ除去

PureRAW3のDeepPEIME処理

PureRAW3のDeepPEIME_XD処理
(処理時間はかかるがリッチな処理を行う)

拡大して比較
(PureRAW3だけ露出暗めになったので、0.5EVほど持ち上げています)

Photoshopのノイズ除去はとりあえずパラメータを50%にしています。
下のPureRAW3に比べるとノイズが残っていますが、細かな星は一番残っています。
PureRAW3 Primeはノイズはかなり消えていますが、小さな星も消えてしまってるように見えます。
PrimeXDはうねうねした線のような模様が浮かんできていて、星空では使えなさそう。

これらの画像を17枚コンポジット(Sequatorを使用)した結果を見てみます。

元の写真

PhotoshopのAIノイズ除去

PureRAW3のDeepPEIME処理

PureRAW3のDeepPEIME_XD処理
(処理時間はかかるがリッチな処理を行う)

これも拡大して比較

オリジナルに比べて、処理した画像はすべて、色がしっかりと出ています。
薄い星雲の色なども出ている。

コンポジット後ではPrimeXDで出ていたうねうねした線がなくなり、
逆に暗い星とかもしっかり出ています。またノイズも少なめ。

コンポジット前提であればXD処理が良く、一枚撮影ならノーマルのPrime処理が良さそう。

また、PhotoshopのAIノイズ除去も結構優秀なので、
この差分にPureRAW3のソフト代14000円出せるかどうかは難しいところ。

・AI生成画像がフォトコンで優勝

世界的に大きなフォトコンで、AI生成画像(写真ではない)が
優勝してしまいました。

優勝作品
Pseudomnesia: The Electrician(訳‐偽りの記憶: 電気屋)

ただ、この作品を応募したエルダグセンさんは生成系AIによる問題提起が目的で
受賞は辞退したとの事。

写真の評価の専門家がAI生成画像と写真の区別がつかないほどまで
AIが進化したというのはかなり凄いことです。

また、受賞を辞退したとはいえ、
生成画像で芸術的な作品を作り上げたエルダグセンさんの能力も十分に凄い。
また、彼も言っていますが、写真は[Photography] つまり日本語だと光画。
光を用いてフィルムや撮像素子に像を結んだものです。
一方、AIによる画像は入力した言葉をもとに絵を作っていくので[PromptoGraphy]。

ChatGPTを作成したOpenAIのサービスの一つ、DALL-E2で同じようなことが試せます。

最近はChatGPTを含め、生成系AIが話題となっていますが
私はこれらに否定的なわけではありません。
国によっては法律で規制なども考えているところすらあるようですが、
AIはうまく利用することが大事で、人類の発展につながります。

写真においても、自分じゃ思いつかない構図や設定を教えてくれるかもしれません。
AIが作ってくれた画像をもとに自分のオリジナリティを考えることもできる。

生成系AIはまだまだ可能性があるので、上手に使うことで
自分の撮影や編集の技術を上げていくこともできるかと思います。

・夜間桜を照らす場合の定常光とストロボの違い

定常光とストロボの記事

夜間に桜を撮影する場合、自分でライトアップする手法があります。
※ほかに撮影者がいる場合は声がけする等注意をしてください。

自分でライトアップする場合、ライトアップ機材がいくつかあります。
・ワイヤレスストロボ
・LEDライト

別の場所複数から桜全体を照らしてあげたほうが、
イベントで行っている桜ライトアップの様に自然な感じになりやすく、
桜の木の立体感も出やすいです。

複数の光源で照らす場合のストロボとLEDライトの特徴

・ストロボ
光の当たる場所の調整が難しい。
背景とのバランスは、ストロボの発光量のほかに
絞りとISO感度で調整。
ストロボ自体が瞬間光なので、風などが強いときにも止められる利点があります。

・LEDライト
光が当たる場所の調整がしやすい。
一晩照らすにはバッテリー注意。
背景とLEDライトの明るさのバランス調整が難しい。
夜明けや、夕暮れなど外光が明るくなると光量が全然足りなくなります。
夜間はあんなに明るく感じたライトも、日光の前では無力…。

何もライティングせずに撮影

夜間にストロボでライティングして撮影

暗い…
ISO感度が低すぎたり、F値が高すぎて、カメラ内に入る光量が少なかったのが原因です。

ISO感度上げてシャッター速度も伸ばして撮影

ストロボの光量と背景の光量が同じくらいになり、桜が目立たない。
背景のごちゃごちゃが目立ってしまう…

絞りを開いたり、ISO感度を上げて、シャッター速度を短く

LEDライトでライトアップして撮影。

LEDライトの明るさを調整すれば背景との明るさバランス調整ができますが
結構難しいです。LEDライトの明るさの調整幅も少ないし。
特に周りが暗い場所で、星空と一緒に撮影しようとするとLEDライトは光量調整が難しい。
星に露出を合わせると、LEDライトが明るすぎて白飛びしてしまう。

ただ、ライトアップ自体の難易度はストロボよりかなり簡単です。
どのあたりに光が当たってないのか、とかわかりやすいので。

空が明るくなってきたときのLEDライティング

LEDのライトがほとんどわかりません。

ストロボを使うと空が多少明るくても桜を照らせます。

できればすべてのライトアップ機材を持っていきたいところですが、
そうすると荷物が増えるので、
どんな写真が撮りたいかのイメージをもって機材を選定するとよいです。

・ChatGPTで自分だけの画像処理ソフトを作る

2022年に、これはすごいと話題になったサービス、chatGPT。

AIで色々な回答をしてくれるチャット形式のサービスです。

そんなのAIりんなとか昔からあったじゃんと思われるかもしれないが、
できることが段違い。

例えば天の川をアーチ描くように撮影する方法が知りたい場合。

AIりんなに聞いてみた。

イラっ。

ChatGPTに聞くとこんな感じ。

かなり具体的に教えてくれます。
もうこのブログいらなくない？ってくらいに結構具体的に答えてくれる。
それだけでなく、プログラミングもやってくれます。

プログラミングの知識がなくてもできちゃいます！
コードの解説もしてくれる。

さて、最近私が解決したいと思っている問題が
星の軌跡写真を撮った時に、飛行機の線が映り込んじゃうこと。

一枚一枚飛行機の線を黒で塗りつぶしていけば解決できるのですが
面倒くさい。

じゃあ、飛行機領域を自動で認識して自動で黒く塗りつぶすプログラムを作ればいいじゃない。
だけど、飛行機の線と星をちゃんんと区別して飛行機の線だけ黒く塗りつぶしてほしい。
そんなアルゴリズムが思いつかない。

ChatGPT様お願いします。

おおー、なるほど。こうやれば飛行機の軌跡を消せるのか。
だけど飛行機の軌跡って直線とは限らないんだよな。

あとインターバル撮影をする関係上、前後の二枚の画像から飛行機の検出ができるはず！

オーできた！
閾値をコマンドラインから入力できるような仕様のほうが融通が利くはず。

気を利かせて、入力する画像も引数で与えられるようにしてくれた。
この作成してくれたスクリプトを用いて以下の二枚の画像から
飛行機の線を黒塗りしてもらおうか。

結果

ちゃんと飛行機の軌跡部分を黒塗りしてくれている！
だけど二枚の画像で飛行機いないほうも塗っちゃってるじゃん

これを解決するためにChatGPTにいろいろ質問したのですが
なかなかうまくいかなかったのでここは仕方なく自分で実装しました。

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
#それぞれの画像に対して、飛行機がいないほうは黒塗りをやめる
imgdeff1 = cv2.absdiff(img1,img1org)
imgdeff1 = cv2.cvtColor(imgdeff1, cv2.COLOR_BGR2GRAY)
ret, thresh1 = cv2.threshold(imgdeff1, 100, 255, cv2.THRESH_BINARY)
mask1 = cv2.medianBlur(thresh1, 5)

# 画像にマスクを適用する
masked_img1_1 = cv2.bitwise_and(img1, img1, mask=mask1)
masked_img1_2 = cv2.bitwise_and(img1org, img1org, mask=cv2.bitwise_not(mask1))
result1 = cv2.add(masked_img1_1, masked_img1_2)
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
ただ、画像の差分をとる方法とか二値化する方法とかはChatGPTに聞きました。
google検索でも調べられますが、chatGPTだとこれまでのやり取りを考慮して
的確な方法を教えてくれる。

これまでは2枚の画像だけ。フォルダ内の画像を順次読み込んで全部自動で処理してくれるようにしてほしい・

ハイできました。

上のコードだと飛行機を除去する部分が省略されているので今までに作ったものとマージして完成！

ダウンロード - plane4.py

ついでに単枚画像で直線部分を検出したときにそこも黒塗りするようにしました。

飛行機の線を消した後引かう明合成するとこんな感じに。
 

まだ完璧じゃない部分がありますが、パラメータの設定とか調整すればいい感じになりそう。