・ChatGPTとホットピクセル除去ソフト作成

ホットピクセルが発生した場合、取り除くためには
大きく二つの方法があります。

１：photoshopのダスト&クラッチ機能をつかう。
２：一つ一つスタンプツールなどで塗りつぶす

1は一気にできますが、画像全体の解像度が若干下がるのが弱点
2は数が多いと面倒くさいのが弱点

ダストクラッチ

なので、ホットピクセルを検出して除外できるソフトを作りたいなと
ずっと思っていました。

そして最近は
ChatGPTがGPT-4oになり、プログラミングの性能も大幅に上がりました。
ホットピクセルが発生している画像を見せて、
こういうノイズを除去するプログラムを作りたい、というとアルゴリズム含めて考えてくれます。

複数の案を提案してくれて、その中から選んだり、
こういう方法もいいかもと議論しながら進められる。
最終的にはアルゴはほとんど自分で考えましたが…

誤検出を無くすなどで仕様がかなり細かくなってくるとなかなか
思った通りの出力は一発で返してくれない…。

 

最終的には、カメラの機種や撮影環境によって、
ホットピクセルの出方も異なるので、パラメータを自分で設定できるようにしました。

各パラメータの意味

・color_thresh


上の図のようにホットピクセルに色がついているとき、
周辺との色の違いで判断して補正するパラメータ。
この値が大きい程大きい色付きのホットピクセルだけしか補正されなくなります。
大きくすれば誤補正も減ります。

・val_thresh
ホットピクセルは周辺より輝度が高いので、その輝度の差で見つけるための閾値です。
この値が大きい程、周辺との輝度が高い部分しか見つけなくなります。

・max_area
ホットピクセルの面積です。
1だと1ピクセルだけのホットピクセルしか見つけません。

・expend_radius
下の図のように色が周辺まで広がってるようなホットピクセルで、
補正後に補正痕が残る場合はこの値を大きくしてください。


補正痕が残った例

・GPUを使用
GeForceのグラボを積んでる場合はこのボタンで高速化できます
(それでも画像サイズによってはかなり時間かかる)

・DCT除外を使用
木の葉っぱなど細かい模様のところで誤検出が起きる場合、
このチェックを入れることで、画像の高周波部分を検出から除外できます。
(ただし時間がさらにかかります)

矢印のところは誤補正していたのが、DCT除外オンだと誤補正せずに元と同じ形状になっています。

あと、パラメータ調整するとき、全体を緩めにしすぎると
ものすごい時間かかるので注意してください。
これでも、頑張って高速化しました…。
(GPTが高速化のところはなかなか気が利かず)

コードはこちら

ダウンロード - hotpixel_removal.zip

(二次配布禁止)

pythonなので、必要なライブラリをインストールして使ってください。
ライブラリインストールコマンド

pip install opencv-python numpy torch pillow piexif scipy scikit-image PyQt5

実行は以下のコマンドです。
python hotpixel_gui.py

おすすめパラメータ
このようにホットピクセルが大きくて色付きがあるとき

color_thresh:19
val_thresh:42
max_area:16
expend_radius:4
出力
 

ホットピクセルが点状のノイズの時

color_thresh:17
val_thresh:21
max_area:14
expend_radius:1
出力

・狭い場所での新星景写真の作り方のコツ

新星景写真は追尾で撮影した星空部分と、
固定で撮影した地上部分を合わせて一枚の写真にする方法です。

追尾撮影+コンポジットして作った星空画像

地上部分の写真

この二つを重ねればいいだけなのですが、
このような左右が囲まれていたりする狭い場所では問題が起こります。

星は動くために追尾撮影するのですが、
狭い場所だと、時間をかけるほど左右の壁などが画角内で占める面積が広くなる。

この写真の場合だと星が右上に動いていくため、
右側の岩が画角内に入ってくることになってしまう。

これを避けるためには、追尾開始時の構図を注意すればよい。

追尾撮影するのが例えば2時間だとすれば、
1時間後に本来撮りたい構図(水平がちゃんと出てる構図)になるように
あらかじめ赤道儀で傾けた状態でスタートします。
(星は１時間で12°動く)

前半部分をコンポジットしたもの

後半部分をコンポジットしたもの

これを空の右半分と左半分に使います。

こうすることで星の動きによる制限をなるべく排除した状態で
新星景写真を撮ることができます。

・歪曲収差補正前提のレンズと星撮影

ミラーレスカメラ専用のレンズには、デジタルで補正することが前提で
歪曲収差が比較的残ったレンズがあります。

これがわかる過去の記事
特に注意が必要なのが、Adobeや純正のRAW現像ソフトを使用しても
この歪曲収差が補正された状態で画面に表示されることです。

※レンズ補正の項目をオフにしても、補正されてることに注意！！

天体写真だと大量の写真を合成(コンポジット)する手法がありますが、
その際に歪曲収差補正がされていると、
補正されたときの跡が強調されて目立ってしまいます。
空にスジのような模様が発生。

比較明合成だと明確。

コンポジットでも、星写真の現像で極端な画像処理をすると目立つ

こういうことが起きてしまうと、光学的に歪曲が補正されてるレンズが欲しくなります。
ただ、歪曲も少なくて、周辺まで像性能が良い広角レンズは最近はほとんど発売されない…。

・紫外線で色が変わる眼鏡

最近、日差しが強いところに行くとまぶしく感じるので、
JINSの紫外線に当たるとサングラスのようになる眼鏡を買ってみました。

リンク

屋内などでは透明な普通の眼鏡なのですが、太陽光下にいると紫外線に反応して
色が付きサングラスのようになります。

屋内

屋外

ところで、写真撮影をしていると色表現が重要になってきます。
しかし、サングラスによって偏った色になってしまっては正しい色の認識ができなくなる。
(脳内ホワイトバランスである程度は低減されるとはいえ)

JINSではガラスの色がいくつか選べますが、影響が少なそうであろうグレーにしました。
(ブラウンやグリーン、パープルもある)

グレーを選んだとはいえ、ニュートラルなグレーではない感じがしたので
カメラで確認しました。

メガネレンズ無しで撮影した画像がこちら

色が変わったメガネレンズ越しに撮影した画像がこちら

ホワイトバランスは眼鏡無しで撮影したものに合わせています。
画像を見るとわずかに青紫色になっているのがわかる。
グラフで見ると以下。

グラフでも、レンズ越しだと青紫方向に5ほど色がついています。
そこまで大きくないとはいえ、写真撮影時には気を付けたほうがよさそう。

・CanonのNeural Network Upscalingの性能チェック

キヤノンがR1に搭載したx2のアップスケール機能を
PCで使えるようにしたツールが公開されているので使ってみました。
月額275円です。(初回1か月は無料)

AIを用いたアップスケール技術は以前に書いた記事のように、
情報が足りない部分を生成するので、文字などが変になることが良く起きます。
カメラでそれが起きたらまずいだろうと思うのですが果たして。

キヤノンのこのツールはどんなカメラで撮った画像も入れられるので、
今回はiPhone14で撮影した画像を使います。
iPhoneで撮影時にデジタルズームで2倍した写真と比較します。
また、TopazPhotoAIもアップスケール機能があるのでそれとも比較してみました。

まずは一般シーン

拡大(クリックでさらに拡大)
 
こう見てみると、iPhoneが一番自然な画像になってます。
遠くの木も他二つは絵画調になってるのですがiPhoneは大丈夫。
キヤノンは高速度悪露の斜め線がジャギーになってしまってるのも気になります。

次に問題が起きそうな文字がある看板シーン

拡大

こう見るとiPhoneとTopazがやばいことになってるのがはっきりわかります。
キヤノンは頑張って拡大してる感じがしますが、
他の二つは完全に文字が違う物に変形しています。
やはりキヤノンは無いものを生成するというのは抑える方向で作っているようです。
その代わり、一般シーンではない情報を生成することもないので、
他の二社に比べて性能が落ちるように見えるのかもしれません。

写真としてはこれが正解だと思います。

・KANI Partial Soft Focus Lite フィルターを実写比較

KANIフィルターから先日発売されたばかりの
ハーフソフト系フィルターの
パーシャルソフトフォーカスライトをさっそく実写で使用してきました。

KANI 角型フィルター パーシャルソフトフォーカス ライト 100x150mm / レンズフィルター 角形 ハーフソフトフィルター 価格：22,660円（税込、送料別) (2025/3/2時点) 楽天で購入

メーカーによると、既存のパーシャルソフトの半分の効果とのこと。
既存のだと効果が強すぎると感じていたので、これはとてもうれしい商品です。

既存製品との比較写真は公式に載っているので
他社製品と比較をしました。

比較した製品はこちら
・ケンコー　ソフトンクリアフィルター
ソフト効果が弱く星景写真で一番好んで使ってる製品

【★当選確率1/2！最大100%Pバック(上限あり・要エントリー)】【アウトレット(新古品)[店舗保証なし]】【即配】82mm PRO1D プロソフトン クリア(W) ケンコー KENKO 【ネコポス便送料無料】 価格：5,650円（税込、送料無料) (2025/3/2時点) 楽天で購入

・ケンコー　ハーフプロソフトンA

100X125ハ-フプロソフトンA ケンコー ハーフプロソフトン(A) 100×125mm 価格：19,688円（税込、送料別) (2025/3/2時点) 楽天で購入

KANIのパーシャルソフトよりも弱めでよく使っていたハーフフト系フィルター。

・KANI　プレミアムホワイトミストフィルタNo5

KANI ホワイトプレミアムミスト No.5 100x100mm / 角型 ソフトフィルター 価格：19,470円（税込、送料別) (2025/3/2時点) 楽天で購入

星景でも使えるということでKANI公式も一押しのフィルター

さっそく実写比較写真です。

パーシャルソフトライト

ケンコーソフトンクリア

ケンコーハーフプロソフトン

ホワイトミストNo5

拡大

これを見ると、新製品のパーシャルソフトライトは
ソフトンクリアとほぼ同等です。
ソフトの具合もいい感じ。

ホワイトミストはソフトの具合が上品な感じで
他とは少し違うので好みが分かれそう。
強く拡散することがないので星雲とかでいい感じに使える気がします。

・KP用のUSBカプラー

以前の記事で星撮影など長時間撮影時に
USBカプラー(ダミーバッテリー)が便利だと書きました。

ペンタックスの入門機(K-70とかKFであればそのまま使えるのですが、
KPだとそのままだと使えないというトラップがありました。

KPは図の赤丸の位置にバッテリーを抑えるツメがあります。
ちょうどツメの位置がダミーバッテリーの切り欠きの部分にあたるので
バッテリーを固定できません。

そこで、ダミーバッテリーの切り欠き部分を部分にエポキシパテで埋めてみました。

タミヤ エポキシ造形パテ(速硬化タイプ)【87051】 価格：484円（税込、送料別) (2025/2/19時点) 楽天で購入

これで問題なく使えます。
パテは盛りすぎるとカメラに入らなくなるので少しずつ盛っていくのがよい。

・超光害地での星空現像の手順

以前に都会での新星景写真の撮り方を記事にしました。

その時に現像編で現像方法を記載しましたが、そこでは書ききれなかった細かい処理などを
動画でキャプチャーしたので共有しておきます。

この方法は私の独学の手順なので、
もっといい方法があったり効率の良い方法があったりするかもしれません。

・RAWだとなぜ白飛びが(ある程度)救えるのか=RAWからjpegまでの流れ

花火の写真を撮ったときなど、
カメラから出力されるjpegだと白飛びしてても、
RAW現像だと救えることがあります。
それがなぜなのか、
RAW現像の仕組みから説明していきます。

RAW現像の結果

まずこのような画像のRAWデータを見てみます。

これのRAWデータを無理やりビットマップに変換して
画像的に見えるようにしたもの。

全体的に緑っぽく、明るさも暗いですが、
これがカメラが見てる何も処理してない状態の世界です。

拡大するとこんな感じになってます。

ここから以下の図のような処理をかけていき
最終的に人間が見たのと同じような画像にします。

撮像素子は緑の画素の感度が高いので、
RとBの画素にゲインをかけて(増感して)RGBのバランスを整えます。
これがホワイトバランスゲインです。
光源にもよりますがRがx1.7でBがx1.5とかの値をかけたりします。

ホワイトバランスゲインをかけた状態の画像

白飛びしてるところがまだ緑に見えますが、それは緑の画素が多いため。

白飛び領域を拡大するとこんな感じ

RGBそれぞれの画素の値が255になっており飽和しています。

暗い場所で高感度画像だとノイズの色が赤や青、それの混ざったマゼンタだったりするのは
ホワイトバランスゲインはRとBに大きくかけるのが原因です。

じゃあ、Gの画素にx0.6などかけることでRGBのバランスをとればいい
という考えもありますが、これはよくありません。

無理やり緑の画素を暗くしてホワイトバランスをとった画像。
この暗くする方法はマイナスゲインとか言われたりします。
白飛びしてる領域を拡大してみるとこうなっている。

数値が255ではなくなり、白飛び領域が飽和しなくなってしまいます。
(とりえる値が0-255の範囲ではなく0-180などになってしまう)
これを飽和が保障されないとか言ったりします。
なので、一般的にはマイナスゲインをかけることはしません。

このホワイトバランスゲインもjpegだと白飛び(色飽和)してるけど
RAWだと白飛びしにくい原因の一つです。

デモザイクは白飛びにはあまり影響がないので飛ばします。
以前の記事

ガンマは影響があります。
ホワイトバランスゲインとデモザイクを行った状態の画像が以下です。

全体的に暗く見えますが、これはガンマがかかっていないためです。
人間の目は光の量が2倍になっても
感じられる明るさは2倍にはならないという特性があります。
人間の目の特性に近い
y=2.2^x　という関数をかける。

最終の画像に近い明るさになりました。

メーカーや機種や画像仕上げ設定によって、
このガンマがどのようなカーブになるか異なります。
そしてそのガンマカーブによって
白飛びしてなかった領域が白飛びしてしまうこともあります。

最後にノイズリダクションやコントラストや彩度コントロールなど
メーカーの絵作りが本格的に入ります。
この際にもコントラストをあげるなどして、
ハイライト部分が白飛びしてしまうこともあります。

このように、RAWで白飛びするかしないかぎりぎりの領域は
現像の過程で白飛びしてしまうことがあります。
RAW現像でその画像に最適な処理をしてあげることで
jpegで白飛びしていた領域を救うことができることもあります。

・野菜工場の光はなぜピンク？

去年の10月、彗星を撮影しているときに
強いピンクの放つ建物があり、空に色が被っていやだなぁと思っていました。

ラブホかパチンコ屋なのかなと思っていたのですが、調べると
野菜栽培のためのビニールハウスでした。
(以下は案内のページ)

なぜ野菜の栽培ではマゼンタの光(ピンクの光)を使用するのか？
以前に書いた、植物が緑色である考察の記事が参考になります

植物は緑色をしていますが、
それは緑の光を反射しているためです。
つまり、光合成では緑の光は使用されないので、緑の光はあてても無駄です。
光の三原色RGBのうち、R(赤)とB(青)だけ当てればいいことになります
(正確には光の三原色は人間の視覚に基づくものなので正しくはないですが
LED光源を考えるとこれが効率よい)

赤と青の光を混ぜるとマゼンタになります。

これが野菜工場の光の色の理由です。