・DeepLearnig(AI)の学習の進み方

DeeplLeaning(以下DL)についてこのブログでも何回か記事にしてきました。

・AIによるカメラの進化
・ディープラーニングについて
・GANによる画像処理
・AIは万能ではない
・Photoshopの新機能　風景ミキサー とGANの仕組み

写真やカメラ系のブログですが、DLのことを何度も記事にしています。
これは写真≒画像処理が今後DLに置き換わっていくためです。

ここでは自分が勉強してきたことを自分のためにメモ代わりにまとめておきます。
なので、わからなかったら読まなくて良いです。

DLは人間の脳をコンピュータ上で再現したものです。
人間の脳内はニューロンとシナプスがネットワーク状につながりあって
情報伝達物質を送信することでできています。

左が脳のニューロンを表した図。
いくつかの入力があり、それを合わせたものを出力する。
右がDLでのニューロンです。

ここで、よく見るニューラルネットワークの図。
 
ニューラルネットワークのうち、中間層が複数あるものを
ディープラーニングと呼びます。
赤い部分を見ると、先ほどのニューロンと同じになっているのがわかります。

この図が実際に何をしているか。
例えば、28x28の白黒の画像だと
入力は28x28=784個あることになります。(図では2個しかないけど)

DLの図は、左の入力を入れて右の出力を得るという意味です。
f(x)とg(y)とh(z)という3種類の関数があるということ。

関数は中学生で習います。
一次関数なら
y = ax + b
という感じで、aとbの2つのパラメータが入っています。
上の図だとz1へ、それぞれ重みw1-w3までかけたものが入る関数、
といったものです。

これらのパラメータ(係数)はランダムな値が入っています。
これらを最適パラメータにするのが学習です。

この点の集合にフィットする関数はなんだろう、って時。
y=4x^2+30x+50
というテキトーな係数を入れると下のグラフ(紫)のようになり
全然一致しません。

青点との差分をとり、それが一番小さくなる係数を探します。
y=2x^2+60x+120
という2と60と120という最適な係数が見つかりました。

ここではパラメータの数はたったの3つですが
ディープラーニングでは100万個とかそれくらいの数になります。
この最適のパラメータを探すのが学習。

文字で書いてもよくわからないので、実際の学習で考えてみます。
手書き文字の4と9を判別するネットワーク。
4と判断したら0を出力して9と判断したら1を出力するネットワークです。

28ｘ28の画像データになっている手書き文字を入力にして、
4と判断したら0を出力、9と判断したら1を出力します。

図で表すとこんな感じ。

式で描くとこんな感じ
y = φ(f(x))

φは活性化関数と言われる関数です。
また、すべての入力をx'1で取り込んでいるので
これは全結合と呼ばれています。

Affineが全結合、ReLUが活性化関数です。
入力がマイナスなら0にして、入力がプラスなら
同じ値を出力するというものです。

これらの関数にランダムに入っているパラメータを微妙に変えていって
正解に近くなるかどうか確認していきます。
正解に似ているということは正解と出力の差の絶対値が小さくなるということ。

ちなみに、ランダムな値が入っている状態での出力はこんな感じ。

推論結果がどれも小さい値になっています。
すべてを4と推定すれば4と9の2値分類問題なので５０%の確率で当たります。

差の絶対値がどんどん小さくなるようにパラメータを入れ替えることを試すのが学習。
グラフで描くとこんな感じ。

学習を進めるほど、だんだん差が小さくなっていきます。
一番小さくなったところが最も良いパラメータの組み合わせ、ということになります。
一番小さくなるところを求める、ということは
グラフの傾きがゼロになるところです。
微妙にパラメータを変えたときの出力と
前回のパラメータの出力との差分がゼロになるということ。

簡単に言うと微分したときにゼロになるところです。
しかし傾きがゼロになるところを求めようとすると、
局所解に陥ってしまうことがあります。
局所解とはグラフで言うとこういう場所です。

この部分は最小値ではありませんが
傾きがゼロになってしまうので
傾きだけで判断していると、
この部分で学習結果が収束してしまいます。

これを回避する方法もいろいろありますが、
とりあえず今回はここまでにしておきます。

・都心での新星景写真 現像方法

前回は撮影方法を記載しました。

今回は撮影したデータを仕上げる手順です。
この方法は人によっても違うので、あくまで私がやっている方法。
もっといい手順があるかもしれない。

●必要なソフト
　Photoshop

　Sequator
　

これらを高速に動かせるハイスペックマシンがあると
イライラせずに済みます。

参考までに私のマシン(2022/1)
windows11
Corei7-11700
32GB
GeForce GTX1650

●Step1　最初の現像
私はRAW状態でコンポジットするのではなく、
最初に現像を行ってしまって、ノイズ処理や赤い星雲の炙り出しを
ある程度行います。

Photoshop CameraRAWで撮影したRAWデータを一括で開く。
(ここはLightroomでもよい)

天体改造機だと赤っぽく色被りしているので
最初にホワイトバランスをいじります。

ホワイトバランス調整アイコンにして、
赤い星雲がいないあたりを選択して大まかに合わせる。
光害とかの影響で色被りがある場合はいくつかのポイントを選択して
一番バランスが良さげなところに合わせておきます。

次に大まかな露出の決定。
露光量はちょっとオーバーになる程度に上げて、
ハイライトと白レベルを思いっきり落とします。
ハイライトを落とすのは、
例えばオリオン大星雲の中心付近が白飛びしないようにするためです。

あと、レンズの倍率色収差も行っておきます

歪みと周辺減光は補正してしまうとコンポジットしたときに補正痕が出るので
ここはいじらないでおきます。

次が一番キモになる部分です。

カーブを細かく調整して赤い星雲が浮かび上がるようにします。
またこの画像で言うと画面の上部の暗い部分を少し明るくなるように、
画面下部の明るい部分の輝度を下げてフラットに近づけます。

このカーブを調整する際は諧調が破綻しないように気を付ける必要があります。

トーンカーブのいじり方でも記載しましたが、
極端にしすぎると諧調が破綻して写真としておかしなことになります。

ここまで来たらテクスチャと明瞭度をいじって
星を強調します。
もし空の状況が良くて、星が写りすぎている場合は、
明瞭度を逆に下げてもよい。

最後に、ノイズを若干除去しておきます。

この調整をすべての画像に適用します。

ダークとフラットも撮っている場合は、それにも適用。
(フラットはホワイトバランスを再度合わせなおす)

保存は、情報量を残すために16bitのTIFFにしておきます。

一旦TIFFに仕上げたら、
Sequatorでコンポジットします。
使い方は以前の記事でも記載しました。

枚数が多ければ多いほど、ノイズ除去だけでなく
細かい部分が出てきます。

ダークやフラットを撮っている場合、
ダークは「ノイズ画像」、フラットは「ケラレ画像」
のところに入れればよいです。

ただ場合によっては、コンポジット結果に逆にノイズが載るときがあるので
その際は入れない。

合成方法は「積む」にしておきます。
ソフトフィルターを使っている場合、最適選択にすると
星の位置合わせが失敗して周辺部の解像が劣化することが多い。

光害除去は「複雑」で右から二番目の強さにするとちょうどよいことが多い。
結果が破綻したりした場合はさらに弱めたものも作っておくとよいです。

星空のコンポジットが終わったら、
固定撮影をした地上風景と合成していきます。
星空と地上をレイヤーごとに読み込みます。

地上レイヤーはコピーして二つ作っておきました。

まず地上レイヤーを選択し、
選択範囲→空を選択をして、空部分を選択し、Delボタンを押して削除します。

この状態で地上レイヤが問題なければこれでOK。
建物とかがきえてしまう場合、保険で作っておいたコピーした地上レイヤーで
きえてしまう部分などを補間します。

星空部分に発生している色や輝度のムラを補正したり、
全体の色味を地上と揃えたりします。

CameraRAWフィルターを起動
ナローバンドフィルターを使うと
青がシアンや緑っぽくなってしまうので
青の色相を変えます。

次に、輝度ムラを補正します。
ムラになっている部分をマスクのブラシツールで塗っていきます。

この部分だけ、不自然にならない程度に
露光量を下げたりシャドーを下げたりします。
また、単純に下げるだけだと、星の光も弱くなってしまうので、
テクスチャと明瞭度を上げます。
ムラが目立たなくなるまで、この作業を繰り返します。

ホワイトバランスも少し変更しました。
画像の最周辺はムラが大きく発生して補正が難しいので
トリミングでカットしてしまう。

こうしてできた結果がこちらです。

・DFA21mm limitedで角形フィルター使用方法

ペンタックスの新しいフルフレーム用limitedレンズの
DFA21mmを購入しました。

【01/09 20:00〜01/16 01:59まで限定!!最大4,000円OFFクーポン発行中!!】ペンタックス HD PENTAX-D FA 21mmF2.4ED Limited DC WR シルバー 交換レンズ 価格：161480円（税込、送料無料) (2022/1/15時点) 楽天で購入

ペンタックスのフルフレーム用の超広角20mm相当のレンズは
ほとんどありません。
純正の15-30mmかSAMYANGの20mmF1.8くらい。

純正の15-30mmは前玉が出っ張っているため、
角形フィルタを付けようとすると、フィルタ幅150mmの大きなものを付ける必要があります。
一方、焦点距離20mmくらいであればフィルタ幅100mmのものが使えるので経済的。

DFA21mmは径が67mmの溝が切ってあるので
円形フィルタは使えるのですが、フード一体型のため角形フィルタは使えないと思われた。
なぜフード一体型のデザインにした！
FA31mmみたいでかっこいいけどさ…

21mmという超広角焦点距離は、風景や花火で使いたい。
しかし、その際ハーフNDなどの角形フィルタが使えないのはツライ。

何とか既存のフィルターホルダーでDFA21mmに流用できるのはないかと
フィルタホルダを取り扱っているKANIのオフィスにお邪魔しました。

その結果、工夫すれば使えるものがありました！
オリンパスのED7-14mmf2.8pro用のホルダーアダプタです。

KANI 角型フィルターホルダーアダプター OLYMPUS M.ZUIKO DIGITAL ED 7-14mm F2.8 PRO 専用アダプター HT100mm ホルダー用 価格：7450円（税込、送料別) (2022/1/15時点) 楽天で購入

そのまま使うと隙間が空いてしまうため、
スポンジがついた遮光パットを切って張っています。

大体、2枚重ねにするとぴったりです。

遮光シールは、角型のNDにつける遮光パットの中心部分を切って流用。

KANIフィルター 100mm角用遮光パット 5枚入 / ガスケット 価格：1500円（税込、送料別) (2022/1/15時点) 楽天で購入

こんな感じでレンズにつけられます。
 

フィルタホルダーを斜め45度にしたときのみ僅かに四隅がけられますが
正位置(縦横)で使う分には全く問題ありません。

DFA21mm良いレンズだけど、角形使えないのがなーと思っていた方は
この方法で対応可能。

・都心での新星景写真 撮影方法

新星景写真とは、日周運動で動く星と静止している地上を
両方止めて撮った写真です。

撮り方

赤道儀を使った写真と使っていない写真を合成するのが一般的な方法です。
赤道儀がない場合、広角で星が動かないくらいの露光時間(5秒とか)で
感度を上げた状態で撮影したものを複数合成してノイズを消す方法もあります。

その場合のやり方の記事

新星景写真では地上風景は星とコラボして面白いものを入れることになります。
富士山とか。
ただ、星という撮影対象上、空の暗い場所でという前提がついてしまいます。
都心で星を撮る場合は比較明合成をした軌跡が一般的。

何とか都心でも新星景写真を撮れないものかとチャレンジしてみました。
(空のきれいな場所で撮影した星空と都心の空を合成するのは個人的にNG)

時間をかけて撮影することで、何とか都心でも新星景写真が撮れました。

撮ってる時の様子

4時間露光するとこれくらい映ります。

露光時間を延ばせば伸ばすほどノイズが少なくなり、暗い星も映る。
今回は撮影方法を記載しておきます。
ただ、いろいろ特殊な機材を使うので初心者向きではない。

●必要な道具
　天体改造カメラ
　デュアルナローバンドフィルター

STC Astro-Duo Narrowband Filter Canon APS-C (Kiss X7/Kiss X7i/Kiss X8i/8000D/ 70D/80D/7DII) 価格：54780円（税込、送料別) (2022/1/11時点) 楽天で購入

　赤道儀

ケンコー・トキナー　KenkoTokina 自動追尾赤道儀　スカイメモS（レッド） 価格：34575円（税込、送料別) (2022/1/11時点) 楽天で購入

　ソフトフィルター

ケンコー・トキナー　KenkoTokina PRO1D プロソフトン クリア(W) 82mm PRO1DPROSOFTONCLEAR82 価格：7180円（税込、送料別) (2022/1/11時点) 楽天で購入

●撮影場所決め
さすがに画角内に強い街灯が入るようなところだと
ゴーストがでてしまって画像処理が大変になります。
Googleストリートビューなどで確認。

あと、どの天体とどの建築物を組み合わせるか、
その場合どこから撮ればよいかをよく考える必要があります。
オリオン座であれば、真西に沈むので、コラボしたい建造物の東で撮ればよい。
例えば下の図のようにスカイツリーとオリオン座のコラボであれば、
スカイツリーより東にある開けた場所に行けばよい。

地図を見てみると、荒川沿いの堤防、平井大橋付近だったら良さそう

●撮影時刻
撮影したい星座が何時にどの方角に来るかは星座アプリを使えばわかります。
例えば上の図で描いたようなスカイツリーとオリオン座であれば、
1/10だと午前2:30くらいになります。
では、2:30に撮影できるように準備しておけばいいのかというと、そうではありません。

一枚撮りであれば、それでいいのですが、
都心部で星景を炙り出すためには大量の枚数を合成する必要があります。
せめて2時間は撮影しておきたいところ。
一枚30秒露光であれば240枚を合成しないと微恒星は出てこない。
2:30に行ってそこから撮り始めるとすぐにオリオン座が沈んでしまうので、
2時間前の0:30には撮り始めたい。

2時間で動く分、星の位置が違うので、
その部分が隠れないような広い場所で撮る必要があります。

●撮影方法
撮影場所についたら、赤道儀などをセット。
この時カメラにはまだナローバンドフィルターは装着しない。
「最終的に撮りたい構図」を決めます。
この時、撮りたい構図より少し広めの焦点処理にしておくのがコツです。
後の画像処理で、画像周辺はカブリなどが発生することがあります。
これは取り除くのが難しいのでトリミング前提で構図を決めます。
この時に、地上の固定撮影も済ませておくとよいです。

撮影開始時の時点ではその場所に天体がいないので、
極軸周りに雲台を回転させ、撮りたい天体を構図に入れます。
この状態で赤道儀のスイッチを入れ、
カメラにもナローバンドフィルターを装着。
ナローバンドフィルターを入れるとピントがずれるので、ピントを合わせなおして
撮影スタート。
インターバル撮影にして後は放置。
露光量は白飛びしないくらいで感度は高め。
ナローバンドを入れるとかなりISO感度を上げないと星が写りません。

必要に応じてソフトフィルターも付ける。

後はバッテリー残量を定期的に確認しながら放置。
都心部だと人が真夜中でも結構いたりするので、
必要に応じてワイヤーロックを三脚とカメラにつけておくとちょっと安心です。

サンワサプライ SL-57 パソコンセキュリティワイヤーロック 南京錠 タイプ 価格：1434円（税込、送料別) (2022/1/9時点) 楽天で購入

これで撮影は終了です。
次回、画像処理で星を炙り出していきます。

・どこまでが合成写真か

フォトコンテストなどでは合成写真はNGというものもあります。
確かに下の写真のような明らかな合成写真は「写真ではない、CGだ」
と感じる。

ただし、下の写真のようなものだとどうだろう。

見かけることも多い、星の軌跡を撮影したものです。
こういう写真は、現在ではほとんどが「比較明合成」という方法で
複数の写真を合成して作られた画像です。

作り方

画像合成や画像処理がどこまでOKかは、
フォトコンテストの規約などでもそれぞれ決められていたりしますが、
自分の中でも、「ここまではOKとする」というポリシーを決めておいた方が良いです。
でないと、何でもできてしまう。

どこまでOKかは、写真の使い方や人によっても異なりますが
いくつか例はあります。

・JPEG撮ってだしのみOK
この決め方をしている人も多いと思います。
個人的にはこの決め方はあまりイケてないなと思ってしまいます。
JPEG撮ってだしだと、どうしてもメーカの絵作りに左右されてしまいます。
色の出方だとかコントラストだとか。
また、インターバル合成機能がついているカメラとついていないカメラ等、
カメラについている機能によって撮れる表現の幅も変わってしまう。
※機能ではなく、大判カメラや特定のレンズでしかできない表現とかもありますが…。

・カメラ内でできる処理までOK
これもカメラの機能によって表現の幅が変わってしまう、
また、スマホカメラならアプリで何でもできてしまう、という点で
個人的には無し。

・一枚の撮影画像だけ使う
この考え方は1枚のRAWを自由に現像できて
ありえない合成はできないという観点で比較的良い決め方かなと思います。
天体など特殊な撮影では応用が利きませんが…。
ただ、カメラの内部処理を知っている身からするとうーん、と感じることもあります。
この考え方だと、最近のスマホの写真はほぼすべてNG。
スマホは一回の撮影に見えて、
画像を重ね合わせてノイズを減らしたり
露出を変えた複数の撮影画像を用いてダイナミックレンジを広げたりしています。

最近だと1枚の画像から深度Mapを作ってライティングを変えたりとかもできちゃうから…。

また簡単なところだと一枚の写真でもこういうのは作れる。

・その場にあるものを消さない、無いものを足さない
私は個人的にこのルールを守るようにしています。
これを守るということは、電線を消したり
その場にはいない動物を付け加えたりはできません。

ただし例外として、時間差で撮影した画像内で現れるものなどは足したりしてもよい。
こういうルールだと、天体の比較明合成もOKになるし、
動く天体と地上を両方止めた新星景写真もOKになります。

明るいうちに背景を撮影して、そのあとに飛ぶヒメボタルを合成
というのもこのルールであればOK。
こういうとり方。

カメラ起因によるセンサーのごみの映り込みや
ゴーストなどは本来そこには存在しないものなので消してもいい。
また、光学的に実現できる方法(PLフィルタで反射を取り除くとか)も
個人的にOKとしています。

光学的なリフレクションはもちろんOK。

ここまで記載したルールはあくまで私が思いつくものなので
そのほかの観点で考えることも当然あると思います。