・DeepLearnig(AI)の学習の進み方

DeeplLeaning(以下DL)についてこのブログでも何回か記事にしてきました。

・AIによるカメラの進化
・ディープラーニングについて
・GANによる画像処理
・AIは万能ではない
・Photoshopの新機能　風景ミキサー とGANの仕組み

写真やカメラ系のブログですが、DLのことを何度も記事にしています。
これは写真≒画像処理が今後DLに置き換わっていくためです。

ここでは自分が勉強してきたことを自分のためにメモ代わりにまとめておきます。
なので、わからなかったら読まなくて良いです。

DLは人間の脳をコンピュータ上で再現したものです。
人間の脳内はニューロンとシナプスがネットワーク状につながりあって
情報伝達物質を送信することでできています。

左が脳のニューロンを表した図。
いくつかの入力があり、それを合わせたものを出力する。
右がDLでのニューロンです。

ここで、よく見るニューラルネットワークの図。
 
ニューラルネットワークのうち、中間層が複数あるものを
ディープラーニングと呼びます。
赤い部分を見ると、先ほどのニューロンと同じになっているのがわかります。

この図が実際に何をしているか。
例えば、28x28の白黒の画像だと
入力は28x28=784個あることになります。(図では2個しかないけど)

DLの図は、左の入力を入れて右の出力を得るという意味です。
f(x)とg(y)とh(z)という3種類の関数があるということ。

関数は中学生で習います。
一次関数なら
y = ax + b
という感じで、aとbの2つのパラメータが入っています。
上の図だとz1へ、それぞれ重みw1-w3までかけたものが入る関数、
といったものです。

これらのパラメータ(係数)はランダムな値が入っています。
これらを最適パラメータにするのが学習です。

この点の集合にフィットする関数はなんだろう、って時。
y=4x^2+30x+50
というテキトーな係数を入れると下のグラフ(紫)のようになり
全然一致しません。

青点との差分をとり、それが一番小さくなる係数を探します。
y=2x^2+60x+120
という2と60と120という最適な係数が見つかりました。

ここではパラメータの数はたったの3つですが
ディープラーニングでは100万個とかそれくらいの数になります。
この最適のパラメータを探すのが学習。

文字で書いてもよくわからないので、実際の学習で考えてみます。
手書き文字の4と9を判別するネットワーク。
4と判断したら0を出力して9と判断したら1を出力するネットワークです。

28ｘ28の画像データになっている手書き文字を入力にして、
4と判断したら0を出力、9と判断したら1を出力します。

図で表すとこんな感じ。

式で描くとこんな感じ
y = φ(f(x))

φは活性化関数と言われる関数です。
また、すべての入力をx'1で取り込んでいるので
これは全結合と呼ばれています。

Affineが全結合、ReLUが活性化関数です。
入力がマイナスなら0にして、入力がプラスなら
同じ値を出力するというものです。

これらの関数にランダムに入っているパラメータを微妙に変えていって
正解に近くなるかどうか確認していきます。
正解に似ているということは正解と出力の差の絶対値が小さくなるということ。

ちなみに、ランダムな値が入っている状態での出力はこんな感じ。

推論結果がどれも小さい値になっています。
すべてを4と推定すれば4と9の2値分類問題なので５０%の確率で当たります。

差の絶対値がどんどん小さくなるようにパラメータを入れ替えることを試すのが学習。
グラフで描くとこんな感じ。

学習を進めるほど、だんだん差が小さくなっていきます。
一番小さくなったところが最も良いパラメータの組み合わせ、ということになります。
一番小さくなるところを求める、ということは
グラフの傾きがゼロになるところです。
微妙にパラメータを変えたときの出力と
前回のパラメータの出力との差分がゼロになるということ。

簡単に言うと微分したときにゼロになるところです。
しかし傾きがゼロになるところを求めようとすると、
局所解に陥ってしまうことがあります。
局所解とはグラフで言うとこういう場所です。

この部分は最小値ではありませんが
傾きがゼロになってしまうので
傾きだけで判断していると、
この部分で学習結果が収束してしまいます。

これを回避する方法もいろいろありますが、
とりあえず今回はここまでにしておきます。