表現

「問題の表現」は逐次現れる。「表現」を学習するとはそう言う事である。しかしそれは画期的な事である。従来の「局所的収束」では問題は深刻になるだけだった。入力層に近づくほど、最急降下法の勾配は小さくなり、学習が進まなくなるという勾配消失問題が生まれた。

 

入力信号は次元削減表現のネットワークに入らなければ、事前学習による自由度ある貪欲学習が層ごとにできない。ここで現れるのがボルツマンマシンという統計学機械学習である。これは主に熱力学的な分布(ギブス分布・ボルツマン分布)概念を通して生成される。ここにはエネルギー関数(コスト関数)が導入される。つまりエネルギーをより低くするxがよりよいx(高確率)となるから、エネルギー関数の値が低くするように設計される。ハードルをあえて低くすることで、より広範囲の貪欲学習(勾配上昇法)を可能に、反復するのである。

 

分布は点で表現されず、「白・黒」の「0・1」(2次元平面上の反転)で表現され、積層構造により自己符号化器になる。つまり入力次元より低い次元の特徴に変換され、入力の情報を減らし、高次元であっても要素間の強い相関関係を、低次元の多様体上に自由表現するのである。

 

参考

「深層学習」  人工知能学会 監修  神嶌敏弘 編