図書館で借りた。 第3次ブームと言われて久しい人工知能分野。その中核的な要素であるディープラーニングについて語った1冊。タイトル通り「原理に迫る」ということで、分かりやすく噛み砕き、表面的な解説をした印象だ。 言い換えれば、しっかりとした教科書ではないので、専門外の人がなんとなく知りたいという目的や、あくまで「初歩中の初歩でいいんだよね～」という人に薦める感じかなと思った。 個人的には、ニューラルネットワークを多層で積み重ねたのが～は分かるが、その"原理"を解説してくれている部分は、非常に分かりやすくて腑に落ちた。

今泉允聡「深層学習の原理に迫る」読了。深層学習の根幹をなすニューラルネットワークは二層で数学的に十分であるにも関わらず多層になるほど性能が上がるとの事。しかしそれはその数学が適正でない。これは実世界が非均一的な滑らかさを持つ関数の近似でしか捉えられないからという事を示唆するのかなと思った。

相転移現象の記述に深層学習を適用可能とか、暗黙的正則化による過適合抑制というのは初めて知った。PACベイズ、二重効果理論、ランジュバン動力学(焼きなまし法の解析に便利)等々、興味深かったが、いずれも深層学習の理解には未完成のツールとのことなので、日進月歩のこの分野でいまそれぞれの手法での理解がどこまで進んでいるか知りたい。また、30-40年前に既に発見されていた手法が忘れ去られ、車輪の再発明に研究者たちの貴重な人生の時間が奪われているのがもどかしいと感じた。知識・技術の体系化と継承は、それが積み上がるほど難しくなっていくが、これを諦めると人間の進歩は止まってしまうのかもしれない。