Ryuzのブログ

　昨今大流行のDeep Learningですが、脳の模倣をコンピュータにやらせようという試みかと思います。
　で、現状手軽に手に入る計算機としては、メモリと演算器で構成されたノイマン型のプロセッサと、FPGAとでは構造的には後者のほうが脳のアーキテクチャに近いと思われます。
　実際に、Deep Learning をFPGAで加速しようという試みはあちこちにあるわけです。

　で、脳とDeep Learningの違いは山ほどあるわけですが、個人的に最大の違いは脳はアナログ回路だという事です。

　ここで、誤解を恐れずに言ってしまえば、Deep Learning のFPGAなどへの実装の試みは、脳のデジタル化とも言えると思っています。

　デジタルのメリットは、劣化無く伝送できる、劣化無くストレージできる、ストレージにランダムアクセスしやすいなど、いろいろあり、かつて、黒物家電がアナログからデジタルに進化したとき、当初はこのメリットを活かすべく、せっせとアナログをデジタルに置き換えていったわけです。

　が、ここで、単にアナログでやっていた演算をデジタルに置き換えてもあんまり面白くないわけです。

　かつてアナログがデジタル化する際に起こったデジタルらしい演算の代表格のひとつは、D級アンプでは無いかと考えております。
　従来、アナログを単純にデジタル化して多値で演算していたのに対し、D級アンプはサンプリング周波数を上げることで、1bitでありながら多値デジタルに対して等価以上の価値をもたらしました。

　脳をデジタル化する場合にも同じことが言えるのではないでしょうか？
　せっせと、重みを浮動小数点演算するのもありますので、XNORNetのようなバイナリ系のネットのほうが面白そうに思えます。

　個人的には、入出力も全部2値にできるような気がします。

　・ 高いサンプリングレート
　・ 精度の良い乱数生成器
　・ 論理演算器
　・ 分散されたストレージ

　だけあれば、デジタルらしさを活かした、まったく新しい脳っぽいことをするアーキテクチャが出来そうな気もします（深く考えてないですが）。

　で、実は上はFPGAは結構既に持っていて、無いのは乱数生成期なのですよね。
　CLB内に収まる程度の半導体面積の量子雑音を生成する素子を埋めたFPGAができると何か面白いことが出来そうな気がします。
　時間軸方向に確率的に現れる0/1で尤度を表しつつも、あくまで論理演算としつつ、サンプリングレートが高いので、結果として観測可能な帯域ではアナログ的に振舞うといったようなデバイスが作れないものかと、考えてみたりする今日この頃です。