Ryuzのブログ

Zybo上で開発しているRealTime-GPUがそこそこ動き始めてきたので、格安な研究費で(つまり趣味で)トライする超リアルタイムな電脳メガネ開発計画（妄想）を公開します。
OLEDがハックできるかが最大の課題なのですが。

 

 

GPUの方は、先日書いたリアルタイムアーキテクチャのGPUで、動画映像をテクスチャとしたポリゴン描画が動き始めてきました。
ピクセルクロックは200MHzですが、一旦解像度を置いておけば性能は速度に振れるはずです。

 

OLEDはPMODでのSPI接続では速度が足りないので、SERDES基板は作ってパラレル書き込みにしないといけませんが、例によって Seeed Fusion PCB の $4.9 基板で作れそうに思っています。 まずは低解像度さげていいので時間軸において、人間の視覚がハッキングができる遅延時間＆周波数帯までまで持ち上げたいのが今回の計画の趣旨です（お金さえ掛ければ解像度は上がるので）。

実際、今のVRメガネをつけてだとカメラの映像見ながらだとスポーツはおろか、自動車や自転車など日常生活ですら安全に行うのは困難だと思いますが、これはGPUにリアルタイム性がないのも一因と思っています。
ですので、マイクロソフトのHoloLensなど、AR目的のメガネはVR用と異なりあくまで現実世界はそのまま見せて置いて、CGは光学的に重畳しているわけです。

（この動画とかみると、マイクロソフトも遅延の重要性はよくわかってるはずで）

メガネなのだから、人間の目以上の性能が必要です。時間分解能と遅延が十分でなければRealTimeとはいえません。OLEDは基本LEDなので応答速度はLCDとは桁違いの筈なのですよね。

カメラは手元のXperia XZs が 960fps ですが、なかなか仕様が開示されていてモジュール単体で手に入るものだと速いものがなく、探した範囲では Raspberry Pi 用の IU233 がまあまあ性能が出そうです(240fps)。（と、思っていたら、Pi Camera Module V2のIMX219がもっと安価で撮像スペックは高性能でした。小型ではないけど)。

Zybo も手元のも(初代)には無いですが、後継機からMIPIインターフェースがついているので繋がるはずです。
もっともまずはカメラはオプション的な位置づけで、ポリゴン描画をリアルタイムに十分速くすることに重点を置ければと思います。

GPUの方はスペック上は今200MHzのピクセルクロックで処理できているので、128x64のOLEDなら数値上は40usで１フレーム更新できちゃう帯域の計算になっちゃいますね(まあI/Fがついて来ませんが....)。

まあ実際1000fpsも厳しいとは思っていますが、もし仮に2万fpsとかでトータル遅延が100usとかのオーダーに出来たとすると、例えば野球で150kmのボールを打つときでも現実とバーチャルのずれがミリメートルオーダーになってくるので(時間軸的には)超リアルなスポーツゲームとかも出来るのではなかろうかと。

打倒ホロレンズ？（笑）。

いつかデンスケに会える日を信じて、夢は大きくがんばりましょう。

(2018/03/19: カメラをIMX219に変更しました)