ちょっと可能性的な話を。

xxxxxx

2015年8月、大阪ナレッジキャピタル。

機材を背負って訪れました。
前後左右上下六面で配置したカメラ、そしてほぼ同じ数のKinect2から分解した奥行きセンサーが装備、
背負って施設内で歩きまわる同時に、ストリートビューと3Dスキャンを同時で作成出来る新規のストリートビュー機材た。

元々人がそんなに多くはなかったので、女性スタッフの案内で、適当に上から始めました。
主はイベント範囲内でスキャンすることが予定でしたが、今後施設全体のARサイネージシステムも検討中ので、
イベント範囲外をちょっとだけ広める予定です。

後処理はほぼ必要ないので、歩いだ同時に蓄積、手持ちのAraスマホも施設内部のモデルが受信出来ました。
このスマホでも同等の作業ができるけれど、上下動き回るが必要で、手が疲れちゃう。
専用の機材で労力軽減する狙いです。

早速、４階を一遍回って作成しました。
今は起点のナレッジシアターの前に戻った所。
起点を示すiBeacomを設置し、周りを見渡す。

思えば、去年ここにミクさんの等身大看板ありましたよね。

ちょっとテストプログラムをはじめましょう。

手元のAraスマホを飾り、予想通りの結果を確認してすぐ収めるところ、女性スタッフが凄く興味深くこちらを眺めました。
多分背負った機材と変わったスマホのため、特殊な機材だと考えたでしょう。
長時間のAR使用のために、バッテリーを大きめにして、こつい外見となってただからでしょうね。

案内していたスタッフの私物スマホを頂いて、受信専用のスマホアプリを入って、体験テスト用のアカウントとパスワードを入れて返す。
作成した空間の情報がロードされ、画面ではカメラを通って見た型となり、周りに緑の光の点が浮かび始めました。
空中へ段々集い始めて、ミクさんの形になって、ゆっくり降りって来て、地面に立つ。
丁度前看板に立つ所でした。

「みっく」とちょっとVサインを出した所。

「ああああミクさんカワイイですね～」と、スタッフさんが思わず声を上げました。

ここまでは既存のマーカーレスARと大して変わらなかった。

無論新しいアルゴリズムの実装後が安定ですが、こういう使い方はまたまた真価が現れない。

と、ミクさんがドアへ向かって歩き出しました。

「お、ミクさんどこへ向かうでしょう」「ついていこう」

機材を背負ってスタッフさんと一緒にミクさんの後ろを付いて行く。

廊下に出た直後、ミクさんが歌い始めた。「パッケージ」だ。
すると、ミクさんの歌が、音符になって浮かんて、ミクさんの足跡とともに廊下に残していく。
スマホをかざすと、音符がスマホに吸い取れて、画面が光りました。

ミクさんの後ろに落とした「歌のカケラ」を集めて、一定数を集めると一曲が完成。
毎階に違う歌を歌うミクさんも、リンちゃんもレンくんも、ルカさんも居る。
ミクさんがどこまで歩いたのは時間とともに一定で、アカウントを作って、音符を集めたら、一定数超えるとぷちライブが開催になって、参加した皆さんも記念品が貰える、という予定らしい。

「まるで本当にミクさんと一緒に歩いているようですね！」
「歩いているのに、いっぱい寄せても綺麗に映る！」
「あ！こっちに向いて笑ってる！」
「写真も動画も取れる！」

喜んでくれる人がいれば、作る甲斐があった。
4階を一周して、ミクさんは出発点を戻って、付近の椅子で座りました。

寝ているようだ。

そしたら私達もミクさんを後にして、3階を回り始める。
これからミクさんを会いに来る皆さんのために頑張ろう。

———————————————————————

そんな感じです。いかがでしょうか。

空間の絶対位置が精密的測定出来ると、「ARのミクさんと一緒に自然に歩きまわる」とか、「デジタル空間でキャラクターが落としたものを集める」とか、が出来るようになります。

空間測定終わったら、バーチャル空間だけ存在する看板を出せることが出来て、キャンペーン情報が登載できるようになる。なので「共有のバーチャル空間」と「プライベートなバーチャル空間」も出来ていて、
前者がレンタルようになるの話も多分グーグル先生が狙ってるはず。

同時に、同じ空間データで、現場に居なかった人も「あ、知り合いがここにいる」とか、Oculus Riftで別所でバーチャル体験が出来ます。
他に、4階から3階を透視する、とかのやり方も出来ます。

ポケットに入るとか、カメラを遮断して途中で移動すると、カメラが使用可能する時点で同時にiBeacomから離れた距離を測定して、短時間で定位し直すことも可能、と以上の数点がDTAM実装したあとで可能になること。

———–
久しぶりにKinectFusionの発展からProject Tangoまでの進化を整理すると、いつの間にが完璧なARができるようになった。

http://www.youtube.com/watch?v=quGhaggn3cQ
kinectfusion、DTAMと同じ作者。全てはここから始まった。

http://www.youtube.com/watch?v=NsrmniEvO4s
Scalable KinectFusion
スキャンサイズは無制限にした。

http://research.microsoft.com/pubs/198579/fusionhd.pdf
Scalable Realtime-Volumetric Surface Reconstruction

ここで応用がわかってくる：
1. AR用の空間データ
2. 同じデータでロボット、アンドロイド用の空間認識
3. 文化保存、歴史遺産保存（VRツアーガイド）

http://www.youtube.com/watch?v=D3yYjaLmiqU
Kintinuous 2.0: Real-time large scale dense loop closure with volumetric fusion mapping

http://www.ri.cmu.edu/pub_files/2012/7/Whelan12rssw.pdf
Kintinuous: Spatially Extended KinectFusion

Kintinous 2.0、建物全体のスキャンする、CPUしか使わない。
Project Tangoのコアアルゴリズム。しかも軽い。
For all tests we ran our system on a standard desktop PC running 32-bit Ubuntu 10.10 Linux with an Intel Core i7-2600 3.4GHz CPU,
8GB DDR 1333MHz RAM and an nVidia GeForce GTX 560 Ti 2GB GPU.
え、CPUしか使わないの….

http://www.youtube.com/watch?v=9IRtihBOj3M
Matterport’s Camera Takes 3D Model Of TechCrunch HQ

Matterportの専用の高精度スキャンデバイス、高精度のため三脚を立て動く。
同じ会社もスマホ用のアプリをリリース済み。

http://matterport.com/matterport-and-google-atap-project-tango/

http://www.youtube.com/watch?v=9_GD7kUbogk
Google Project Tango: 3D Indoor Map by Matterport (No Sound)

実は同じプログラムをGoogleのProject Tangoのテストスマホで部屋をスキャン。
手が疲れるが欠点（そこなの）

ベースは明らかに上記のKintinous 2.0を元にしている。

http://www.youtube.com/watch?v=3BNOsxMZD14
Project Tango – real-time 3D reconstruction on mobile phone

奥行きセンサー、深度カメラがある場合は直接読み取れます。
カメラだけの場合はちょっと制限があると予想。部屋の3Dモデリングそのまま出来る。

http://www.youtube.com/watch?v=mnvQiJ5xQt4
Virtual Physical Reality – Kintinuous with the Oculus Rift

スキャン終わったらOculus Riftで遊べるぞー
なお、このトラッキングはOculusのセンサーを使っておらず、
Kinectで逆算している。

＝＝＝
単眼カメラの成果はDTAM以降、高速化と簡潔化に向かう。

http://vision.in.tum.de/_media/spezial/bib/engel2013iccv.pdf
“Semi-Dense Visual Odometry for a Monocular Camera”

http://www.youtube.com/watch?v=LZChzEcLNzI

PTAMの特徴だけ読み取るより、全画素を記録して特徴を残すという方式。
結果は半端無く高速化と強固化。
Defocusの抗性は不明だが、そこまで拘る必要もない気がする。

http://vision.in.tum.de/research/lsdslam
http://www.youtube.com/watch?v=GnuQzP3gty4
LSD-SLAM

http://www.youtube.com/watch?v=X0hx2vxxTMg
http://vision.in.tum.de/_media/spezial/bib/schoeps14ismar.pdf
Semi-Dense Visual Odometry for AR on a Smartphone (ISMAR ‘14)
LSD-SLAMのスマホ実装、オープンソースのコードが貰える。
NEON SIMDで30Hzを達成、これは相当のロバスト性を見せました。
上記に２本は同じ所。

なお注意すべきのは、これらは全部、Kinect Fusion以降、業界オープンスタンダードのPoint Cloud、点群データを対応しているところ。

なので、点群既存のフォマットでダウンロードし、識別統合などが可能。