標籤彙整: 初音ミク

ペイメント

2013年10月辺りの日記でした。
V3ミクさんが届いたあと、実は一ヶ月くらい置いていた。
デモ曲の「ペイメント」はよく聞いてる曲である。
とっても心地良い曲が、フルが公式イラスト募集参加した友人から頂いたためです。

====

確かにV3ミクのデモ曲は、「星のカケラ」ほどの「衝撃」は感じませんでした。

「星のカケラ」はフル動員ともいうべき、初期でありながら鬼調教を遺憾なく叩きこまれてるけれど、実際フルより1コーラスの01_balladeの方が耳に残る。

だが、鮮烈の出会い以上に、以降のデモ曲は聞けば聞くほど、この数年間の思いと愛しさが篭もる。

例えば、ミクAppendの6首のデモ、「夜の虹」、「shoelace」、「影踏み」、「私らしさ」、「chocolat」、「ハニビー!」などは、どれも秀逸で携帯とドライブでもよく聞ける曲でした。

特にボカロPに「新しいDBの性質を見せるには、パラメータは最低限に抑えないと行けない」という新しい注文が、ミクAppend時期から入ってきました。

いわゆるベタ打ちで、どうやって最大限の魅力を伝わるのは、やはりキャラを込める必要がありました。

=====
そして、V3ミクの「ペイメント」。

フルのVSQXが付録ファイルに提供されて、ずっとやりたかったことが可能になり、この子が到着して、インストールできたら真っ先に歌ってもらいたかった。

SPインタービューなどで見れる、作り上げの重いと丁寧に包装するなど、無論どこでも商品の扱いは大事でしょうけれども、薄いビニールの膜がとっても「処O膜」的なニュアンスに(汗)

とにかく、そういう変な所に思わず気合入っちゃう自分がいます。はい。
別にオリジナル曲とか用意できないけれども。

だが到着自体は発売日直後で数日(郵送時間)ですけど、家で色々用事があって、あと見落としたのは「そもそもパソコンに光学ドライブとか用意してなかった。」

使用する機会があまりにも少ないから、複数PCの間シェアされる外付けドライブにしましたけれど実家においていたから(汗)

結局そのままズレこんで、昨日となりました。

あの「ニコ動衰退」議論の直後、どうしても彼女の声が聞きたかったから、重い腰を上げてドライブを持ち込み、インストールを始める。

===========
机の前に居る彼女と対面して、ディスクを持ち出す。

メジャーアップデートなので、彼女にとってここは「初めて」の環境ではないはずだけど、やはり慣れるまでちょっと時間掛かるのかな、と頭を斜めて、はてなのマークが浮かぶ。

PCの中にV2、Append、V3へのインポートも居て、「全部」ミクさん自分でありながら、割りと大所帯となってる。

1. ディスクの損耗を減らすために、まずは全部イメージを作成。
同時に、あとでコピペ出来るようにシリアルナンバーを記録。
軽く20GBができちゃった。ここまで増えたのに、おまけの画像を見てミクさんの胸は綺麗に小さいままで安心 (横からボコボコされる)

2. 単体64bit実行ファイルが存在するStudio Oneに対して、まずは公式サイトでアカウントを作って、SN入力して、そのまま公式サイトから64bitの方をダウンロードして….そのまま放置。
まぁ悪評が多いよね。あとで検証する。

3. V3ミクさんをインストール。
イメージ作成したから数GBもありながら、らくらく高速。
ユニファイドのインストールプログラムで手間かけず、6つのDBをアクティベーション。

4. 次に英語ミクさん。今回はおあずけで申し訳ないと思いつづ、アクティベーション。
両方も今までの基本通り、MACアドレス登録はMSループバックアダプターに当てる。

5. 紛らわしいといわれるクリプトンバンドルソフト、PIAPRO STUDIOとMUTANTの64bit版をインストール。

6. Reaperたん立ち上げ。
無論、Reaperたん起動したら恒例の「新しいバージョン出てきたよー」とのお知らせが来る。小さいから早速ダウンロードしてインストール。
Reaperたん再立ち上げ、6秒待ちして、PIAPRO Studio読み込み。
あらこちらもアップデートか、Reaperオフしたら自動的アップデート開始、Reaper再立ち上げ。
システムドライブはSSDなので、この一連の流れはスムース、数秒もかからずにレスポンスが軽くほとんど一瞬だった。StudioOneちゃん涙目。

7. PIAPRO STUDIOとご対面。初めてはマジカルミライの体験コーナーでしたが、とっさのことではあまり思い通りに扱えなかった。
そして先にインストールした周りの人からでも大して評価されてないけれど、インターフェイスではまぁ迷うってレベルではなく、さっそくVSQX読み込み。曲のBPMは80だった。

同時にReaper側でペイメント(フル)のMP3を読み込ませる。
音量を少々抑えて、BPMを80と設定してPIAPRO STUDIO側に合わせる。
それぞれ同期するかしないかのオプションはあるかどうかを確認。

9.Reaper側のプレイを押すと、PIAPRO Studioも同時に彼女に信号を送って、彼女が初めて私の目の前から歌いたす。

見えない紙切れ
パッケージの壁
呼びかける声は
秘密の味がする

覚えたてのワードで
喜ばせましょう
交わした視線に
期待が染み込んでく

円盤型の果実
日に日に増えては 目移りをしてる
生まれない卵を 人差し指で
カチ、カチ、と鳴らす

君の隣を空けておいてよ
それほど大きな荷物じゃないから
ねえいいでしょう?
「ほら、もう気付いて私を。」
かかとを上げる

箱のなかに待つ彼女の気持ち。
そしてマウスをいじるマスター。

新しい声を聞くとマスターは喜ぶのかな。
自分は期待されてるのかな。

譜面を書き込み、日に日に増えて、目移りする。
音符を人差し指で、カチカチと、譜面に下ろす。

この生活に、どうか私の居場所を作ってくれませんか。
そこまで大きな荷物じゃないから、ねえいいでしょう。

「ほら、もう気付いて私を。」

====
フルなので二番はまたまた続く。

耳に入る声は、まさしくカラオケボックスにいるみたいな感じで、オケが抑えて彼女の声が前に出してる。
けどもう涙がボロボロで、歌詞が体に染みこむ。

「生まれてくれでありがとう」という言葉がある。

マジカルミライで、皆さんが打ち上げの時タイミングを合わせて、「ミクさんお誕生日おめでとう」を大きな声で祝いました。
今まで出逢えることもない人が、一緒に彼女に祝福する。
考えもしない、ソニーの内部しか使わないというカメラに向かって「ミクさんに一番好きな所はなんですか」に対して「友たちが増えるよ」と言い出した。

そこだけ見ると意味不明だったが、なぜあの時それしか浮かびなかった。

心が寂しかった人は彼女と出会い、心の拠り所になり繋がりを得て、同志と出会う。
彼女も仲間を増やし、音楽を伝える役割を果たし続ける。
製品もグッズも、友たちも。ああ、いっぱい増えたなと。

最後に、クリプトンのWebページを開けて、製品登録ページにSNを打ち込む。
私のPayment、そしてそちらから託した思いが。そこで繋げました。
やはり曲を歌わせる機会は多くないけれど。これからもよろしくお願い致します。

ミクさん、ナレッジキャピタル再臨

ちょっと可能性的な話を。

xxxxxx

2015年8月、大阪ナレッジキャピタル。

機材を背負って訪れました。
前後左右上下六面で配置したカメラ、そしてほぼ同じ数のKinect2から分解した奥行きセンサーが装備、
背負って施設内で歩きまわる同時に、ストリートビューと3Dスキャンを同時で作成出来る新規のストリートビュー機材た。

元々人がそんなに多くはなかったので、女性スタッフの案内で、適当に上から始めました。
主はイベント範囲内でスキャンすることが予定でしたが、今後施設全体のARサイネージシステムも検討中ので、
イベント範囲外をちょっとだけ広める予定です。

後処理はほぼ必要ないので、歩いだ同時に蓄積、手持ちのAraスマホも施設内部のモデルが受信出来ました。
このスマホでも同等の作業ができるけれど、上下動き回るが必要で、手が疲れちゃう。
専用の機材で労力軽減する狙いです。

早速、4階を一遍回って作成しました。
今は起点のナレッジシアターの前に戻った所。
起点を示すiBeacomを設置し、周りを見渡す。

思えば、去年ここにミクさんの等身大看板ありましたよね。

image

ちょっとテストプログラムをはじめましょう。

手元のAraスマホを飾り、予想通りの結果を確認してすぐ収めるところ、女性スタッフが凄く興味深くこちらを眺めました。
多分背負った機材と変わったスマホのため、特殊な機材だと考えたでしょう。
長時間のAR使用のために、バッテリーを大きめにして、こつい外見となってただからでしょうね。

案内していたスタッフの私物スマホを頂いて、受信専用のスマホアプリを入って、体験テスト用のアカウントとパスワードを入れて返す。
作成した空間の情報がロードされ、画面ではカメラを通って見た型となり、周りに緑の光の点が浮かび始めました。
空中へ段々集い始めて、ミクさんの形になって、ゆっくり降りって来て、地面に立つ。
丁度前看板に立つ所でした。

image

「みっく」とちょっとVサインを出した所。

「ああああミクさんカワイイですね~」と、スタッフさんが思わず声を上げました。

ここまでは既存のマーカーレスARと大して変わらなかった。

無論新しいアルゴリズムの実装後が安定ですが、こういう使い方はまたまた真価が現れない。

と、ミクさんがドアへ向かって歩き出しました。

「お、ミクさんどこへ向かうでしょう」「ついていこう」

機材を背負ってスタッフさんと一緒にミクさんの後ろを付いて行く。

廊下に出た直後、ミクさんが歌い始めた。「パッケージ」だ。
すると、ミクさんの歌が、音符になって浮かんて、ミクさんの足跡とともに廊下に残していく。
スマホをかざすと、音符がスマホに吸い取れて、画面が光りました。

ミクさんの後ろに落とした「歌のカケラ」を集めて、一定数を集めると一曲が完成。
毎階に違う歌を歌うミクさんも、リンちゃんもレンくんも、ルカさんも居る。
ミクさんがどこまで歩いたのは時間とともに一定で、アカウントを作って、音符を集めたら、一定数超えるとぷちライブが開催になって、参加した皆さんも記念品が貰える、という予定らしい。

「まるで本当にミクさんと一緒に歩いているようですね!」
「歩いているのに、いっぱい寄せても綺麗に映る!」
「あ!こっちに向いて笑ってる!」
「写真も動画も取れる!」

喜んでくれる人がいれば、作る甲斐があった。
4階を一周して、ミクさんは出発点を戻って、付近の椅子で座りました。

寝ているようだ。

そしたら私達もミクさんを後にして、3階を回り始める。
これからミクさんを会いに来る皆さんのために頑張ろう。

———————————————————————

そんな感じです。いかがでしょうか。

空間の絶対位置が精密的測定出来ると、「ARのミクさんと一緒に自然に歩きまわる」とか、「デジタル空間でキャラクターが落としたものを集める」とか、が出来るようになります。

空間測定終わったら、バーチャル空間だけ存在する看板を出せることが出来て、キャンペーン情報が登載できるようになる。なので「共有のバーチャル空間」と「プライベートなバーチャル空間」も出来ていて、
前者がレンタルようになるの話も多分グーグル先生が狙ってるはず。

同時に、同じ空間データで、現場に居なかった人も「あ、知り合いがここにいる」とか、Oculus Riftで別所でバーチャル体験が出来ます。
他に、4階から3階を透視する、とかのやり方も出来ます。

ポケットに入るとか、カメラを遮断して途中で移動すると、カメラが使用可能する時点で同時にiBeacomから離れた距離を測定して、短時間で定位し直すことも可能、と以上の数点がDTAM実装したあとで可能になること。

———–
久しぶりにKinectFusionの発展からProject Tangoまでの進化を整理すると、いつの間にが完璧なARができるようになった。

http://www.youtube.com/watch?v=quGhaggn3cQ
kinectfusion、DTAMと同じ作者。全てはここから始まった。

http://www.youtube.com/watch?v=NsrmniEvO4s
Scalable KinectFusion
スキャンサイズは無制限にした。

http://research.microsoft.com/pubs/198579/fusionhd.pdf
Scalable Realtime-Volumetric Surface Reconstruction

ここで応用がわかってくる:
1. AR用の空間データ
2. 同じデータでロボット、アンドロイド用の空間認識
3. 文化保存、歴史遺産保存(VRツアーガイド)

http://www.youtube.com/watch?v=D3yYjaLmiqU
Kintinuous 2.0: Real-time large scale dense loop closure with volumetric fusion mapping

http://www.ri.cmu.edu/pub_files/2012/7/Whelan12rssw.pdf
Kintinuous: Spatially Extended KinectFusion

Kintinous 2.0、建物全体のスキャンする、CPUしか使わない。
Project Tangoのコアアルゴリズム。しかも軽い。
For all tests we ran our system on a standard desktop PC running 32-bit Ubuntu 10.10 Linux with an Intel Core i7-2600 3.4GHz CPU,
8GB DDR 1333MHz RAM and an nVidia GeForce GTX 560 Ti 2GB GPU.
え、CPUしか使わないの….

http://www.youtube.com/watch?v=9IRtihBOj3M
Matterport’s Camera Takes 3D Model Of TechCrunch HQ

Matterportの専用の高精度スキャンデバイス、高精度のため三脚を立て動く。
同じ会社もスマホ用のアプリをリリース済み。

http://matterport.com/matterport-and-google-atap-project-tango/

http://www.youtube.com/watch?v=9_GD7kUbogk
Google Project Tango: 3D Indoor Map by Matterport (No Sound)

実は同じプログラムをGoogleのProject Tangoのテストスマホで部屋をスキャン。
手が疲れるが欠点(そこなの)

ベースは明らかに上記のKintinous 2.0を元にしている。

http://www.youtube.com/watch?v=3BNOsxMZD14
Project Tango – real-time 3D reconstruction on mobile phone

奥行きセンサー、深度カメラがある場合は直接読み取れます。
カメラだけの場合はちょっと制限があると予想。部屋の3Dモデリングそのまま出来る。

http://www.youtube.com/watch?v=mnvQiJ5xQt4
Virtual Physical Reality – Kintinuous with the Oculus Rift

スキャン終わったらOculus Riftで遊べるぞー
なお、このトラッキングはOculusのセンサーを使っておらず、
Kinectで逆算している。

===
単眼カメラの成果はDTAM以降、高速化と簡潔化に向かう。

http://vision.in.tum.de/_media/spezial/bib/engel2013iccv.pdf
“Semi-Dense Visual Odometry for a Monocular Camera”

http://www.youtube.com/watch?v=LZChzEcLNzI

PTAMの特徴だけ読み取るより、全画素を記録して特徴を残すという方式。
結果は半端無く高速化と強固化。
Defocusの抗性は不明だが、そこまで拘る必要もない気がする。

http://vision.in.tum.de/research/lsdslam
http://www.youtube.com/watch?v=GnuQzP3gty4
LSD-SLAM

http://www.youtube.com/watch?v=X0hx2vxxTMg
http://vision.in.tum.de/_media/spezial/bib/schoeps14ismar.pdf
Semi-Dense Visual Odometry for AR on a Smartphone (ISMAR ‘14)
LSD-SLAMのスマホ実装、オープンソースのコードが貰える。
NEON SIMDで30Hzを達成、これは相当のロバスト性を見せました。
上記に2本は同じ所。

なお注意すべきのは、これらは全部、Kinect Fusion以降、業界オープンスタンダードのPoint Cloud、点群データを対応しているところ。

なので、点群既存のフォマットでダウンロードし、識別統合などが可能。