[ぼかりす]VocaListener相關筆記

http://www.nicovideo.jp/watch/sm3128145

【初音ミク】 PROLOGUE 【ぼかりす】

VocaListener: ユーザ歌唱を真似る歌声合成パラメータを自動推定するシステムの提案

中野倫靖,後藤真孝(産総研

http://www.ipsj.or.jp/sig/mus/SIG/sig200805cfp.html

第75回音楽情報科学研究会

http://staff.aist.go.jp/m.goto/index-j.html

後藤 真孝’s Home Page

音楽情報処理(音楽構造分析、音高推定、ビートトラッキング、セッションシステム)、音声インタフェース、マルチモーダルインタラクション、インタラクティブメディア、リアルタイム音響信号処理、コンピュータグラフィックス、ネットワークプロトコルなどに興味をもつ。

http://staff.aist.go.jp/m.goto/RWC-MDB/rwc-mdb-p-j.html

「RWC研究用音楽データベース: ポピュラー音楽」について

http://blogs.itmedia.co.jp/closebox/2008/04/post-75fd.html

謎のテクノロジー「ぼかりす」の衝撃

http://hisui02.blog.drecom.jp/archive/550

【技術】謎の新技術!?ぼかりす【革命?】

http://vocaloid.blog120.fc2.com/blog-entry-1089.html

出た!科学の限界を超えた新技術「VocaListener」による神調教ミク!

http://www.slis.tsukuba.ac.jp/~nakano/mirusinger/index-j.html

歌を「歌って/聴いて/描いて」見る歌唱力向上支援インタフェース

http://njb.virtualave.net/nmain0266.html#nmain20080430044705

>ぼかりす

 お知らせありがとうございました。本スレにお邪魔して「不気味の谷だ」「パンドラの箱が開いた」等、しばらく話し込んじゃいました。この『PROLOGUE』って曲は私もびっくりして、「ぼかりす」で検索したりしたんですが、正体不明でした。

 (推測が当たっているとして)まさか産総研が仕掛けていたとは。さすがパトレイバーを作るだけのことはあります。ネット使って覆面でパンドラの箱、というあたりは劇場版パトレイバーですか。でもってこの後藤真孝氏って、ひとつ前のログで三浦さんが紹介していたページの人だったり。

 すでに「こんなものはミクじゃない」「藤田咲そのものだ」という声が上がっているわけで、もしボカリスが普及したらいろいろ紛糾しそうです。

 (推定通りだったとして)あらためて思うのは、VOCALOID2エンジンの完成度の高さです。初音ミクと藤田咲の声はかなり違うけど、あの700メガのライブラリの中に藤田咲の声は確かに記録されていて、パラメータを鬼のように設定すれば引き出せることがわかったわけで。「声」の要素還元は VOCALOID2で実現していると言っていいんじゃないでしょうか。

http://d.hatena.ne.jp/grgr56/20080430

「ぼかりす」について今の時点でわかっている事

http://ztan.9.dtiblog.com/blog-entry-9.html

ぼかりす

http://miku-challenge.seesaa.net/article/95323285.html

ぼかりす=音楽著作権システムの「終わりの始まり」?

http://miku-challenge.seesaa.net/article/95128071.html

新手のティーザー広告?

でもその一方で、常にピッチが揺らいでいるような、逆にミクを普通に調教したのではありえない不思議な挙動もみてとれる。

要は、いろいろな意味で、「ものすごく人間っぽい」。

http://blogs.itmedia.co.jp/closebox/2008/05/2-8abb.html

すごいのは「ぼかりす」だけじゃない(その2):すべての曲を初音ミクが歌えたりして

「VocalFinder: 声質の類似度に基づく楽曲検索システム」

ボーカルの声質の類似度に基づく楽曲検索システムを開発した.本システムは,クエリとして与えられた楽曲と類似した声質を持つ楽曲を予め登録したデータベース中から検索する.本システムを実現するために,伴奏を含む音響信号中から伴奏音の影響を低減させ歌声の特性を表現する特徴ベクトルを抽出する手法と,相互情報量を用いて2つの特徴ベクトル列間の類似度を計算する手法を開発した.本システムを実装し,75曲をデータベースに登録し運用することで,システムが正しく動作することを確認した.さらに,被験者実験の結果,被験者の80%の回答が,従来のMFCCなどを用いた手法と比較して,提案手法によりボーカルの声質が類似した楽曲を検索出来ていると回答した.

http://akira-izumi.cocolog-nifty.com/patent/2008/05/post_e9ef.html

ぼかりす

いずれの特許出願も音高(PIT)を高精度に推定するというもので、課題が共通しています。

最初の特許を除く5件の特許は産業技術総合研究所とヤマハ株式会社の共同出願だったので、ちょっと驚いてしまいました。

http://cancoffee2.at.webry.info/200805/article_2.html

中野さん? 後藤さん?

私には目新しく感じないのは,やっぱり,中野さんの先の研究成果を知っているからだなぁ.

損したような得しているような.

いままでのツールが VSQ 出力に対応した,ということですね.

今度の音情研で発表されるそうです.

基になる技術は,もうかなり前から発表していたような… .

ただ,やはりこの人の場合は,各発表での差分がちゃんと大きくあるところがすごい.

今回も VSQ 出力をするにあたって,推定パラメータを増やしたり変更したり調整したりしたのだと思う.

—-

會先扔sample起來,應該是有打算炒熱話題….

反過來說,也可以說有足夠的自信了。

有人扔的comment也很有意思:

初めて声の不気味の谷を知った。すげえよこれ

基本上個人是覺得,只要能夠掃出對話的絕對音準的話,相對來說效果就會好非常多….

反過來說,由於原曲至少還是由歌手唱過,應該不可能讓”不會唱”的歌直接變得很會唱。

但是歌ってみた的強者這樣就會變得頗搶手了….XD

不過我想限制應該也不少才是。

首先它要做到很完善的語音to文字辨識應該不太容易,目的應該是辨識出各種不同的呼吸和發聲參數。

也就是說應該可以做到”歌手的特徵辨識”….只是利用這個資料來轉換為VOCALOID的調教輔助而已。

應該是現有的研究,然後被VOCALOID刺激到,覺得”還有這種應用”所以搭起來….

所以使用過程個人猜測如下:

1. 已知的歌詞與腳本

2. 歌手清唱,抓出各種音調特徵

3. 無調教的VOCALOID2手打

4. 把音調特徵套用到各個詞彙上

5. 反覆3~4步驟,找出斷字上可能的問題

非人聲軌的部分則幫助不大。

案例上比較適合的對比,個人認為是LipSync(對嘴工具)。對人來說不容易做的重複性工作,交給工具就迎刃而解。

總之是開罐器、而不是瑞士刀。XD

[EDIT]

六個專利有五個是YAMAHA共同持有、上面題的歌手特徵分析還有一個”VocalFinder”存在、另外有一篇論文可查….

http://fw8.bookpark.ne.jp/cm/ipsj/search.asp?from=&flag=6&keyword=IPSJ-MUS07071005&page=&mode=PDF

所以應該毫無疑問地會以YAMAHA VOCALOID相關產品的方式釋出。

神展開狀態….XD

[EDIT2]

犯行承認w

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料