「Eji」的全部文章

Moresampler 0.6.2 & 0.6.3

ミクエキスポ→高田夜桜ミクライブ!のジャパンツアー終了して落ち着いてない間、Moresamplerが2点のリリースをもしました。

今後はしばらく開発に使える時間、及び実装したい技術のストックが少なくなり、しばらく休眠する予定ということでもあって、発覚した致命的バグを直して、しばらく放置するとのこと
です。

0.6.2元サイト記事
0.6.3元サイト記事

0.6.3ミラー

更新履歴:
0.6.3 (2016年4月18日)
* 問題修正: 音高が抑えたノートにMCフラグ使うときクラッシュする問題
* 問題修正: オーバーラップノートのノート、そのPropertyがない場合クラッシュする問題
* 問題修正: frqeditorの「周波数表を初期化」するコールが無効の問題

0.6.2 (2016年4月16日)
* 新機能: UTAUの「$direct=true」をサポート。原音をモジュレーションなしに直出力する。一部の呼吸音用素材に有用。なお、Moresamplerは選択した範囲の最終ノートが$direct=trueの場合レンダリングされない問題がある。
この問題はUTAUのresamplerとwavtoolとの通信インターフェイス設計の起因であり、解決出来ません。
* 新機能: “u”フラグ、上記問題の迂回策を提供する。u=”unmodified/untouched”(触らない、改変されない)。
* 新機能: Growlエフェクトとして新しく3つのMoresampler Extension Flagsを提供した。
MC: 粗雑感, 範囲は [0, 100], 実数
MG: グロウル, 範囲は [0, 100], 実数
MD: 歪み, 範囲は [0, 100], 実数
* 改良: 音高予測エラーが約1/10まで低減

=====

0.6.3 (Apr. 18, 2016)
* Bug fix: crashes when MC flag is applied on a note whose pitch is shifted down.
* Bug fix: crashes when “overlap” note property is negative.
* Bug fix: not responding to frqeditor’s “initialize frequency map” call.

0.6.2 (Apr. 16, 2016)
* New feature: support UTAU’s “$direct=true” note setting, which let the sample
bypass modifications, going directly to output. Useful for sound effects such
as breathing. Notice: Moresampler won’t render if the last note in the selected
region has “$direct=true”; this problem is unsolvable due to the design of
UTAU <-> resampler & wavtool interface.
* New feature: added ‘u’ flag, which has the same effect as “$direct=true” but
provides a workaround to the above problem. ‘u’ means ‘unmodified/untouched’.
* New feature: 3 Moresampler Extension Flags for growling-like effects were added.
MC: coarseness, range: [0, 100], real number
MG: growl, range: [0, 100], real number
MD: distortion, range: [0, 100], real number
* Improved feature: pitch estimation error rate has been reduced by ten folds.


Moresampler 0.6.1

ミラー

0.6.1 (2016年4月7日)

問題修正:R直前のノート時々短くされる(wavtool mode)
問題修正:プロジェクト全域フラグがノートフラグに正しくオーバーライドされる問題。
改良:mrqファイルフォーマット更新
設定可能新機能:
auto-update-llsm-mrq on/off
wavファイルの更新時間と比較して、関連llsmとmrqを自動的更新する機能。
もしwavファイルがllsmより新しい場合だと再分析を行う。
そして、もしwavファイルがmrqよりも新しい場合、再分析する前にピッチ予測をも行う。

Moresampler 0.6.0

原文リンク
ダウンロードミラー

このバージョンのハイライトは新しく導入した一連のフラグ群「Moresampler Extension Flags」となります。
これらは声色に対する調整において、及び多種多様の声色を作り出すには極めて有用だと考える。MEFsは既存UTAU flagと区別を付くためにMと始まった二文字で構成される:

Mt:引き締まりさ。値域[-100,100];デフォルト0
Mb:息成分の多さ。100にするとウィスキーボイスに。値域[-100,100];デフォルト0
Md:ドライさ。値域[-100,100];デフォルト0
Mo:口の開け具合。値域[-100,100];デフォルト0
ME:フォルマントを強調、もしくは抑える。値域[-100,100];デフォルト0
Mm:合成モデルの過渡。0.3.0以前で使用されたモデルとそれ以降で使用された最新のモデルの間で補間する。値域[-100,100];デフォルト100(新モデル)
Ms:安定性改善。原音に息成分が多く含まれる場合で出てしまうようなポップアップ声、クリック声、がみ声を改善する。値域は[0,10](整数), デフォルトは0。これは合成速度を遅くさせます。

ついてに、:eフラグはMeに変更されましたが、互換性維持のため:eは引き続き有効です。

もう一つの機能はオプションで追加された「analysis-f0-range-from-path」、この機能は原音に対する音域をフォルダー名で入力し、音高抽出精度をさらに高められる。

作者は現在Moresampler向けの詳細な入門講座を作成しており、あともうちょっとで完成できます。今後このリリースのさらなる情報は講座の方で。

0.6.0(2016年 3月 30日)

* 問題修正: 64bitバージョンでUACの警告が絶えずに出てしまう問題
* 問題修正: wavtoolモードで1番目のノートのタイミングがずれる問題
* 問題修正: “b”フラグ時々子音抑えない問題
* 問題修正:(確率が非常に低いが)場合によってResamplerがクラッシュする問題。
* 改良: 新しいノートがなく、もしくはプロジェクトが編集されない場合、Moresamplerは再合成しない(WAVTOOLモードで繋ぐだけ)
* 改良:もっと頑健なピッチ予測
* 改良:偏差音からの非周期成分抽出の改善
* 改良:息成分が多い音声における安定性
* 新機能: 8種類の Moresampler Extension Flag(略してMEF)を追加
Mt: 引き締まりさ, 値範囲: [-100, 100], 実数
Mb: 息の多さ, 値範囲: [-100, 100], 実数
Mo: 口開け具合, 値範囲: [-100, 100], 実数
Md: ドライな声, 値範囲: [-100, 100], 実数
ME: フォルマントを強調もしくは衰減, 値範囲: [-100, 100], 実数
Mm: 0.3.0以前の古いと0.3.0以降の新しいスピーチモデルを補間する, 値範囲: [0, 100], 実数, デフォルト: 100
Ms: 安定化, 値範囲: [0, 10], 整数
Me: 0.5.0のeフラグ、伸縮方式をループ無効化してストレッチへ強制するフラグを”Me”へ改名しました。
MEFについて詳細な情報はホームページの用例(英語)へご参照ください
* 新機能: Pフラグサポート、音量ノーマライズをサポート、値範囲は[0, 100]、
synthesis-utau-style-normalization が ‘full’ もしくは ‘voiced’ だけ有効、デフォルトは86、本家resampler互換です。
* 設定可能新機能:
analysis-f0-range-from-path on/off
フォルダー名から原音音域を判定する機能。
 例えばC_D4だとピッチは294Hz前後と推定する。

Moresampler 0.5.0リリース、空前の速さへ

何よりも速く….

公式ページ記事:
https://web.engr.illinois.edu/~khua5/index.php/2016/03/01/moresampler-0-5-0-release/

日本語リリース:
https://bowlroll.net/file/95904

最適化と新機能などにより、0.4.0はスキップされました。
1.0.0までようやく志半となりましたねー

このバージョンから、64bitリリースが含まれました。64bit OSの使用者はぜひご活用下さい。
改良の詳細は以下述べます。

1. コンパイラをGCCからMSVC(Microsoft’s C/C++ compiler)へ切り替えました
2. ファイル構造変更により読み書き性能改善
3. 頻繁にメモリー確保とリリースすることを回避出来ました。
4. LLSMをローディングするとき、必要な部分だけアクセスすることに変更する。
5. OpenMPによるマルチスレッドサポート
6. エネルギー信号プロパティの活用によりFFTサイズの削減
7. LLSMファイルサイズを300%程低減(品質ロストは気付かないレベルを保つ)

これらのにより、合成時では500%、分析では200%程性能がブーストされました。

なお,フィードバックにより以下のフラグを実装。*:大小文字差あり

eフラグ:moresamplerの伸縮方式をループより引き伸ばすに変更。同時に、Moresamplerは自動的引き伸ばすとループの間に選択しますが、上記と対となる、ループを強制する”:e”というフラグが使えます。

bフラグ:清音の息成分を強調、もしくは低減する。清音は声帯を使わず、息だけ使って発声することを指す。(*:無声子音、p, t, s, kなど)使用時は入力数を0.05に掛け算します。例えばb5=5*0.05*100% = 25%となります。そして”b-20″は子音の息成分を完全にカットオフします。

Aフラグ:有声音部を強調します。Aの後ろ付けられる数字、指定可能範囲は-100~100まで。なお、ピッチの高下に影響されるため、このフラグでビブラートにラウドネス曲線表現に掛けられるようになります。

以降、チェンジログ

0.5.0 (Mar. 1, 2016)

* Lots of optimization without compromising on quality.
Moresampler 0.5.0 runs 500% faster than 0.3.1; analysis also gets 200% faster.
Size of .llsm files is reduced to about the same as (or smaller than) the corresponding .wav file.
Memory consumption is also reduced (in wavtool mode).
* From now on, both 32-bit and 64-bit versions are released.
* Bug fix: potential spectral distortion when input pitch is lower than 100Hz.
* Bug fix: invalid memory access in wavtool mode.
* New feature: support ‘e’ and ‘:e’ flags, which are “force stretching” and “force looping” respectively. These flags have no parameter associated.
New feature: support ‘b’ flag, which amplifies or attenuates unvoiced consonants (e.g. /t/ /k/ /s/) by a factor of 0.05 times the number after b. Example: b20 amplifies the unvoiced consonant by 200%; b-20 completely removes the unvoiced consonant. Range: [-20, 100], real number
* New feature: support ‘A’ flag, which modulates the amplitude of voiced parts with regard to pitch change. The number after ‘A’ specifies the degree to which amplitude change correlates with pitch fluctuation. Can be used to enrich vibrato effects. Range: [-100, 100], real number
* New configuration & feature:

multithread-synthesis on/full/off

when turned on, the final synthesis stage in wavtool mode will run in multiple threads (which means faster). When set to “full”, resampler mode will also become multithreaded. This feature is inherently different from “multiprocess” which works by launching multiple instances of Moresampler at a time.

0.5.0(2016年 3月 1日)

  • 音質を犠牲すること無く多数の最適化を追加。
    Moresampler 0.5.0は0.3.1と比較して合成速度を500%高速化、分析速度を200%高速化
    LLSMファイルサイズを少々小さく、もしくは概ねwavファイルと同等の大きさになりますた。wavtoolモードのメモリー消耗も低減
  • このリリースからから32bitと64bitを添附
  • 問題修正:入力ピッチが100Hz以下の場合歪みが発生する可能性を修正
  • 問題修正:WAVTOOLモードの違法メモリーアクセス
  • 新機能:「e」と「:e」フラグのサポート。それぞれ「引き延ばす」と「ループ」を指定する。パラメータなし。
  • 新機能:Bフラグ 0.05刻みで無声音をモジュレーションする機能(/t/ /k/ /s/など)。例えばb20は200%強化する。(+100%)、b-20は子音成分完全に消します。調整範囲は[-20, 100]、自然数。
  • 新機能:Aフラグ、ピッチ調整に応じて有声音をモジュレーションする機能。Aの付加数字を指定することでビブラートを豊かにする事ができます。調整範囲[-100, 100]、自然数。
  • 設定可能新機能:

multithread-synthesis on/full/off:
有効化すると、WAVTOOLモードにおける最終合成段階はマルチスレッド化(高速化)する。FULLの場合Resamplerモードもマルチスレッド化。
機能はMoresamplerを多数走らせる「マルチプロセス(複数起動)」と本質的違います。

Moresampler 0.3.1

雪祭りの雪ミクさん可愛かった….

0.3.1が2/7でリリースしましたが、丁度雪ミク祭り被って(ry
https://web.engr.illinois.edu/~khua5/index.php/2016/02/07/moresampler-0-3-1-release/
メインページ、Wordpress起用して綺麗になった。

https://bowlroll.net/file/94150
再配布リンク

変更点として小さいが、割りと使用するときではよく違いがわかるのはマルチプロセスサポートです、frqeditorの連携が必要するため、ようやく並列化機能をサポートしました。プロセス数自体は上限が設けず、テストするとき16コアのサーバーで問題なく走れました。

もう一つは分析時の導入機能である「analysis-anti-distortion on/off」ですが、この機能は複数のライブラリーが直面した物理的限界、すなわち背景ノイズの大きさもしくは録音時の不適切な音量設定によって、発音自体潰されてしまった場合、ピッチをいじるときが発生した「荒い声」をある程度克服しました。(@amateurCatalystさんのご反映ありがとうございます。)この機能を有効する場合、Moresamplerはこれら不安定の音声を自動的調整する。

以降サンプル:

スペクトルの違いで理解できますが、上の方は「analysis-anti-distortion off」の場合で下の方は有効する場合、上では0~0.5秒の第4倍音がノイズに潰されてしまい、3.1秒も第三倍音が少々潰されました。下では全部直されました。

この機能を使用する場合、既存の.llsmを削除して、再生性させる必要があります。この機能によって、理論上発音が少々はっきりしなくなるが気づかれにくいだと考えております。良い環境で録音されるライブラリーに対して本機能をオフすることをオススメいたします。

=====

0.3.1 (Feb. 7, 2016)

  • Bug fix: loss of temporal details of aperiodic component in wavtool mode.
  • New feature: frqeditor support.
  • New feature: multi-process analysis and synthesis support.
  • New configuration & feature:

analysis-anti-distortion on/off

When turned on, Moresampler will automatically fix analysis inaccuracy caused by noise distortion or low volume (quantization error) which may result in “sharp”, “gross” voice after pitch shifting. However turning on this feature may (in theory) slightly blur the speech.

0.3.1 (2016年 2月 7日)

  • 問題修正:wavtoolにおける清音の時態ディテールがロストする問題を修正
  • 新機能:frqeditor サポート
  • 新機能:分析及び合成のマルチプロセス化サポート
  • 新設定可能項目:

analysis-anti-distortion on/off

有効するとき、Moresamplerはノイズによってディストーション、もしくは小さい音量(量子化誤差)が発生して、分析結果が不正確する問題、それらはピッチ変更するとき「けたたましい音」もしくは「不快な音」になる。が、この機能は(理論上)発音が少々悪化する(ハッキリせず)。

Moresampler 0.3.0リリース。

http://web.engr.illinois.edu/~khua5/moresampler/index.html
公式サイト:

https://bowlroll.net/file/93087/
再配布リンク

以下変更点(0.2.3含む)

Moresampler 0.3.0

0.3.0 (Jan. 29, 2016)

* A 50% rewrite of the whole project, including a major upgrade to the algorithm and a major upgrade to the internal data structure.*
* New feature: before creating .llsm files, Moresampler now first scans for desc.mrq whose function is similar to .frq file (i.e. it is a pitch table which can be manually edited by some tool). When desc.mrq is not detected or corresponding data entry is not found in an existing desc.mrq file, Moresampler will generate what is missing. The graphical editor for .mrq files is still under development.
* Improved feature: more formatted log file for diagnostics & debugging.

アルゴリズムの改良、及び内部データ構造の大幅変更によって、全体の約50%を書き直しました。*
新機能:LLSMファイルの生成する前、desc.mrqファイルをサーチして反映するようにしました。.mrq存在しない場合、Moresamplerは必要されるファイルを生成します。
.mrqファイルの内容は一種の周波数表で、機能自体はfrqファイルに近く、手動もしくはツールを使って編集可能です。編集可能のGUIツールは現在開発中です。
新機能:ログファイルの構造を改良して、より問題点を突き止めやすくなりました。

mrqに関する追記:
masao様(@namiyaome)のfrqeditorにmrq対応していただいた。(関連ツイート

0.2.3 (2016年 1月 4日) (not translated yet)
* Bug fix: crashes caused by memory overflow when frequency upperbound is greater than sampling rate.*
* Bug fix: incorrect interpolation at the boundary between voiced and unvoiced frames.

問題修正:周波数上限がサンプリング周波数を超える場合メモリーオーバフロー発生する問題を修正。*
問題修正:有声音と無声音のフレーム境界に内挿不良が発生する問題を修正

「選ばれし者だったのに!」

正直見方いろいろなのであえて言うと信者視角で。
Reddit で見かけた「YOU WERE THE CHOSEN ONE!」は割りと説得力ありそうです。


You were the chosen one! It was said that you would destroy the Sith, not join them! Bring balance to the Force, not leave it in darkness!
選ばれし者だったのに!シスを滅ぼすはずの者が、シスになるとは!
フォースに均衡をもたらすはずが、闇に堕ちるとは!

スターウォーズのシナリオは割りとかなり現状を説明し得るモノだと考えている。

つまり、「VR酔いによってVRの立ち上げが失敗する」ことを、
アミダラが死の運命にあるという予知夢と構図が重ねる。

「より良いVRを届けないとVRは立ち上げずに冷める
=嫁が死ぬ運命を避けることを求む」

「シスに力を求める=Facebookに力を求める」

*:ただ、大手による買収相手自体探してるのでFacebook以外は良いとは言いがたい、
少なくともGoogleによる買収は更に怪しい、Magic Leapとかぶるとどっちが切り捨てられる可能性もある。

「力=Oculusが求める高度化VRの実現」

「その実現によってハイエンド化してしまい価格が高めてしまう
=死の運命自体避けられない」

ということとなります。

色々同梱物を外して安くなるかという意見がありますが、そもそも色々高度化させてすでに高くなってしまったから同梱物を加えてなんとか安く見えるようにすることなので、
安くするのは本体の機能、つまりDK1~DK2以降の進化を切り捨てることが求められる。

DK2の頃のBOMは結局400ドル超えであり、赤字覚悟でDK2を販売している。350ドルの実現はすでにDK2時期ではありえないということです。
生産性を高め、ボリュームを拡大するとありうるという見方もありますけど。

DK1とDK2を順次体験したことがあればわかりますが、高度化のポジトラによる没入感はすさまじいであり、ポジトラという基礎の上でようやく両手コントローラの追従性を実現しえるモノだと。

結局、300ドル台のデバイスを保つには、「DK1の高解像度化で留めるべき」という見方となり、丁度これは現状出回ってるチャイナパクリVRHMDらのレベルである。

スマホの2Kパネルを採用したものの更新率は60Hzに留まり、
高フレームレートと黒挿入で残像感低減は実現せず、ポジトラも実装されない。

DK2で実現したレベル及び、VIVEとFOVEなど次世代を見据えるHMDを考えると、正直これはどうしても受け入れられないモノである。

あとは言うまでもないが、Google Cardboardとハコスコ、Oculusが送り出したGearVRとはこのレベルを大きく超えてる。

SamsungによるDK2のパーツ供給を受け(パネルはNote3の在庫パネルを直々流用によってコスト低減)、つまりSamsungによってモバイルVR機器の制作が求められる以上、PC依存のOculus Rift本体がより高いレベルへ踏み込めるのは自明のこと。Facebookではなく他の大手買収でこの方向性が変わるとは思えない。

PCがだいぶ普及しているところのPCゲーマーから見てもGPUへの投資が必要されますが、日本ならそもそもPCがない以上、PC向けVRを調達するコストは大して変わらない。
350ドルから599ドルという二倍になるということではなく、1500ドルが2000ドル台となったことなら、同価格帯でより良い性能を発揮するような作りが良いと考えさせる。

PSVRは比較的初期投資の効率が良いけれど、ハード差し替えによるアップグレードが不可能というのは既存コンソールビジネスモデルであり、この点はVRであっても変わってません。

まぁ、スカイウォーカー一族に振り回される運命が変わらないだったら最後まで見届けましょう。

May Force Be With You。

Moresampler 0.2.2

あけましておめでとうございます。

Moresampler 0.2.2は本日リリースしました。
バグ修正となります。*:libllsmに関する修正です。
本家サイト http://web.engr.illinois.edu/~khua5/moresampler/download.html
もしくは:https://bowlroll.net/file/90719 へご参照ください。

Bug fix: clips produced under resampler mode when output sampling rate is greater than analysis sampling rate.*

問題修正:Resamplerモードに於いて、入力音声より最終出力音声の方のサンプリングレートが高い場合、一部クリップ音が発生する問題を修正しました。*

本件について一部始終は以下のツイートから見られます。
https://twitter.com/TamuRyu0606/status/680640152650170368

ご協力ありがとうございました。

Moresampler 0.2.1

Moresampler 0.2.1は12/15にでリリースされました。
バグ修復のマイナーチェンジバージョンです。

後ろに*が付けたのはLLSMに関する変更点です:

0.2.1 (2015年 12月 15日)
* Bug fix: synthesis mode (under wavtool mode) not triggered for usts with lots
of trailing R notes.
* Bug fix: disproportional gain after pitch shifting.
* Bug fix: a minor bug in wav output.
* Bug fix: maximum noise frequency may be different among llsm files.
* Improved feature: higher time resolution for sinusoidal analysis.*

0.2.1 (2015年 12月 15日)
* 問題修復: USTの終わりに多数のRノートがある場合、合成モード (wavtool モード) が触発されない問題。
* 問題修復: ピーチシフト後のゲインが正確に合わない問題
* 問題修復: 稀に発生するwav 出力の問題
* 問題修復: 各LLSMファイルの間最大ノイズ周波数上限が不整合の問題
* 機能改良: 正弦分解の時間軸解像度を高めました。*

ダウンロードはオフィシャルサイト(http://web.engr.illinois.edu/~khua5/moresampler/)
もしくは https://bowlroll.net/file/89607 へご参照下さい。

ミクシコ

「メキシコは、都合4回ほどお邪魔させていただきました。

私達は、露払いというか、先遣斬り込み隊、ゲリラの体でしたが現地の濃いミク(ボカロ)ファン達と交流を行い、現在も親交が続いております。

前回の時の感触では大分その熱も落ち着いてきたのかなと感じましたので、このタイミングでの渡墨は、 ベストな感じがします。

なぜに、そこまでという位のファン達の熱さなのですが、本当に熱狂的なのです。嘘偽りはありません。

多分、今回は、近くの中南米のファン達も挙って来る筈なので、それは、それはお祭り騒ぎになるかと思います。

出来るだけ現地の知人を通し、非公式とはなりますが交流会が 開催が出来ればなと考えていますです。

メキシコ・シティは、遺跡や史跡も多く、市内を歩くだけでも良い観光になります。

勿論、テキーラ・メスカル博物館もありますので、お酒好きな方は、ぜひお立ち寄りください。」

https://twitter.com/masa3939/status/676356877576331264
https://twitter.com/masa3939/status/676357732094504960
https://twitter.com/masa3939/status/676358601582051328