[分享] VocaListener paper 讀後心得

看板Vocaloid作者Artx1 (Eji.Warp)時間16年前 (2008/06/02 12:50)推噓4(4推 0噓 1→)

留言5則, 4人參與討論串1/7 (看更多)

(原文同時發在komica VOCALOID版。 http://bbs.orzhk.net/05/pixmicat.php?res=15116 一文兩po不可的話請通知，會刪除) ぼかりす真的是太兇惡XD 捨棄比對的公式不看，ぼかりす需要輸入的東西有兩個： 1. user唱出來的錄音軌 2. 原始歌詞只要有原始歌詞，他就會以子母音比對的方式抓出音節長短，然後和原始音高比對出音符高低，接著就是細部波形調教。有趣的事情是，它的重點在於多次調教的部分：ぼかりす的核心會以VSTi介面的方式和Vocaloid連接，把上面抓的參數輸出wav、同時和原始波形比較，有multi-pass的功能。調教出來的值會再輸回去比對、論文中會重複做到四次(似乎是最佳狀態)。在這個比對過程中，會把樋口老師在開發MikuMikuVoice的過程中遇到的不明衰減給補正掉。也就是說樋口老師本人一開始考慮的 "先輸無參數給 miku、對產生的DYN掃描之後抓出差值再反饋" 的做法，其實與ぼかりす實際的做法非常類似。 (只是ぼかりす因為有實作VSTi，這部分是完全自動； MMV如果不做VSTi的話，就得讓user自行操作了) 也就是說，幾趟下來，ミク唱出來的會幾乎與本來原唱輸進去的原始音軌一樣；如果換一個Vocaloid(如リン），也會因為上述的重複調教，而得到另外一個符合リン需求的新參數， user實際上不再需要碰觸到DYN和PIT、PBS等底層的參數調整。由於multi-pass的關係，也有另外一個實作順便做出來，就是音節合成的錯誤偵測。如果抓出來的長短錯誤，user只要"指出錯誤"，不需要修正，ぼかりす就會自動地把該段作參數比對和重新合成，反覆兩三次下來就可以把錯誤搞定.... 也就是說，user完全只要做"這邊聽起來不太對"這個動作即可，不再需要會底層的"職人技"，軟體引擎可以完全把這部分搞定.... 更大的意義是，這時候你面對Vocaloid，其實和面對一般歌手變得非常類似。最後最重要的，是歌唱能力補正功能。ぼかりす並不會需要神歌手才能唱給ミク當範本，本身有半音為單位的走音補正功能。(這部分與一般的DAW軟體內建的補正功能類似) 如果音唱不上去，直接降一個八度之類的唱法，ぼかりす也可以接受，並且改回指定的音域給ミク聽。甚至最後，還有透過歌唱聲音的音高變動，來抓出實際上user在歌唱能力的高低，並且加以補正，把音高軌跡給正確地平滑化，產生適切的參數給ミク。也就是說，如果user本來就是強者歌手，那麼唱出來的東西ぼかりす就會產生適切的參數給ミク看，然後透過連續幾次聽ミク唱得和你一不一樣.... 來把她調整到要求的狀況。如果你唱得並不好，ぼかりす也會透過先修正你資料的方式，校正出"應該的樣子"、再送給ミク學習。然後，歌唱力補正功能內，有一個特殊的功能，就是改變歌唱的類型，比方說抖音長短、明亮度等等，這部分稱為VocaListener-plus，從論文來看，算是產生參數的另一個外部控制介面。將這部份產生的參數加以資料庫化，就可以用來分類與整理"歌手的歌唱style"，進而得到"讓ミク學xxx唱歌"的效果。 ------ 也就是說，其實ぼかりす會是給ミク的一個新的耳機。它可以把ミク聽得懂的指令，從Vocaloid Editor的低階調教參數，變成較為抽象化的資訊。比方說 "我唱給妳聽，妳聽聽看之後跟著唱"、 "妳這邊應該的音應該是「噠噠、噠」，而不是「噠、噠噠」"、 "妳這邊應該唱得更激盪些，後面這邊應該唱得更柔和些"之類，很類似面對實際人類教唱時候的調教法。並且，程式所偵測的參數，同時也可以用來教育使用者，唱歌的時候可以朝哪個方向努力。不僅可以做歌聲研究的基本工具，幫助對歌聲的各種感情與性質作參數分類，以及適當歌唱技巧的學習；也可以做為歌聲合成的支援工具，讓上述學習到的技巧實際地做為調教Vocaloid參數的工具，讓Vocaloid唱出更像實際人類的歌聲。 (其實很多人應該都猜到了，VocaListener本來應該是個卡拉OK伴唱機評分介面的超級進化版) -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 123.204.3.179