聲音的未來,Spatial Audio for 360

2

圖文/游士昕 Ted Yu、技術支援/高勤倫 Vince Kao

  在數位媒材使用上,影像的未來,其實在現階段的進步下早已看的出些許端倪,像是更高解析、更真實的色彩還原、3D 投射的景深模擬更實際的現場還原(VR)等投射技術。那同樣的問題如果問你,你所認為在數位媒體上聲音的未來,你認為是什麼?

  我會回答是 Spatial Audio 3D。 

  Spatial Audio 3D 的製作上,雖然現今在全球這知識依舊算是冷門中的冷門,但其實方法不難,還是有方式可以嘗試的。Balanced Audio Lab 平衡音訊的工作夥伴 Vince (可以詳見之前他寫的文章:Designing Sound(一)Foley Sources  音效設計師的利器,使用超強搜尋引擎 Soundly)而他,正不斷的在嘗試與鑽研 Spatial Audio 3D 的技術研究!今天我們就來聊聊,何謂 Spatial Audio 與何謂聲音在未來數位媒材上的未來。

(以下所有影片因為支援性問題,iOS 在現期還無法支援,請使用電腦 Google Chrome 並搭配 較好的喇叭播放系統,才更能夠瞭解本文所指示的聽覺差異。) 

  發現了嗎?

  當你移動的同時,所有的聲音都連帶著跟著移動! 

  幾個月前 FB 購買下 360 影片製作公司後至今的時間(當時還特別寫了篇罵 FB 360 影片的聲音文章,請閱讀:如果這是大眾對於音樂的現實看法與未來,身為音樂人該如何面對處置? ),無論是臉書網路上與 Youtube 皆出現了許多可以搭配滑鼠滑動的 360 度影片(當配戴 VR 眼鏡時可自行旋轉位置查看。)這証明了臉書再一次的引領了影像媒體的趨勢。

  但不知音樂人的大家有沒有發現一個很重要的重點:這些影片的聲音仍舊都只是 Stereo 雙聲道,因此無論如何翻轉影片,聲音永遠都是同一個配置。

  像是下面這支示範舉例影片。

  在影片當中,整首音樂並不會隨著影像的改變位置而變化,也許你會提到,這是歌曲 MV,並不需要真實能夠移動的聲音。

  那我們來看看這支由 Melbourne Symphony Orchestra 所演出的 360 影片,抱歉無法直接放置 Facebook影片的關係:https://www.facebook.com/artscentremelbourne/videos/1187486027982828/

2029

  請想像一下,若是所有聲音訊號可以製成 Spatial Sound,這會是多震撼的現場還原技術呢?這不就是數位媒材未來的趨勢嗎?現場還原與模擬。 


  回到我們最一開始的影片,當正中間的風琴手為影片正中心時,此時因聲訊位於正中間,因此喇叭的出聲為該設置的正中央。

未命名-1-02

  此時隨著觀看者的轉換方位,風琴手跑到了影像的左側,因此演算法會自動將風琴聲也轉動到左聲道(或者是環繞聲道的其它喇叭)

未命名-1-02-03

  原先只會出現在正中間的聲音,隨著你移轉畫面的同時,聲音也會跑到左側!達到更深刻的現場還原與模擬!

3d_300x287

  這概念也與我 Music Technology 研究所同學所研發的動態聲訊操作技術有異曲同工之妙,差異在於我同學是透過攝影機來捕捉 Real time 的聲音差異,而 Spatial Audio 是將已處理完的聲音訊號搭配演算法來重新還原。

  同樣的技術在 Unity 遊戲運算引擎在製作遊戲聲效上也可以很簡單的做到相似效果。

  但 Unity 在製作上是使物體或插件做喇叭定位上的追蹤,但 Spatial Audio 3D 的聲音是隨著人物本身的移動做追蹤,概念與文字上的意思很像,但仍舊是不太一樣的發展方向,但的確都為聲音的音場重現有著很大的幫忙。

surround-audio-listeners-setup

  觀看 Spacial Audio 3D in Unity 的製作影片。

  這類的製作扣除掉基本你一定要有的硬體設備,基本上沒有標準的環繞喇叭與能夠製作環繞的 DAW 都別想了。

  製作流程其實沒外界想像中複雜。

  當在一般 DAW 的收音與音效設計處理過後(附註:這些 DAW 是最少需要能夠處理 Surround 等級的 DAW,像是 Pro Tools HD 或 Cubase 等等。),在 DAW 裡開啟由 360 公司所研發的 360 Plugins 做運算定位,並輸出成 Surround 的聲訊檔後,再獨立交由 Facebook 公司所收購的 Spatial Workstation 來進行 B-Format 4 Channel 或 8 Channel 運算處理,最終再搭配 360 影片來做 Ambisonics 的串接還原。

TVT_201512-WEB_2of2-48

  個人認為在製作層面上最大的問題是相位問題。(點我閱讀舊文章:是聲音的助力或阻力?淺談 Phase 相位 )因為在一個 Stereo 製作上,原先處置好所有的聲音問題,但當移轉畫面的同時,每一個獨立音軌的聲訊產生了位移狀況,因此連帶產生了相位問題。

  還是不懂意思,也還是不清楚這有多大威力嗎?來看看一個極佳的影片音效設計,使用 Spatial Audio 3D 技術的重現,它的效力有多誇張。

  看看這樣看木吉他演出 360 影片表演,是不是很有在現場的感覺呢?

  火箭登陸!

  連續看了這麼多個有關 Spatial Audio 3D 的影片,應該至少都能夠感受到這篇文章的意思吧?

  這個科技的聲音顯示,其實在聲音領域來說還是算冷門與新穎。不過以製作商來說技術與硬體絕對都不是什麼太大問題,但真正要落實,還是與 VR 虛擬實境現今遇到最大的問題一樣,客戶端的跟上,仍舊是需要突破的難關。

  但如果你問我,在 Technology 日新月異的環境下,Music 究竟未來在哪裡?

  我會回答你、Balanced Audio Lab 平衡音訊實驗室會回答你,這就是未來。



BAL2-02

<重要公告> 

  你喜歡平衡音訊實驗室的繁體中文介紹文章嗎? 

  現在你可以直接擁有更詳細更具系統化的書輯整理,藉此來表示你對平衡音訊實驗室的支持!「催生音樂:混音工程與製作 The Audio Mixing and Production

  混音,在聲音工程中不被世人注意,卻肩負著聲音作品成敗的重責大任。混音師,安於寂寞伴隨,用聲音編織著一段又一段動人故事的魔術師!

<點我連結博客來購買網址> 

book

延伸閱讀: 

以更科技的方式進行麥克風收音!Arapolarmic! 

音樂就是科技!五種未來樂器! 

聲音科技!使用低音頻率來滅火! 

Music Technology音樂科技是什麼? 

如果這是大眾對於音樂的現實看法與未來,身為音樂人該如何面對處置? 


此內容文章為Ted個人的經驗與長時間閱讀相關書籍綜合結果之撰寫,此部落格之用意是在於分享與推廣聲音工程的重要性與宣傳些屬於聲音的基本概念;歡迎來信指教或者幫忙轉貼宣傳與私訊相聊相關資訊以供教學助長!

 

 

    全站熱搜

    游士昕Ted Yu 發表在 痞客邦 留言(0) 人氣()