提到AR/VR設(shè)備你會想到什么？賽博朋克風的畫面，還是虛擬與現(xiàn)實疊加帶來的科幻感？
當大家的目光仍聚焦于視覺交互層面時，業(yè)內(nèi)一場有關(guān)聽覺層面的變革已經(jīng)悄然興起。
國內(nèi)人機交互產(chǎn)品平臺公司Rokid近日發(fā)布了一組應(yīng)用于AR眼鏡的6DoF空間聲場技術(shù)Demo視頻。
不同于傳統(tǒng)雙聲道、立體音帶來的聽覺體驗，6DoF空間聲場技術(shù)可以在混合現(xiàn)實中模擬聲源與人耳之間因空間位置變化、有無遮擋物等帶來的聲音強弱與方向的變化，從而讓AR眼鏡為用戶帶來更具臨場感的聽覺體驗。
什么是6DoF空間聲場？
6DoF空間聲場其實是聲音在三維領(lǐng)域的體現(xiàn)。但這不是簡單的通過更多聲道讓聲音更有立體感，而是和視頻空間化同步的音頻空間化過程。因此包含了兩個必備要素——3D音頻和頭部運動的實時反饋。
首先看6DoF空間聲場的第一個必備要素——3D音頻。傳統(tǒng)的5.1聲道可以把聲音展現(xiàn)在一個水平面上，聲音定位因此具備前后、左右兩個維度，這被稱為2D音頻。當一個音頻同時還具有上下維度的時候，這個音頻就是3D音頻了。
圖：3D音頻圖示（圖源自網(wǎng)絡(luò)）
6DoF空間聲場的第二個必備要素——對頭部運動的實時反饋。在現(xiàn)實世界中，當我們的頭部發(fā)生轉(zhuǎn)動或位移，聲源本身的絕對位置不會改變，而聲源與頭部相對方向會產(chǎn)生變化。
舉一個例子：在你前方有把吉他正在彈奏音樂，如果你轉(zhuǎn)向右邊，音樂聲就會相對地變到你的左邊；如果你轉(zhuǎn)向左邊，音樂聲就會相對地變到你的右邊。因此，要在混合現(xiàn)實中實現(xiàn)更接近于現(xiàn)實中的聽覺體驗，就需要準確定位聲源與用戶頭部之間的空間位置，即實現(xiàn)對用戶頭部運動的實時追蹤。
6DoF空間聲場的實現(xiàn)需要軟硬件高度協(xié)同
要滿足6DoF空間聲場技術(shù)的兩個必要元素并非易事，在技術(shù)層面，這需要空間引擎（Space Engine）和音頻引擎（Audio Engine）高度融合，并充分利用硬件資源。
空間引擎的核心工作是虛實空間融合。引擎預(yù)先利用三維重建技術(shù)構(gòu)建地圖，建立虛擬世界坐標系，并增加虛擬物體，設(shè)置位姿、形狀、材質(zhì)等屬性。
運行時，通過處理傳感器數(shù)據(jù)得到觀察者（如佩戴AR眼鏡，觀察者就是人的頭部位置）的真實空間位姿和本地地圖，進而通過地圖匹配得到真實空間和虛擬空間的位姿變換，就可以把位姿統(tǒng)一在虛擬世界坐標系里。
根據(jù)不同的傳感器類型和數(shù)量，空間引擎可以獲得觀察者不同類型的自由度（Degrees of Freedom-DoF）信息，從而為音頻引擎提供必要的空間信息。
比如人頭的自由度分為：既有位移又有旋轉(zhuǎn)的6DoF、只有旋轉(zhuǎn)的3DoF、人頭不動的虛擬空間，那對應(yīng)的音頻也就可以分為6DoF空間聲場、3DoF空間聲場、環(huán)繞聲。因此，6DoF空間聲場技術(shù)就需要獲得更復(fù)雜的人頭自由度。
圖：6DoF自由度（圖源自網(wǎng)絡(luò)）
音頻引擎的核心工作是對音頻信號和 HRTFs（Head Related Tranfer Functions，頭相關(guān)傳遞函數(shù)，簡稱頭傳函數(shù)）做卷積，生成雙耳音頻。HRTFs是在水平角（azimuth）、俯仰角（elevation）和距離（distance）這三個度量維度做坐標采樣測量出的卷積核集合，其準確性是6DoF空間聲場呈現(xiàn)效果的主導(dǎo)因素。
但目前可商用的HRTFs數(shù)據(jù)庫能達到的精度還未完全與人耳的聽辨能力所媲美，更具挑戰(zhàn)的是每個人的人體工學(xué)參數(shù)和心理聲學(xué)系統(tǒng)都不同，甚至?xí)S著年齡增加而變化。
準確測量每個人的HRTFs參數(shù)顯然不現(xiàn)實，如何才能低成本地 成個性化HRTFs？已經(jīng)實現(xiàn)6DoF空間聲場技術(shù)落地的Rokid技術(shù)團隊給出了一個解決思路，即在考慮端上NPU/GPU等計算性能的情況下，結(jié)合深度學(xué)習(xí)技術(shù)，對更精細化的成分做出更精細的生成。
圖：XR設(shè)備應(yīng)用6DoF空間聲場需要軟硬件高度協(xié)同
此外，為了增加遮擋、反射、混響等效果，讓6DoF空間聲場更具真實感，還需要用到諸如幾何聲學(xué)（Geometric Acoutstics）的光線追蹤和波動聲學(xué)（Wave Acoustics）的球諧函數(shù)（Spherical Harmonics）分解等技術(shù)。這對設(shè)備的算力有著極高的要求，也會給設(shè)備帶來更大的功耗負荷，增加設(shè)備成本和安全風險。所以在實際應(yīng)用中，往往需要在球諧函數(shù)的階數(shù)、語音質(zhì)量以及空間精準度之間做相應(yīng)的妥協(xié)與平衡。
除了算法層面，6DoF空間聲場技術(shù)的應(yīng)用也要考慮設(shè)備的硬件形態(tài)。當前的很多音頻算法都是基于入耳式或頭戴式喇叭，但AR眼鏡作為未來用戶長期佩戴的可穿戴式設(shè)備，如果采用入耳式設(shè)計不僅會嚴重地損傷用戶聽力，更是違背了AR對物理和數(shù)字的融合使命，因此，在保持開放式喇叭設(shè)計的同時，如何保障6DoF空間聲場的呈現(xiàn)效果和安全性就成為了新的挑戰(zhàn)。
目前，Rokid技術(shù)團隊采取的辦法是，通過定向聲技術(shù)的研究與使用，來解決隱私性問題。同時，為了讓6DoF空間聲場的音效更豐富飽滿，通過音腔結(jié)構(gòu)的設(shè)計、聲音頻率的修復(fù)、根據(jù)人耳聽覺做聲音諧波及混響等方式增強音質(zhì)，減少音頻效果的損失，讓用戶真正感受到“聲臨其境”。
一場聲音革命，正在悄然興起
6DoF空間聲場技術(shù)在AR設(shè)備上的應(yīng)用落地，讓我們看到了聲音在混合現(xiàn)實中的廣闊應(yīng)用空間。通過6DoF空間聲場技術(shù)，AR眼鏡等設(shè)備可以擺脫視場角（FOV）限制，讓用戶通過聲音發(fā)現(xiàn)畫面之外的內(nèi)容，以此實現(xiàn)360度范圍的內(nèi)容呈現(xiàn)。
同時，除了視覺層面的交互，6DoF空間聲場技術(shù)的應(yīng)用讓聽覺也成為了新的交互維度。結(jié)合6DoF空間聲場，用戶可以在混合現(xiàn)實中快速準確定位發(fā)聲物體的方向，清晰區(qū)分接收到的聲音信息，感受聲音距離和位置的變化……這將讓用戶在混合現(xiàn)實中獲得更加接近現(xiàn)實世界的體驗，從而進一步降低混合現(xiàn)實中數(shù)字世界和現(xiàn)實世界的割裂感。
6DoF空間聲場帶來的全新聽覺體驗正在沖擊統(tǒng)領(lǐng)了大半個世紀的傳統(tǒng)立體聲音，但任何一項新技術(shù)的應(yīng)用和普及都絕非只靠某一團隊、某一公司之力，這需要不斷降低準入門檻，吸引更多行業(yè)力量的加入。
如Rokid就表示將把6DoF空間聲場集成到全新升級版的YodaOS-XR操作系統(tǒng)中，作為YodaOS-XR操作系統(tǒng)的基礎(chǔ)能力供行業(yè)開發(fā)者們進行調(diào)用。同時，Rokid還計劃推進更多應(yīng)用于AR眼鏡的特殊音效的開發(fā)，如環(huán)繞與微重低音的高保真音效等，以高效易用的SDK讓開發(fā)者真正實現(xiàn)即拿即用。
有消息稱，Rokid全新升級的YodaOS-XR操作系統(tǒng)或?qū)⒂诮衲晗掳肽陮ν獍l(fā)布，包含諸多自然交互引擎、友好的UI界面、原生XR應(yīng)用以及應(yīng)用開發(fā)框架等。屆時開發(fā)者們能夠?qū)Ｗ⒂诰穬?nèi)容的打磨，開發(fā)出各類富有想象力的應(yīng)用和內(nèi)容，比如XR游戲、XR會議、XR社交、XR影院等，和廣大用戶攜手進入真正的AR世界。
XR時代的終極目標是虛擬世界和物理世界的完美融合，這種融合主要是對人類與外界進行信息交換的一些方式，如觸覺、聽覺、視覺、嗅覺、味覺等進行模擬和增強。
6DoF空間聲場等技術(shù)的應(yīng)用拓寬了XR設(shè)備的想象邊界，也悄然掀起了一場感知交互革命。我們或許可以預(yù)見，在視覺和聽覺之后，觸覺、嗅覺、味覺等“感官體驗”也將在XR時代被重新定義。
