音頻偏好始終被視為一項個人體驗。一個人認為好的東西對另外一個人可能并非如此。但隨著Apple iOS 16對Personalized Spatial Audio的支持,許多渠道上眾說紛紜,誤傳誤報層出不窮。本文將淺談一下空間音頻技術的現(xiàn)狀和特性。
人們對再現(xiàn)更佳音質的追求似乎永無止境。從Victrola的手搖留聲機到新的環(huán)繞立體聲技術,收聽者們一直在尋求用技術來改善傳遞到他們耳朵的聲音。隨著空間音頻技術的新應用,這種對改善音頻和收聽體驗的追求迎來了新的轉機,因為這項技術承諾提供比以往更身臨其境的聽覺體驗。
Apple Spatial Audio并不是唯一的空間音頻技術;Sony和Denon等公司在這項技術上也處于前排地位,并提供商業(yè)化產(chǎn)品。不過,本文僅討論空間音頻技術一般概念以及Apple的Personalized Spatial Audio。
音頻偏好始終被視為一項個人體驗。一個人認為好的東西對另外一個人可能并非如此。但隨著Apple iOS 16對Personalized Spatial Audio的支持,許多渠道上眾說紛紜,誤傳誤報層出不窮。本文將淺談一下空間音頻技術的現(xiàn)狀和特性。
01
頭部結構剖析
個性化音頻要考慮身體機能運轉背后的生理和物理因素;每個人都是獨二無二的。耳朵離頭部的距離、在頭部的位置以及耳朵本身的形狀和角度都會影響我們的聽覺體驗。對于Personalized Spatial Audio,Apple使用運行iOS 16系統(tǒng)的iPhone中的3D TrueDepth相機功能來三維掃描用戶的頭部。
iPhone進行三次掃描:頭部左側、頭部右側和正面臉部(不是一些人所說的內耳道)。生成專屬于個人的配置文件并存儲起來,以備播放引擎使用。人們擔心這些配置數(shù)據(jù)文件會被獲取并用于先進的面部識別系統(tǒng)。Apple表示,這些文件在設備上是安全且加密的,不會用于監(jiān)控和先進的面部識別應用。
TrueDepth掃描參數(shù)創(chuàng)建一個聲學模型,音頻渲染引擎使用該模型來優(yōu)化用戶耳朵接收的實時音頻流。
但是等等,好像還不止于此。
對于人類而言,當播放的聲音進入內耳時,內耳會產(chǎn)生共鳴,并用自己的聲音做出回應。這些聲音來自耳朵里的耳蝸,可被檢測和測量。這些交感聲音被稱為耳聲發(fā)射(OAE),在聽眾更敏感的頻率上,聲音明顯更大。許多耳機制造商在耳塞內安裝了靈敏的麥克風來檢測耳聲發(fā)射。頻率掃描讓Spatial Audio系統(tǒng)可以剖析用戶每只耳朵的聽力頻率響應圖。
該系統(tǒng)利用每只耳朵的頻率特征來量身調整音頻,通過補償用戶不太敏感的頻率來使用全頻譜。由此產(chǎn)生的動態(tài)調整均衡器利用耳塞發(fā)射器的特定角度來優(yōu)化不同頻率下的音頻和頻譜功率,呈現(xiàn)完整的音頻流頻率。
02
聲球
空間音頻感覺有點像環(huán)繞頭部的聲音泡泡。音軌呈現(xiàn)出一種新的特色,不是僅僅出現(xiàn)在左邊、右邊、前方中間和后方中間,因為它們是來自定向揚聲器的環(huán)繞聲。相反,聲音發(fā)射源好像是環(huán)繞在頭部,當您把頭靠近這些聲源的“音頻線”(類似于視線)時,聲音會變得更響、更亮。為了實現(xiàn)這一點,音軌必須是包含所有聲球聲源及其相對水平和距離數(shù)據(jù)的編碼音軌。
03
空間音頻的使用
空間音頻處理可用于戲劇音頻、電影音頻、游戲音頻以及健康和健身應用。可以說,目前非常流行的應用是游戲—尤其是虛擬現(xiàn)實(VR)游戲。
VR頭顯采用先進且高效的頭部跟蹤,以確保音頻和視頻同步。如果沒有快速準確的頭部跟蹤,VR會讓人很快感到惡心想吐;例如,當您轉頭時,若場景沒有實時跟蹤,大腦就會遇到問題。
因此,VR頭顯會錨定空間音頻引擎,所以當頭部轉動時,來自該方向的主要聲音來源就會發(fā)出超大的聲音。其他聲音也會隨著頭部的位置和轉動速度而改變位置。
但家庭影院空間音頻系統(tǒng)無法執(zhí)行這類錨定。例如,如果您坐在沙發(fā)上看電影,只要觀看中央屏幕,空間音頻就可能會提供一個合理的近似環(huán)繞聲。但是當您轉頭時,系統(tǒng)就很難讓側邊的聲音更加突出。機器視覺攝像頭和人工智能可能會幫助系統(tǒng)識別您的轉頭,但這項技術目前還不成熟。
一些聽戴式設備中使用的加速度計和陀螺儀可以執(zhí)行頭部跟蹤,但這并不是完美解決方案。因此,這種相對頭部跟蹤技術遠不如絕對頭部跟蹤技術那樣又快又準。
不論哪種情況,其中包括游戲,都需要快速的響應時間和低延遲,這樣當聽眾移動頭部時,其音頻線就做出正前方出現(xiàn)較高音頻源而兩側出現(xiàn)靜音或較低音頻源的響應。
家庭和劇院使用的可能解決方案就是讓每個人都戴上沉浸式VR頭顯(圖1)。這個方案只有在音頻引擎能夠同時為每個人提供量身定制的音頻流時才可行。但這是一個更加昂貴的解決方案,而且大大削弱了看電影的社交體驗。
04
其他問題、顧慮、技術和用途
盡管空間音頻是一種純粹的數(shù)字技術,但使用耳塞時也會遇到問題。音頻發(fā)射器較小會限制低音響應。這就是低音功放為何要使用更顯眼的揚聲器、低音炮和大型重低音喇叭的原因。
低音依賴于大量的空氣運動,因而較小的發(fā)射器不如較大的聲波發(fā)射器。相控陣已經(jīng)展示了讓較小發(fā)射器保持適當間距來增強頻譜中低頻的功率,從而再現(xiàn)低音的能力,但用耳塞很難實現(xiàn)這一點。
較大的耳機通常使用能提供更好低音響應的較大音頻發(fā)射器。但耳機需要不同的音頻處理來再現(xiàn)頻譜,尤其是環(huán)繞聲效果。耳機使用360度頭部相關傳輸函數(shù)(HRTF)濾波器。這些濾波器調節(jié)聲音的播放方式,所以耳朵反彈使它看起來在不同的位置和水平上感知到聲音。
無論如何,360度音頻技術在游戲、劇院、健康與保健之外都有許多潛在的應用和用途。白色噪音和粉色噪音機器已經(jīng)在幫助人們入睡、放松和減壓。未來的應用可能在空間音頻中增加生物識別傳感器,以記錄哪些頻率和模式有助于個人放松、降低血壓和入睡。跟蹤阿爾法腦電波可以關閉這個反饋回路,從而增強放松狀態(tài)。
這項技術還可以作為一種聽力輔助設備來幫助失聰或有聽覺障礙的人,盡管目前這還是一項沒有得到證實的用途。音樂家可以使用空間音頻來獲得理想的入耳混音效果。舞臺音量和場地混音總是不同。音響師可以調節(jié)場地混音,但空間音頻可以幫助表演者在舞臺上聽得更清楚。
目前,人們對空間音頻的評價褒貶不一;有些人喜歡,有些人不喜歡。這是一項每個人都必須自己嘗試后才能做出決定的技術。畢竟,許多用戶對眾多環(huán)繞聲系統(tǒng)昂貴的價格和復雜的設置并不滿意,更何況背景音有時會壓過對話音。
05
空間音頻的使用
空間音頻技術通過分析人體結構和生理特性,利用獨特的音頻配置文件,并結合先進的音頻渲染技術,提供更加個性化和身臨其境的聆聽體驗。這項技術的應用范圍涵蓋游戲、劇院、健康、健身等領域,其未來的影響可能會徹底改變我們體驗音頻的方式。
審核編輯:彭菁
-
立體聲
+關注
關注
1文章
184瀏覽量
35681 -
機器視覺
+關注
關注
161文章
4369瀏覽量
120277 -
音頻技術
+關注
關注
1文章
140瀏覽量
24646 -
頻譜
+關注
關注
7文章
882瀏覽量
45612
原文標題:音頻技術的卷王模式
文章出處:【微信號:貿澤電子,微信公眾號:貿澤電子】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
評論