紫光展銳新一代系統級安全的高性能5G移動平臺T820,采用八核CPU架構,6nm EUV先進工藝,金融級全內置安全方案,在性能、功耗與5G通信體驗等方面,較上一代產品更為出色。
此前,已經為大家講解過T820的拍照、AI、安全性能(文末查看往期T820相關文章)。今天,小展將帶你一同探索T820的音頻性能。
聲音是人類感知與交互的重要組成部分,音頻應用早已覆蓋了人們生活的方方面面,紫光展銳T820從用戶角度出發,在語音通話、語音交互、音頻播放與錄制等維度進行技術創新,帶來了全面的體驗升級!
自研通話AI降噪,讓彼此交流“更清晰”
從手機通話到直播、游戲和音視頻會議,用戶通話的需求越來越多,場景變的越來越復雜,對更清晰的語音訴求越來越強烈。復雜的使用場景對通話降噪算法提出了更大的挑戰,傳統的通話降噪算法在一些復雜噪聲場景下,如鳴笛和風噪,很容易出現語音失真嚴重和降噪量不足的問題。如何讓用戶在各種復雜場景下,仍然能夠不受周圍環境噪聲的干擾,聽到“更清晰”的語音,成為用戶最為緊迫的訴求。AI技術是解決這一訴求的不二之選,不過AI降噪面臨以下技術難點:
通過運用重要性剪枝、基于聽覺特性的特征裁剪和損失融合技術,紫光展銳AI降噪技術成功解決了以上難點。目前AI降噪已應用在T820 5G芯片上,支持蜂窩通信、直播、游戲、音視頻會議等各種通話應用場景。T820能夠在平穩、非平穩等各種噪聲場景下實現優異的噪聲抑制效果,獲取更加清晰的語音。圖1為平穩噪聲場景處理前后的語音頻譜對比圖。圖2為非平穩噪聲場景處理前后的語音頻譜對比圖。可以看出,無論在何種場景下,紫光展銳AI降噪技術,均能在保證噪聲抑制干凈的前提下,做到非常完整的語音保留,從而為用戶提供 “更清晰”的交流空間。
圖1.平穩噪聲場景AI降噪處理前后的語音頻譜對比圖
圖2.非平穩噪聲場景AI降噪處理前后的語音頻譜對比圖
視聽一體化錄制技術,讓生活記錄“更真實”
隨著Vlog等生活方式的流行,人人都可以用智能手機來記錄生活,這也對錄制技術有了更高的要求。手機音頻錄制功能也得到越來越多的關注,近年來該功能常作為產品主推的技術亮點之一。視頻錄制的效果很大程度得益于真實、清晰的音頻錄制,現在的智能手機拍攝畫面的質量越來越高,能拍得更遠更清晰。但在許多場景下,想要錄制清晰的聲音并不簡單。當沒有與高質量畫面匹配的高質量音頻時,再好的視頻內容也總是不完美的。
圖3.視聽一體化錄制技術示意圖
紫光展銳視聽一體化錄制技術,在錄制視頻時凸顯畫面中的目標聲音,針對性衰減目標之外的干擾,同時結合視頻畫面信息對錄音進行控制,增加音頻與畫面的匹配度。
圖4.非目標方向干擾抑制性能展示
當前市場上,大部分廠商具備類似差異化功能產品均采用三麥方案,而大部分智能手機均采用雙麥方案。紫光展銳視聽一體化錄制技術支持雙麥陣列方案,在保證性能情況下,極大地減小了技術的應用成本。在保證目標聲音無失真、底噪無明顯放大的情況下,最大可放大目標聲音12dB以上,最大噪聲抑制量可達到6dB左右。如圖4,除目標方向90°無衰減外,其余方向均有相應干擾抑制。在突顯目標聲音能力和噪聲抑制能力兩項關鍵性能上,均能達到市場上競品三麥方案水平,甚至優于部分廠商三麥方案。
紫光展銳視聽一體化錄制技術將以優秀的性能,助力各種視頻錄制場景,給用戶帶來“更真實”的音視頻錄制體驗。
智能功放解決方案,讓音頻播放 “更動聽”
在播放音視頻和游戲娛樂等場景中,手機揚聲器發出的聲音是否動聽極大影響用戶的使用體驗。但隨著手機越來越輕薄,能夠給到揚聲器的空間極為有限,使得揚聲器更容易受到振幅、溫度的影響。如果揚聲器的振膜位移或音圈溫度超過安全大小均會導致永久損壞。在保護揚聲器安全的前提下,使揚聲器播放出音質更好、音量更大的聲音,是業界技術發展的共同目標。
紫光展銳的智能功放ISC(Intelligent Speaker Control)技術,能夠建立準確的揚聲器模型,通過控制電壓來控制振膜和溫度,使揚聲器物盡其用,發揮出最大的性能潛力。目前ISC技術支持前饋及反饋兩種方案,滿足不同客戶的需求。前饋方案無需增加硬件,以較低成本獲得最優性能,使智能功放成為普惠技術。而反饋方案增加了電壓電流(I/V)的監測通路,能夠實時獲得揚聲器的工作狀態,發揮每個單體揚聲器的性能可以獲得比前饋方案更優的性能。
圖5.智能功放ISC
圖6為錄制得到的揚聲器播放的聲音信號,可以看到,與無ISC算法處理相比,ISC算法處理后聲音大小顯著提高,聲壓級提升5~8dB,低頻提升6-10dB。
圖6.ISC處理效果--聲壓
除核心的揚聲器控制及保護技術外,ISC技術還支持包括音量增強、頻響精細調整、動態范圍控制、低音增強等功能。頻響精細調整功能能夠根據客戶的需求,得到更均衡的頻響。低音增強技術利用心理聲學虛擬音調原理,生成低頻的諧波即“虛擬低音”,改善小型揚聲器低頻音質,使用戶感知到更具沖擊力的低頻效果。
紫光展銳的智能功放ISC(intelligent Speaker Control)技術能夠發揮揚聲器的性能,用戶無論在聽音樂還是打游戲時,均能聽到更悅耳的聲音,獲取更佳的聽音體驗。
專用低功耗語音喚醒IC,讓終端交互“更智能”
語音助手如今已是智能終端的標配,語音喚醒作為語音交互的門戶,從某種程度上來說,其綜合性能的好壞,決定了用戶使用語音助手的意愿,同時也成為了終端實現智能化的瓶頸。
語音喚醒主要面臨以下技術難點:
-
24小時不間斷運行(always on),要求具有極致的低功耗;
-
嚴苛的高喚醒率、低誤喚醒率要求,確保使用語音助手的用戶體驗;
-
較低的計算和內存開銷,要求滿足實時性和低成本。
傳統的語音喚醒方案,通過集成智能麥克風或專用的語音喚醒芯片來解決低功耗問題。但這種多芯片堆疊的方式無疑大幅增加了產品成本,影響了特性在中低端市場的下沉。展銳5G芯片T820集成了專用低功耗語音喚醒IC,僅需要一顆芯片,就能支持完整的喚醒功能,不僅有效解決了性能和功耗之間的矛盾,還降低了下游廠商的方案成本,加速了產品“智能化”的普及。
圖7.T820語音喚醒方案
除以上專用IC之外,展銳在算法層面還提供從輕量級到常規級的喚醒與識別算法,形成一整套完整的軟硬件一體化解決方案,算法、芯片定制化技術,讓資源開銷更為合理,綜合性能實現安靜環境95%、嘈雜環境90%以上的喚醒率,同時誤喚醒率小于1次/24小時,為終端語音交互智能化體驗保駕護航。
紫光展銳將持續打造業界領先的軟硬件一體化音頻技術,為消費者帶來極致的影音體驗!
?
End
?
往期推薦
1. 紫光展銳發布系統級安全的高性能5G SoC移動平臺T820
2. 紫光展銳5G芯片T820,給你滿滿的安全感!
3. 紫光展銳5G芯片T820—AI釋放大能量
4. 紫光展銳T820,拍照質量和性能雙提升
-
紫光展銳
+關注
關注
15文章
864瀏覽量
40588
原文標題:聲音的新科技 | 拆解紫光展銳5G芯T820的音頻技術
文章出處:【微信號:gh_2c8fa897d02f,微信公眾號:紫光展銳UNISOC】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論