音頻是許多物聯(lián)網(wǎng)應(yīng)用不可或缺的一部分,包括揚(yáng)聲器和耳機(jī)等消費(fèi)品、助聽器等可穿戴設(shè)備和醫(yī)療設(shè)備、自動化和工業(yè)控制應(yīng)用、娛樂系統(tǒng)和汽車信息娛樂單元等。
物聯(lián)網(wǎng)音頻大致可分為三類:流媒體(即音樂、語音和數(shù)據(jù))、語音識別/命令以及通過藍(lán)牙和 Wi-Fi 連接的無線(例如,通過 Wi-Fi 將多聲道音頻流式傳輸?shù)郊彝キh(huán)繞聲系統(tǒng))。然而,當(dāng)工程師必須遵守基于物聯(lián)網(wǎng)的設(shè)備所需的嚴(yán)格約束時,設(shè)計高質(zhì)量、不間斷的聲學(xué)音頻子系統(tǒng)可能是一項(xiàng)挑戰(zhàn)。
更復(fù)雜的設(shè)計是需要包括語音識別等高級功能,例如,允許駕駛員以與手機(jī)相同的免提輕松方式控制汽車中的信息娛樂系統(tǒng)。由于MCU是所有這些音頻系統(tǒng)的核心,因此選擇集成了設(shè)計可靠無噪聲音頻系統(tǒng)所需的必要音頻技術(shù)的MCU非常重要。本文探討了可用于設(shè)計此類系統(tǒng)的音頻技術(shù)。
音頻子系統(tǒng)的組件
物聯(lián)網(wǎng)音頻涉及三項(xiàng)主要活動:高質(zhì)量語音/數(shù)據(jù)、無線傳輸和語音組合控制。圖 1 顯示了嵌入式系統(tǒng)中最重要的構(gòu)建塊。
[圖1 |此框圖顯示了音頻處理子系統(tǒng)中更重要的構(gòu)建塊。
請注意,其中許多功能可以集成到現(xiàn)代MCU中,例如本例中使用的集成Wi-Fi 802.11n的賽普拉斯CYW43907。基于物聯(lián)網(wǎng)的系統(tǒng)可能包括的一些重要音頻技術(shù)是:
音樂應(yīng)用
支持音頻的MCU允許工程師解碼大多數(shù)流行媒體播放器和內(nèi)容提供商使用的MP3 / 4流。許多設(shè)計還需要支持WMA和Apple的AAC解碼,這需要更多的處理能力。在消費(fèi)類音頻應(yīng)用中通常可以使用低成本音頻MCU,通常是通過管理音頻配件(如數(shù)字揚(yáng)聲器組)中的數(shù)字音樂流。
在這些應(yīng)用中,一幀 PCM 音頻數(shù)據(jù)(封裝在 USB 音頻類格式中)每 1 ms 通過處理器的 SPI/I2C 串行通道之一到達(dá)一次。根據(jù)源的不同,音頻流可能以多種格式之一到達(dá)(即左對齊、右對齊、I2S 等)但是,某些低成本編解碼器只能接受特定格式。在這些情況下,MCU在確保數(shù)據(jù)在饋送到編解碼器之前正確對齊方面發(fā)揮著重要作用。
由于并非所有音頻源都使用相同的采樣率,因此編解碼器還必須根據(jù)源調(diào)整其采樣頻率,或者依靠MCU將采樣數(shù)據(jù)流轉(zhuǎn)換為通用數(shù)據(jù)速率(見圖2)。在這些情況下,MCU 必須管理流,以避免低于或超限的情況,否則會導(dǎo)致靜音、爆音和音頻不連續(xù),這些情況會隨著數(shù)據(jù)丟失而發(fā)生,并破壞用戶的收聽體驗(yàn)。請注意,音頻MCU還可用于實(shí)現(xiàn)音頻子系統(tǒng)的其他功能,例如在音頻播放期間控制照明。
[圖2 |音頻MCU可能需要執(zhí)行格式轉(zhuǎn)換、采樣率調(diào)整和流管理,并支持音頻用戶界面。
為了在廣泛的應(yīng)用中啟用音頻,音頻MCU需要支持各種音頻技術(shù)。
音頻編解碼器(enCOder/DECoder)
音頻編解碼器是音頻系統(tǒng)的主要前端組件。許多專為物聯(lián)網(wǎng)應(yīng)用而設(shè)計的MCU都支持硬件中的編解碼器功能。這使得系統(tǒng)能夠減小數(shù)字音頻樣本的大小,以加快無線傳輸速度(節(jié)省功耗)并節(jié)省存儲空間(減少內(nèi)部存儲器容量的壓力)。編解碼器可能支持各種音頻標(biāo)準(zhǔn)格式,例如 AAC、AC-3 和 ALAC。為此,它將需要一個解碼訪問單元(AU),該單元在任何音頻后處理(例如DSOLA,SOLA)之前實(shí)現(xiàn)。當(dāng)與 AAC、AC-3 和 ALAC 等標(biāo)準(zhǔn)音頻格式一起使用時,音頻的分類方式是,后續(xù)音頻樣本在音頻數(shù)據(jù)包數(shù)據(jù)流中指定的規(guī)定格式內(nèi)。數(shù)據(jù)包間隔也經(jīng)過管理,以允許最小的交叉抖動和在存在擁塞的情況下不間斷的操作。AU 有效載荷大小允許需要執(zhí)行的任何隱藏。
基帶處理
基帶信號是模擬或數(shù)字波形中可由電子電路處理的基本頻率組。基帶信號可以由單個頻率或一組頻率組成,或者在數(shù)字域中,可以由通過非多路復(fù)用通道發(fā)送的數(shù)據(jù)流組成。基帶定義為基帶(信號)與載波信號的混合,以產(chǎn)生調(diào)制信號。請注意,在支持物聯(lián)網(wǎng)音頻的MCU中,音頻編解碼器與基帶處理和RF集成在單個芯片上。音頻編解碼器可以在各種無線收發(fā)器中實(shí)現(xiàn),以提供語音數(shù)據(jù)和/或音樂功能。該編解碼器還具有用于音頻輸出的單聲道和立體聲通道,以及立體聲輸入。
丟包隱藏和數(shù)據(jù)復(fù)制
過快的延遲、數(shù)據(jù)包丟失和高延遲抖動都會損害通信質(zhì)量。突發(fā)數(shù)據(jù)包丟失的可能性隨著網(wǎng)絡(luò)加載而增加,并導(dǎo)致用戶可以聽到的中斷。通過 Wi-Fi 的強(qiáng)大音頻傳輸可以通過賽普拉斯的數(shù)據(jù)包丟失隱藏技術(shù)等高級功能得到增強(qiáng)。系統(tǒng)架構(gòu)源/接收器如下:一個源捕獲音頻,通過RTP流結(jié)構(gòu)復(fù)用PCM數(shù)據(jù),并將時鐘與連接到PLC源的所有接收器同步。
請注意,通信鏈路的性能取決于鏈路預(yù)算性能的質(zhì)量。該鏈路預(yù)算由三個因素決定:發(fā)射功率、發(fā)射天線增益和接收天線增益。例如,如果鏈路路徑的功率減去可用空間損失大于接收無線電的最小接收信號電平,則可以通過802.11網(wǎng)絡(luò)進(jìn)行可靠的通信。
語音清晰度增強(qiáng) (SIE)
音頻系統(tǒng)中的背景噪音會降低語音的清晰度。如果噪音超出一定水平,則語音可能會變得難以理解。嵌入式設(shè)備上實(shí)時連續(xù)語音識別的可用性要求系統(tǒng)能夠增強(qiáng)噪聲損壞語音的清晰度。選擇支持移植和優(yōu)化常用大詞匯連續(xù)語音識別(LVCSR)系統(tǒng)的MCU可以簡化開發(fā)。
喚醒短語檢測 (WUPD)
此高級功能使用戶能夠通過語音激活設(shè)備,以免提方式打開系統(tǒng)。
對一個或多個揚(yáng)聲器進(jìn)行高效多播
組播是一種網(wǎng)絡(luò)尋址方法,用于使用最有效的策略同時向一組目標(biāo)傳遞信息。消息僅通過網(wǎng)絡(luò)的每個鏈路傳遞一次,僅當(dāng)下一個鏈路拆分到多個目標(biāo)(通常在網(wǎng)絡(luò)交換機(jī)和路由器上)時才創(chuàng)建副本。但是,與用戶數(shù)據(jù)報協(xié)議 (UDP) 一樣,多播不保證消息流的傳遞,從而導(dǎo)致丟棄消息或消息傳遞順序不正確。可靠組播 (RMC) 為組播數(shù)據(jù)包(僅限數(shù)據(jù)包)提供確認(rèn),以便可以可靠地傳送某些特定的組播數(shù)據(jù)包。發(fā)射器選擇RSSI最弱的接收器來確認(rèn)幀。在物聯(lián)網(wǎng)環(huán)境中,實(shí)現(xiàn) RMC 意味著 Wi-Fi 發(fā)射器從眾多 Wi-Fi 接收器中選擇一個來確認(rèn)幀接收。發(fā)射器選擇RSSI最弱的接收器來確認(rèn)幀。該實(shí)現(xiàn)使用包含專有 RMC 信息元素的操作框架來通知和啟用確認(rèn)。該實(shí)現(xiàn)還包含特定于 RMC 的 Wi-Fi 驅(qū)動程序命令,用于設(shè)置組播 MAC 地址以及啟用和禁用 RMC。
對于傳輸延遲固定且對稱的音頻和視頻,滿足時間同步要求;例如,RMC 可以依靠高度精確的定時和同步來實(shí)現(xiàn)語音、視頻和移動數(shù)據(jù)的平穩(wěn)小區(qū)間傳輸。從技術(shù)角度來看,實(shí)現(xiàn)高度準(zhǔn)確和精確的時序并非易事,因此找到一種可以驗(yàn)證是否滿足應(yīng)用要求的實(shí)現(xiàn)非常重要。
成幀格式、前向糾錯和數(shù)據(jù)包復(fù)制
對于音頻流,時鐘與所有 Wi-Fi 接收器同步至關(guān)重要。一種方法是對源和接收器設(shè)備使用通用時鐘,通常稱為掛鐘或系統(tǒng)時鐘 (STC)。首先,每個接收器(接收器)將其STC(掛鐘)與源/發(fā)射器的STC(主掛鐘)同步。每個接收器現(xiàn)在可以恢復(fù)發(fā)射器的時鐘,因?yàn)樵床迦氲臅r間戳(在每個 RTP 數(shù)據(jù)包的擴(kuò)展標(biāo)頭中可用)反映了媒體相對于公共時鐘的采樣時刻。
STC 基于 802.1AS 規(guī)范中概述的 Grandmaster 時鐘值。由于所有接收器設(shè)備都知道 STC 與源設(shè)備的媒體時鐘(與 RTP 或媒體時間戳相關(guān))之間的相關(guān)性,因此每個接收器都可以重建源設(shè)備的 RTP 媒體時鐘的副本,并適當(dāng)?shù)嘏抨?duì)其輸出以正確呈現(xiàn)。透明時鐘是硬件/ucode 可以對接收和傳輸數(shù)據(jù)包的時間戳盡可能靠近 MAC/PHY 接口的時鐘。雖然此時鐘值不用于播放,但它可用于測量整個系統(tǒng)的抖動并進(jìn)行徹底的性能分析。
智能家居音響系統(tǒng)示例
要在上下文中理解物聯(lián)網(wǎng)音頻,請考慮智能家居的示例以及音頻在提高智能家居系統(tǒng)整體功能方面可以發(fā)揮的作用。當(dāng)家中的設(shè)備和電器可以相互通信以及居住在那里的人們時,家庭就變成了智能家居。通過增加我們的互聯(lián)性,智能家居正在改善我們的生活質(zhì)量,并提高我們的安全性。
智能家居中音頻的主要用例之一是通過Wi-Fi或藍(lán)牙存儲和共享音頻。通過BLE選擇的Wi-Fi因應(yīng)用程序而異,取決于范圍和音頻質(zhì)量要求。例如,如果門口有人按門鈴,而不是只在家里的一個地方鳴叫,家庭控制器可以在房子的每個房間播放特定的聲音。同樣,控制器可以將聲音限制在特定房間,例如不在嬰兒的托兒所。嵌入式控制器有助于處理此音頻,并通過管理各種輸出控制功能使系統(tǒng)更加智能。
重播音頻系統(tǒng)
重播音頻系統(tǒng)已成為音頻市場的重要應(yīng)用。無線音頻轉(zhuǎn)播系統(tǒng)是智能家居的核心,將家庭中的許多不同的智能設(shè)備匯集在一起,并代表用戶做出明智的決策。例如,音頻系統(tǒng)可以根據(jù)當(dāng)前播放的音樂控制房屋中的照明模式。它還可以使用文本到語音識別來大聲朗讀用戶通知或電子郵件。用戶還可以選擇使用可聯(lián)網(wǎng)的音頻設(shè)備(例如合并在房屋不同房間中的無線揚(yáng)聲器)在多房間音頻系統(tǒng)中創(chuàng)建區(qū)域。這種方法創(chuàng)建了一個完整的生態(tài)系統(tǒng),以確保房屋始終以最高效率運(yùn)行,同時最大限度地減少與居住在那里的人們的互動。為了創(chuàng)建這樣的生態(tài)系統(tǒng),物聯(lián)網(wǎng)設(shè)計人員需要選擇具有適當(dāng)性能和基于音頻的功能的嵌入式微控制器,這些功能已針對物聯(lián)網(wǎng)應(yīng)用進(jìn)行了優(yōu)化。
數(shù)字信號處理效果
在音頻數(shù)據(jù)通過無線鏈路傳輸之前,數(shù)字域中的音頻信號處理是任何音頻系統(tǒng)的重要組成部分。這種處理通常涉及測量、濾波和/或壓縮音頻模擬信號。集成了DSP功能的嵌入式MCU可實(shí)現(xiàn)添加數(shù)字混音器和支持遠(yuǎn)程控制功能等效果。每個通道上都有一個 5 頻段均衡器,音頻播放可以與大多數(shù)音序器應(yīng)用程序巧妙集成,形成一個強(qiáng)大的錄音室系統(tǒng)。
實(shí)時音頻流
Spotify和Pandora等音樂流媒體服務(wù)允許用戶選擇他們想要播放的歌曲。這些服務(wù)的理想使用使用戶能夠在家中流式傳輸音頻,并支持一些智能語音命令,例如選擇要添加到播放列表的歌曲。它們還可以使用智能家居音頻系統(tǒng)將實(shí)時互聯(lián)網(wǎng)流式傳輸?shù)郊彝サ牟煌块g。
音頻是許多物聯(lián)網(wǎng)系統(tǒng)的重要功能,需要高質(zhì)量的音頻來支持許多高級功能,例如流質(zhì)量音頻、語音識別/命令以及使用智能家居音頻系統(tǒng)通過無線鏈路(藍(lán)牙和 Wi-Fi)進(jìn)行音頻傳輸。借助合適的MCU和集成技術(shù),可以設(shè)計出可靠、無噪聲且經(jīng)濟(jì)高效的物聯(lián)網(wǎng)音頻系統(tǒng)。
審核編輯:郭婷
-
mcu
+關(guān)注
關(guān)注
146文章
17141瀏覽量
351091 -
物聯(lián)網(wǎng)
+關(guān)注
關(guān)注
2909文章
44602瀏覽量
373037 -
WIFI
+關(guān)注
關(guān)注
81文章
5297瀏覽量
203645
發(fā)布評論請先 登錄
相關(guān)推薦
評論