（文章來源：機器之心）

英偉達近日一篇論文為語音識別技術(shù)在邊緣設(shè)備上的部署帶來了福音，其新提出的解碼器方法即使在邊緣嵌入式 GPU 上也能高效高速地執(zhí)行。而且這種方法不僅適用于低端硬件，而且也能為數(shù)據(jù)中心帶來顯著的效率提升，從而能夠識別更多并行的在線音頻流。該方法的早期版本已開源。

這篇論文提出了一種經(jīng)過優(yōu)化的加權(quán)式有限狀態(tài)變換器（WFST/ weighted finite-state transducer）解碼器，能夠使用圖像處理單元（GPU）實現(xiàn)對音頻數(shù)據(jù)的在線流處理和離線批處理。這種解碼器能高效利用內(nèi)存、輸入/輸出帶寬，并為最大化并行使用了一種全新的維特比（Viterbi）實現(xiàn)。內(nèi)存節(jié)省讓該解碼器能比之前處理更大的圖，同時還能支持更多數(shù)量的連續(xù)流。對 lattice 段進行 GPU 預(yù)處理能讓中間 lattice 結(jié)果在流推理期間返回給請求者。

總體而言，相比于單核 CPU 解碼，新提出的改進能實現(xiàn)高達 240 倍的提速，并且解碼速度也比當(dāng)前最佳的 GPU 解碼器快 40 倍，同時返回的結(jié)果表現(xiàn)相當(dāng)。從大型數(shù)據(jù)中心服務(wù)器到低功耗邊緣設(shè)備，該架構(gòu)可在各種層級的硬件上部署生產(chǎn)級模型。

深度學(xué)習(xí)研究推動了自動語音識別（ASR）技術(shù)的大發(fā)展，質(zhì)量的顯著提升讓這項技術(shù)在許多人機交互用例中得到了實際應(yīng)用，「流 ASR 即服務(wù)（streaming ASR as a service）」的需求也隨之水漲船高。通常來說，如要滿足這一需求，將需要在數(shù)據(jù)中心配置大量商用服務(wù)器。由于很多用例對時間延遲有很嚴(yán)格的要求，因此人們正在大力投入，意圖加快數(shù)據(jù)中心中模型的推理速度；當(dāng)然也有研究正致力于實現(xiàn)邊緣推理，包括在低功耗設(shè)備上實現(xiàn)推理。

在這項研究中，研究者提出了一種全新的加權(quán)式有限狀態(tài)變換器（WFST）實現(xiàn)，其可使用 GPU 和英偉達的 CUDA 編程語言為語音識別任務(wù)提供高速解碼。他們將該解碼器設(shè)計成可直接替代現(xiàn)有解碼器，而無需修改語言或聲學(xué)模型。其設(shè)計目標(biāo)是盡力實現(xiàn)最大的靈活性，能支持多路同時音頻流的在線識別和 lattice 生成。

研究者還嚴(yán)格限制了該解碼器的內(nèi)存使用，從而可確保 GPU 內(nèi)存能為大型語言模型和共同常駐的聲學(xué)模型留有足夠的空間。最后，從低功耗嵌入式 GPU 到單個服務(wù)器中運行的多個數(shù)據(jù)中心級 GPU，該算法都能有效地運行。

并行式 WFST 解碼器通常會遵照串行解碼器中的典型操作順序：對于聲學(xué)模型（AM）后驗的每一幀，該解碼器可基于幀值處理發(fā)射?。?a target="_blank">標(biāo)簽非零的?。偬幚砣魏畏前l(fā)射弧鏈，最后執(zhí)行剪枝。新提出的算法利用了兩個類型不同的異步 CUDA 流：一個負(fù)責(zé)執(zhí)行計算核，另一個負(fù)責(zé)執(zhí)行非阻塞的設(shè)備到主機（D2H）lattice token 內(nèi)存副本。使用第二個用于 D2H 副本的流，無需中止計算流程就能在在線編碼期間返回中間結(jié)果。

研究者消除了很多常見的面向 CPU 的優(yōu)化和限制，這種做法有時會妨害并行表現(xiàn)。具體來說，在擴展 token 時不測試新 token 是否唯一。將重復(fù)的 token 保留下來留待以后清理對正確性而言是足夠的：少量額外的工作能減少對同步和原子操作的依賴。在 GPU 上，解碼核的執(zhí)行速度很快，其性能受限于核啟動的延遲。通過調(diào)整解碼器的結(jié)構(gòu)，解碼器能并行處理多路音頻流，通過更長時間地運行這些核能夠掩蓋啟動延遲。

為了同時處理多路音頻流，研究者引入了兩種不同的機制：干道（channel）和小道（lane）。小道大致等同于神經(jīng)網(wǎng)絡(luò)中的批大小，代表了正被解碼的話語或流的集合。干道則能為有待繼續(xù)處理（由于缺少音頻或已計算后驗）的話語維持狀態(tài)。這種隨時準(zhǔn)備 GPU 工作的線程化解碼器負(fù)責(zé)將干道（因為它們已準(zhǔn)備就緒）多路復(fù)用到小道（因為它們可用）上。這種方案能根據(jù)模型和代表性數(shù)據(jù)與 GPU 的搭配而輕松地調(diào)整：增加小道的數(shù)量直到收益開始下降，并讓通道的數(shù)量匹配所測得的吞吐量/xRTF。