近日，國(guó)際性語(yǔ)音及語(yǔ)言科學(xué)技術(shù)領(lǐng)域盛會(huì)INTERSPEECH 2023在愛(ài)爾蘭都柏林舉行。云知聲聯(lián)合上海師范大學(xué)發(fā)表的4篇論文被大會(huì)成功收錄，成果覆蓋語(yǔ)言增強(qiáng)、語(yǔ)音識(shí)別、防攻擊聲紋等研究方向。這是繼ACM MM 2023后，云知聲AGI技術(shù)實(shí)力在2023年再次獲得國(guó)際頂會(huì)認(rèn)可。

INTERSPEECH在國(guó)際上享有極高盛譽(yù)并具有廣泛的學(xué)術(shù)影響力，是由國(guó)際語(yǔ)音通訊協(xié)會(huì)（ISCA）創(chuàng)辦的旗艦級(jí)國(guó)際會(huì)議，是國(guó)際性語(yǔ)音及語(yǔ)言科學(xué)技術(shù)領(lǐng)域的頂級(jí)會(huì)議之一，對(duì)參會(huì)企業(yè)和單位有著嚴(yán)苛的準(zhǔn)入門(mén)檻，歷屆INTERSPEECH會(huì)議都倍受全球各地語(yǔ)音研究領(lǐng)域人士的廣泛關(guān)注。

此次獲得國(guó)際頂會(huì)認(rèn)可，既是云知聲與上海師范大學(xué)通力合作、持續(xù)探索智能語(yǔ)音技術(shù)的結(jié)果，也離不開(kāi)云知聲AGI技術(shù)架構(gòu)的有力支撐。

云知聲：通過(guò)通用人工智能(AGI)創(chuàng)建互聯(lián)直覺(jué)的世界

云知聲AI技術(shù)體系及U+X戰(zhàn)略

作為中國(guó)AGI技術(shù)產(chǎn)業(yè)化的先驅(qū)之一，云知聲于2016年打造Atlas人工智能基礎(chǔ)設(shè)施，并構(gòu)建公司云知大腦(UniBrain)技術(shù)中臺(tái)，以山海（UniGPT）通用認(rèn)知大模型為核心，包括多模態(tài)感知與生成、知識(shí)圖譜、物聯(lián)平臺(tái)等智能組件，并通過(guò)領(lǐng)域增強(qiáng)能力，為云知聲智慧物聯(lián)、智慧醫(yī)療等業(yè)務(wù)提供高效的產(chǎn)品化支撐，推動(dòng)“U(云知大腦)+X(應(yīng)用場(chǎng)景)”戰(zhàn)略落實(shí)，踐行公司“通過(guò)通用人工智能(AGI)創(chuàng)建互聯(lián)直覺(jué)的世界”的使命。

作為云知大腦（UniBrain）的重要組件，智能語(yǔ)音技術(shù)包含語(yǔ)音識(shí)別、聲紋識(shí)別、語(yǔ)音合成等，目前已廣泛應(yīng)用于家居、車(chē)載、客服等領(lǐng)域。以車(chē)載場(chǎng)景為例，在云知聲智能語(yǔ)音技術(shù)的加持下，可實(shí)現(xiàn)多音區(qū)識(shí)別、連續(xù)語(yǔ)音交互、個(gè)性化語(yǔ)音播報(bào)、所見(jiàn)即可說(shuō)、模糊指令匹配等強(qiáng)大語(yǔ)音能力，為用戶(hù)帶來(lái)更智能更自然的交互體驗(yàn)。隨著云知聲智能語(yǔ)音技術(shù)的不斷發(fā)展，其在各個(gè)場(chǎng)景的落地應(yīng)用也將進(jìn)一步提速。此次論文收錄，充分印證了云知聲在智能語(yǔ)音領(lǐng)域的技術(shù)創(chuàng)新實(shí)力，同時(shí)，也將進(jìn)一步夯實(shí)其AGI技術(shù)底座，加速千行百業(yè)的智慧化升級(jí)。

接下來(lái)，云知聲將繼續(xù)踐行“U+X”戰(zhàn)略，攜手上海師范大學(xué)等高校機(jī)構(gòu)，共同加強(qiáng)AI基礎(chǔ)理論和關(guān)鍵技術(shù)的研發(fā)，不斷拓展AGI應(yīng)用場(chǎng)景，為智慧物聯(lián)與智慧醫(yī)療兩大領(lǐng)域提供更廣泛、更深入的人工智能解決方案，致力實(shí)現(xiàn)以人工智能賦能千行百業(yè)的美好愿景。

以下為入選論文概覽：

研究方向：語(yǔ)音增強(qiáng)

目前主流時(shí)頻語(yǔ)音增強(qiáng)系統(tǒng)以復(fù)頻譜作為輸入，存在著訓(xùn)練工具不支持復(fù)數(shù)，復(fù)數(shù)建模方式不易訓(xùn)練，以及基于掩蔽的方法理論上無(wú)法完全恢復(fù)出干凈語(yǔ)音的問(wèn)題。為解決以上問(wèn)題，本文提出了一種無(wú)需掩蔽的語(yǔ)音增強(qiáng)系統(tǒng)。該系統(tǒng)利用短時(shí)離散余弦變換（STDCT）作為特征，不僅與STFT同樣具備信息完備性，而且是一種實(shí)數(shù)特征。我們?cè)贛etaFomer基礎(chǔ)上，結(jié)合MobileNet block的輕量架構(gòu)以及NAFNet的設(shè)計(jì)理念構(gòu)建了全局局部模塊，整個(gè)網(wǎng)絡(luò)由此模塊堆疊而成。結(jié)果表明，相比其他網(wǎng)絡(luò)，MFNet的性能達(dá)到了SOTA水平，且計(jì)算量具有優(yōu)勢(shì)。

研究方向：語(yǔ)音識(shí)別

Multi-pass Training and Cross-information Fusion for Low-resource End-to-end Accented Speech Recognition

低資源重口音語(yǔ)音識(shí)別是當(dāng)前ASR技術(shù)在實(shí)際應(yīng)用中面臨的重要挑戰(zhàn)之一。在這項(xiàng)研究中，我們提出了一個(gè)基于Conformer的架構(gòu)，稱(chēng)為Aformer，以利用大量非口音和有限口音訓(xùn)練數(shù)據(jù)的聲學(xué)信息。在Aformer中設(shè)計(jì)了一個(gè)普通編碼器和一個(gè)口音編碼器來(lái)提取互補(bǔ)的聲學(xué)信息。此外，我們使用多通道的方式訓(xùn)練Aformer，并研究了三種交叉信息融合方法，以有效地結(jié)合來(lái)自一般編碼器和口音編碼器的信息。結(jié)果表明，在六個(gè)域內(nèi)和域外口音測(cè)試集上，我們提出的方法優(yōu)于Conformer基線(xiàn)，詞/字錯(cuò)誤率相對(duì)減少了10.2%到24.5%。

研究方向：語(yǔ)音識(shí)別

Phonetic-assisted Multi-Target Units Modeling for Improving Conformer-Transducer ASR system

在端到端的自動(dòng)語(yǔ)音識(shí)別（ASR）中，開(kāi)發(fā)有效的目標(biāo)建模單元是非常重要的，也是大家一直關(guān)注的問(wèn)題。我們提出一種語(yǔ)音輔助的多目標(biāo)單元（PMU）建模方法，以漸進(jìn)式表征學(xué)習(xí)的方式增強(qiáng)Conformer-TransducerASR系統(tǒng)。具體來(lái)說(shuō)，PMU首先使用語(yǔ)音輔助子詞建模（PASM）和字節(jié)對(duì)編碼（BPE）分別產(chǎn)生語(yǔ)音誘導(dǎo)和文本誘導(dǎo)的目標(biāo)單元;在此基礎(chǔ)上，我們提出了三種增強(qiáng)聲學(xué)編碼器的框架，包括基本PMU、paraCTC和paCTC，它們集成了不同層次的PASM和BPE單元，用于CTC和transducer多任務(wù)訓(xùn)練。在LibriSpeech和口音ASR測(cè)試集上的實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的BPE相比，提出的PMU方法顯著降低了LibriSpeech clean、other和6個(gè)重音ASR測(cè)試集的WER，分別降低了12.7%、6.0%和7.7%。

研究方向：防攻擊聲紋

Advanced RawNet2 with Attention-based Channel Masking for Synthetic Speech Detection

自動(dòng)揚(yáng)聲器驗(yàn)證系統(tǒng)通常很容易受到欺騙攻擊，特別是不可見(jiàn)的攻擊。由于語(yǔ)音合成和語(yǔ)音轉(zhuǎn)換算法的多樣性，如何提高合成語(yǔ)音檢測(cè)系統(tǒng)的泛化能力是一個(gè)具有挑戰(zhàn)性的問(wèn)題。為了解決這個(gè)問(wèn)題，我們提出了一種改進(jìn)的RawNet2，通過(guò)引入一個(gè)基于注意力的通道掩蔽模塊來(lái)改進(jìn)RawNet2，其中包括三個(gè)主要組成部分：SE、通道掩蔽和全局-局部特征聚合。在ASVspoof2019和ASVspoof 2021數(shù)據(jù)集上評(píng)估了該系統(tǒng)的有效性。其中，ARawNet2在ASVspoof 2019 LA任務(wù)上達(dá)到了4.61%，在ASVspoof 2021 LA和DF任務(wù)上的EER分別達(dá)到了8.36%和19.03%，比RawNet2基線(xiàn)分別降低了12.00%和14.97%。

審核編輯：彭菁