（文章來源：北國網(wǎng)）

搜狗AI正在朝著這一步邁進(jìn)：由人類說一段話，AI根據(jù)唇形和語音準(zhǔn)確識別內(nèi)容。最近搜狗與清華天工研究院合作，在語音和唇語的多模態(tài)識別方面取得了重大成果。ICASSP是全世界最大的，也是最全面的信號處理及其應(yīng)用方面的頂級會議，是IEEE的一個重要的年度會議，對于信號處理方面的學(xué)術(shù)人士有著重要意義。

隨著語音識別的快速發(fā)展，純粹靠聲音的識別技術(shù)越來越成熟，識別準(zhǔn)確率達(dá)到98%以上，很多公司，包括搜狗在內(nèi)都推出了成熟的產(chǎn)品，比如搜狗輸入法語音輸入和搜狗智能錄音筆等。但是純粹依靠語音的識別方式存在一個缺陷，就是無法在嘈雜環(huán)境下仍然保持較高的識別準(zhǔn)確率。

通常當(dāng)語音環(huán)境比較安靜時，語音識別的準(zhǔn)確率會比較高，但當(dāng)語音環(huán)境較為嘈雜時，語音識別的準(zhǔn)確率會明顯下降。而視覺的識別方法不受環(huán)境聲音的影響，人在嘈雜環(huán)境下，聽不清對方講話時，會自然的盯緊講話者的嘴巴，大致明白講話者的意思。實(shí)際上聽力障礙人士，正是通過講話者的唇語進(jìn)行交流的。搜狗研究人員想到，如果讓AI也能把這兩種方法結(jié)合起來，就能提高語音識別的準(zhǔn)確率。

早在2017年年底，搜狗就已經(jīng)發(fā)布了一個唇語識別的初步成果，是業(yè)內(nèi)首家公開展示唇語識別的公司。但當(dāng)時的準(zhǔn)確率僅有50%~60%，限制了它的實(shí)際應(yīng)用，而且搜狗語音和唇語的技術(shù)也一直是分開做的。經(jīng)過一年多的發(fā)展，唇語識別技術(shù)已經(jīng)有了很大的提升，搜狗團(tuán)隊(duì)開始考慮將聽覺與視覺兩種識別的模式融合起來，即所謂的“多模態(tài)”識別，這是搜狗唇語識別繼烏鎮(zhèn)互聯(lián)網(wǎng)大會發(fā)布后的新突破。

但多模態(tài)識別不是簡單的把音頻和視頻的識別疊加起來，在這個過程中，研究人員需要克服兩個難題。聲音和視覺特征是兩種本質(zhì)上差異很大的模態(tài)，而且原始幀速率通常不一樣，音頻為每秒100幀，而視頻為每秒24幀。采用直接拼接的方法會造成信息損失，使得聽覺特征在模型訓(xùn)練過程中起到主導(dǎo)作用，造成模型訓(xùn)練難收斂，視覺信息對聽覺信息的提升有限。

在安靜的情況下應(yīng)該是語音占主導(dǎo)，在嘈雜環(huán)境下一定是視頻占主導(dǎo)。如何根據(jù)不同的環(huán)境選擇二者的比例。

搜狗的做法是 “基于注意力的編碼器解碼器”。在這個框架下，分別使用兩個神經(jīng)網(wǎng)絡(luò)編碼器對輸入的不同模態(tài)的序列進(jìn)行逐層特征抽取，得到高層特征表達(dá)。然后，由解碼器分別對不同模態(tài)的特征表達(dá)進(jìn)行注意力計算，得到聲音和視覺模態(tài)信息中對應(yīng)于當(dāng)前解碼時刻的上下文向量（context vector）。不同模態(tài)的上下文向量經(jīng)由模態(tài)間的注意力自動對不同模態(tài)的信息進(jìn)行融合，并輸入到輸出層得到解碼輸出。

可見在編解碼框架下，由于融合的是不同模態(tài)的context vector，而不是對原始特征或者編碼器輸出的高層特征進(jìn)行直接融合，解決了不同模態(tài)的特征長度不同的問題。

同時，這種模態(tài)注意力（Modality Attention）依據(jù)不同模態(tài)各自的重要程度計算出相應(yīng)的融合系數(shù)，反應(yīng)了不同模態(tài)在當(dāng)前解碼時刻的不同貢獻(xiàn)度，可以隨著不同解碼時刻的不同信噪比等得到不同的模態(tài)融合權(quán)重，得到更加魯棒的融合信息。

搜狗從去年6月開始立項(xiàng)，10月就完成并投遞了論文，在這個過程中，融合模型的設(shè)計是其中最困難的一步，研究人員周盼介紹說，他們在這個問題上花費(fèi)了大約一半的時間。實(shí)驗(yàn)結(jié)果證實(shí)了搜狗努力獲得的回報。在信噪比為0dB（信號與噪聲大小相當(dāng)）時，搜狗的多模態(tài)識別將準(zhǔn)確率提高了30%。

而且模型在不同噪聲下，體現(xiàn)出了對語音和視頻兩種不同模態(tài)間的依賴。隨著噪聲的提升，模型在融合音視覺時，對視覺信息的依賴比例在逐漸提升。0dB信噪比時，視頻的注意力權(quán)重接近40%，高于語音清晰環(huán)境中35.9%的比例。現(xiàn)場，搜狗像我們展示了一段Demo，模擬了各種嘈雜環(huán)境下的多模態(tài)識別。

在模擬乘坐地鐵的環(huán)境中，可以看到無論是單獨(dú)的語音識別和唇語識別都無法正確還原原來的語句，但是二者結(jié)合起來，就可以正確識別出“北京今天天氣怎么樣”這句話。語音交互技術(shù)中心首席科學(xué)家陳偉還特別指出，視頻識別還能根據(jù)唇形識別語句在何處結(jié)束，也提高了在嘈雜環(huán)境下識別的準(zhǔn)確率。

這么實(shí)用的功能何時才能用上呢？陳偉預(yù)計，多模態(tài)語音識別將在搜狗的手機(jī)輸入法中集成，目前搜狗還在和車廠合作通過車內(nèi)的麥克風(fēng)、攝像頭做出更準(zhǔn)確的語音識別。輸入法走向?qū)υ挕⑺阉髯呦?a target="_blank">問答，是搜狗一項(xiàng)長期戰(zhàn)略。未來視頻識別的場景會越來越多，所以搜狗認(rèn)為多模態(tài)識別是NLP研究發(fā)展的一個必然的趨勢。