為了加速自然語(yǔ)言處理 (NLP) 在更多語(yǔ)言上實(shí)現(xiàn)零樣本遷移學(xué)習(xí) (zero-shot transfer learning)，F(xiàn)acebook 研究者擴(kuò)展并增強(qiáng)了 LASER (Language-Agnostic Sentence Representations) 工具包，并在近期開(kāi)源了這個(gè)項(xiàng)目。

增強(qiáng)版的 LASER 是首個(gè)能夠成功探索大型多語(yǔ)種句子表征的工具包，共包含 90 多種語(yǔ)言，由 28 種不同的字母表編寫(xiě)。這項(xiàng)龐大的工作也引發(fā)了整個(gè) NLP 社區(qū)的廣泛關(guān)注。該工具包將所有語(yǔ)言聯(lián)合嵌入到單個(gè)共享空間，而不是為每個(gè)語(yǔ)言單獨(dú)建立模型。目前，F(xiàn)acebook 官方免費(fèi)提供多語(yǔ)言編碼器和 PyTorch 代碼(鏈接：https://github.com/facebookresearch/LASER)，以及 100 多種語(yǔ)言的多語(yǔ)言測(cè)試集方便社區(qū)使用。

研究者表示，通過(guò)零樣本遷移學(xué)習(xí)，LASER 能夠?qū)?NLP 模型從一種語(yǔ)言 (如英語(yǔ)) 遷移到其他語(yǔ)言 (包括訓(xùn)練集中的有限語(yǔ)種)。此外，LASER 工具也是第一個(gè)使用單一模型來(lái)處理不同語(yǔ)種的自然語(yǔ)言處理庫(kù)，包括處理那些稀有語(yǔ)種如卡拜爾語(yǔ)、維吾爾語(yǔ)以及中國(guó)的吳語(yǔ)等方言。研究者相信，有朝一日這項(xiàng)工作能夠幫助 Facebook 及其他公司上線特定的 NLP 功能，如用一種語(yǔ)言將電影評(píng)論分類為正面或負(fù)面，然后再部署到其他 100 多種語(yǔ)言上去。

下面讓我們一睹 LASER 工具包的風(fēng)采。

性能和功能亮點(diǎn)

在包含 14 種語(yǔ)種的 XNLI 語(yǔ)料庫(kù)中，LASER 工具通過(guò)零樣本遷移學(xué)習(xí)，為其中 13 種語(yǔ)言實(shí)現(xiàn)跨語(yǔ)種的自然語(yǔ)言處理，并獲得當(dāng)前最佳的推斷準(zhǔn)確率。此外，它還在跨語(yǔ)言文檔分類 (MLDoc 語(yǔ)料庫(kù)) 中取得了極有競(jìng)爭(zhēng)力的結(jié)果。在句子嵌入方面，該工具包在并行語(yǔ)料庫(kù)挖掘任務(wù)中也展現(xiàn)了強(qiáng)大的功能，并在 BUCC 共享任務(wù)中為其四種語(yǔ)言對(duì)中的三種建立了當(dāng)前最佳的基準(zhǔn)。值得一提的是，BUCC 是 2018 年建立和使用可比較語(yǔ)料庫(kù)的研討會(huì)，代表了當(dāng)前該領(lǐng)域的最新進(jìn)展。

除了 LASER 工具包，研究者還基于 Tatoeba 語(yǔ)料庫(kù)共享一組 100 多種全新語(yǔ)言對(duì)齊語(yǔ)句的測(cè)試集。通過(guò)該數(shù)據(jù)集，在多語(yǔ)言相似性搜索任務(wù)上，句子嵌入功能取得了非常優(yōu)秀的結(jié)果，即便是對(duì)那些稀有語(yǔ)種也是如此。

此外，LASER 工具包還具有如下一些優(yōu)點(diǎn)：

極快的性能和極高的處理效率：在 GPU 上每秒處理多達(dá) 2000 個(gè)句子。

通過(guò) PyTorch 中實(shí)現(xiàn)句子編碼器具有最小的外部依賴性。

稀有語(yǔ)種可以從多種語(yǔ)言的聯(lián)合訓(xùn)練中收益。

該模型支持在一個(gè)句子中使用多種語(yǔ)言。

隨著新語(yǔ)言的添加，模型性能也會(huì)有所提高，因?yàn)橄到y(tǒng)能夠自動(dòng)學(xué)習(xí)并識(shí)別語(yǔ)言族的特征。

通用的語(yǔ)言無(wú)關(guān)性句子嵌入

LASER 中的句子向量表征對(duì)于輸入語(yǔ)言和 NLP 任務(wù)都是通用的。該工具將任何語(yǔ)種的句子映射到高維空間中的一個(gè)點(diǎn)，目的是將各語(yǔ)種的語(yǔ)句最終聚合在同一鄰域附近，而這種句子表征可被視為是語(yǔ)義向量空間中的通用語(yǔ)言。如下圖所示，可以看到該空間中的距離與句子語(yǔ)義的接近度是非常相關(guān)的。

左圖展示的是單個(gè)語(yǔ)言的嵌入空間，而右圖顯示的是采用 LASER 工具包方法，它能將所有語(yǔ)言嵌入到同一共享空間中。

LASER 的這種方法是基于神經(jīng)機(jī)器翻譯的基礎(chǔ)技術(shù)：即編碼器/*** (encoder/decoder)，也稱為序列到序列處理 (sequence-to-sequence)。它為所有的輸入語(yǔ)言設(shè)計(jì)一個(gè)共享編碼器，并使用共享解碼器生成輸出語(yǔ)言。編碼器由五層雙向連接的 LSTM 網(wǎng)絡(luò) (長(zhǎng)短期記憶) 組成。

與神經(jīng)機(jī)器翻譯的方法不同的是，LASER 中不引入注意力機(jī)制，而是使用 1024 維、固定大小的向量來(lái)表示輸入句子。該向量是通過(guò)對(duì) BiLSTM 最后狀態(tài)進(jìn)行最大池化操作后得到的，這使我們能夠比較句子表征的差異，并將它們直接輸入到分類器中。

圖中描述了 LASER 的基本架構(gòu)

這些句子嵌入是通過(guò)線性變換的方式初始化解碼器 LSTM，并且還在每個(gè)時(shí)間步驟與其輸入嵌入相連接。為了通過(guò)句子嵌入來(lái)捕捉輸入序列的所有相關(guān)信息，在架構(gòu)中編碼器和解碼器之間沒(méi)有設(shè)置其他連接。

對(duì)于解碼器部分，由于它需要一個(gè)語(yǔ)言標(biāo)識(shí)嵌入，因此需要清楚地知道需要生成哪種語(yǔ)言，并在每個(gè)時(shí)間步驟連接輸入及其句子嵌入。研究者使用具有 50000 個(gè)操作的聯(lián)合字節(jié)對(duì)編碼詞匯表 (BPE)，并在所有訓(xùn)練語(yǔ)料庫(kù)的連接上進(jìn)行訓(xùn)練。由于編碼器沒(méi)有顯式地指示輸入語(yǔ)言信號(hào)，因此該方法鼓勵(lì)它學(xué)習(xí)與語(yǔ)言無(wú)關(guān)的表征。

不僅如此，研究者還使用英語(yǔ)或西班牙語(yǔ)對(duì)公共并行數(shù)據(jù)中 2.23 億條句子進(jìn)行了系統(tǒng)的訓(xùn)練。對(duì)于每個(gè)小批量，隨機(jī)選擇一種輸入語(yǔ)言并訓(xùn)練模型，使其將句子翻譯成英語(yǔ)或西班牙語(yǔ)中的一種，而不需要讓大多數(shù)語(yǔ)言都與目標(biāo)語(yǔ)言保持一致。

這項(xiàng)工作的開(kāi)始只是訓(xùn)練不到 10 種的歐洲語(yǔ)言，所有語(yǔ)言都使用相同的拉丁文字；隨后逐漸增加到 21 種語(yǔ)言，這些都是在 Europarl 語(yǔ)料庫(kù)中出現(xiàn)的。

實(shí)驗(yàn)結(jié)果表明，隨著所添加的語(yǔ)言數(shù)量的增多，多語(yǔ)言間的遷移性能也得到了提高，而該系統(tǒng)也能夠?qū)W習(xí)到語(yǔ)言族的通用特征。正因?yàn)槿绱耍糠窒∮姓Z(yǔ)言也能夠受益于同一語(yǔ)言族的一些高頻語(yǔ)言的資源。

通過(guò)使用在連接所有語(yǔ)言的數(shù)據(jù)庫(kù)上訓(xùn)練共享的 BPE 詞匯表，這是完全有可能做到的。對(duì)每種語(yǔ)言的 BPE 詞匯表分布之間對(duì)稱的 Kullback-Leiber 距離進(jìn)行分析和聚類結(jié)果表明，其與語(yǔ)言家族之間存在幾乎完美的相關(guān)性。

圖中顯示了 LASER 能夠自動(dòng)挖掘各種語(yǔ)言之間的關(guān)系，這與語(yǔ)言學(xué)家手動(dòng)定義的語(yǔ)言類別是高度吻合的。

研究者意識(shí)到，單個(gè)共享的 BiLSTM 編碼器能夠處理多個(gè)腳本。他們逐漸擴(kuò)展到那些可用的并行文本中的所有語(yǔ)言，并將 93 種語(yǔ)言并入到 LASER 工具包中，這些語(yǔ)言包括 subject-verb-object (SVO) order (如英語(yǔ))，SOV order (如孟加拉語(yǔ)和突厥語(yǔ))，VSO order (如塔加路語(yǔ)和柏柏爾語(yǔ))，以及 VOS order (如馬達(dá)加斯加語(yǔ))。

該編碼器能夠推廣到一些未使用的語(yǔ)言，甚至是單語(yǔ)言文本。在訓(xùn)練階段，可以觀察到它在一些地區(qū)語(yǔ)言中展現(xiàn)了突出的能力，包括阿斯圖里亞斯語(yǔ)、法羅語(yǔ)、弗里斯蘭語(yǔ)、卡舒比語(yǔ)、北摩鹿加語(yǔ)馬來(lái)語(yǔ)、皮埃蒙特語(yǔ)、斯瓦比亞語(yǔ)和索布語(yǔ)等。這些語(yǔ)言與那些主要語(yǔ)言在不同程度上都有一定的相似之處，但不同語(yǔ)言有其特定的語(yǔ)法或特定詞匯。

上表展示了 LASER 在 XNLI 語(yǔ)料庫(kù)上進(jìn)行零樣本遷移學(xué)習(xí)的性能表現(xiàn)。其中，BERT 模型的結(jié)果是從其他 github 項(xiàng)目中提取的。值得注意的是，這些結(jié)果都是通過(guò) Pytorch1.0 實(shí)現(xiàn)的，因此在具體數(shù)值方面可能與原論文中的有所不同，論文中使用的是 Pytorch0.4。

零樣本、跨語(yǔ)言的自然語(yǔ)言推理

該模型在跨語(yǔ)言的自然語(yǔ)言推理任務(wù)上 (NLI) 取得了優(yōu)異的成績(jī)，表明模型具有極強(qiáng)的句意表征能力。研究者采用零樣本遷移學(xué)習(xí)的方法，即先在英語(yǔ)上訓(xùn)練 NLI 分類器，在沒(méi)有任何模型微調(diào)或其他目標(biāo)語(yǔ)言數(shù)據(jù)的情況下，將訓(xùn)練好的分類器應(yīng)用于其他目標(biāo)語(yǔ)言。對(duì)于 14 種語(yǔ)言的 8 種，零樣本學(xué)習(xí)在諸如英語(yǔ)、俄語(yǔ)、中文和越南語(yǔ)等語(yǔ)言上能夠取得 5％以內(nèi)的表現(xiàn)。

此外，研究者還在斯瓦希里語(yǔ)和烏爾都語(yǔ)等稀有語(yǔ)言上進(jìn)行試驗(yàn)，同樣取得了很好的結(jié)果。最后，LASER 方法在 14 種語(yǔ)言中有 13 種語(yǔ)言都取得了優(yōu)于其他零樣本遷移學(xué)習(xí)方法的表現(xiàn)。

相較于先前研究中至少需要一個(gè)英語(yǔ)句子進(jìn)行學(xué)習(xí)的方法，LASER 是一種完全跨語(yǔ)種、并支持不同語(yǔ)言間任何組合的自然語(yǔ)言處理方法。

上圖展示了 LASER 是如何確定 XNLI 數(shù)據(jù)集中不同語(yǔ)言句子間的關(guān)系，而先前研究中的方法都只能考慮同一種語(yǔ)言的前提和假設(shè)。

此外，LASER 也可用于挖掘大型單語(yǔ)言文本數(shù)據(jù)集中的并行數(shù)據(jù)信息。研究表明，只需要計(jì)算所有句子對(duì)之間的距離并選擇最接近的句子對(duì)，就能夠提取文本數(shù)據(jù)中的數(shù)據(jù)信息。更進(jìn)一步地說(shuō)，通過(guò)考慮相近句子及其最近鄰居之間的邊界能夠改進(jìn)該方法的表現(xiàn)，而通過(guò)使用 Facebook 的 FAISS 庫(kù)就能夠高效完成這一改進(jìn)。

在共享 BUCC 任務(wù)上，LASER 的表現(xiàn)都遠(yuǎn)遠(yuǎn)超過(guò)當(dāng)前最佳的技術(shù)水平。具體來(lái)說(shuō)，該模型將德語(yǔ)/英語(yǔ)的 F1 得分從 85.5 提高到 96.2，將法語(yǔ)/英語(yǔ)的 F1 得分從 81.5 提高到 93.9，俄語(yǔ)/英語(yǔ)的 F1 得分從 81.3 提高到 93.3，中/英語(yǔ)的表現(xiàn)從 77.5 提高到 92.3。正如這些示例所反映的，該模型在各種語(yǔ)言任務(wù)上所取得結(jié)果都是高度同質(zhì)的。

更多詳細(xì)的內(nèi)容介紹可以查看相關(guān)的論文：《Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond》(論文鏈接：https://arxiv.org/abs/1812.10464)。

最后，研究者表明，對(duì)于任意語(yǔ)言對(duì)，都可以通過(guò)相同的方法來(lái)挖掘 90 多種語(yǔ)言的并行數(shù)據(jù)。在未來(lái)，這將顯著改善許多依賴于并行數(shù)據(jù)訓(xùn)練的 NLP 應(yīng)用程序，包括那些稀有語(yǔ)言的神經(jīng)機(jī)器翻譯應(yīng)用。

未來(lái)的應(yīng)用

LASER 可以應(yīng)用于廣泛的自然語(yǔ)言處理任務(wù)。例如，多語(yǔ)言語(yǔ)義空間的屬性可用于解析句意或搜索具有相似含義的句子，可以通過(guò)使用相同語(yǔ)言或通過(guò) LASER 所支持的其他 93 個(gè)語(yǔ)句中的任何一個(gè)就能實(shí)現(xiàn)。未來(lái)，研究人員表示將繼續(xù)添加其他的語(yǔ)言支持。