脫離上下文時，每個英文單詞都有多重含義。例如，“bank”可以指銀行或河岸；“Fair”可以指展覽會，也可以指對展覽會的評價；“Duck”可以是躲避傷害的動作，也可以指鴨子。

對于人類來說搞清楚一個單詞在某場景中適用的含義是非常簡單的。但是，對于自然語言處理模型就是另一回事了。近些年已經(jīng)出現(xiàn)很多用于解析文本的AI工具，但是當(dāng)涉及到多重含義的單詞時，這些工具往往會陷入困境。來自艾倫人工智能研究所（Allen Institute for Artificial Intelligence）和華盛頓大學(xué)的研究人員正在努力解決這一難題，他們使用了可以根據(jù)上下文來確定英文單詞含義的神經(jīng)網(wǎng)絡(luò)。

向前和向后閱讀

通常，NLP模型通過詞向量（在每個單詞中附加語言含義和單詞語法的基礎(chǔ)元素）中的結(jié)構(gòu)化數(shù)據(jù)進行訓(xùn)練。此算法基于假設(shè)每個單詞只有一種向量表示，但實際上英文單詞并非如此。

研究人員利用名為“ELMo”的神經(jīng)系統(tǒng)打破了這一假設(shè)，此神經(jīng)系統(tǒng)可以為每個單詞創(chuàng)造出無限數(shù)量的向量。

“‘ELMo’是‘Embeddings from Language Models’的縮寫，而不是毛茸茸的紅色芝麻街角色”，論文“Deep contextualized word representations”的第一作者Matthew Peters解釋道。

ELMo喜歡閱讀：這不是美國幼兒教育電視節(jié)目《芝麻街》中的Elmo，而是使用雙向語言模型的神經(jīng)系統(tǒng)ELMo。

常規(guī)語言模型嘗試預(yù)測句子中即將出現(xiàn)的下一個單詞。如果片段是“The people sat down on the …,”，那么算法將預(yù)測出“bench”或“grass”之類的單詞。為了給單詞附加所有潛在含義的詞向量，這個團隊使用了雙向語言模型。

使用雙向模型意味著，該模型可以通過一個二次的回顧性算法，獲取句子的結(jié)尾并嘗試預(yù)測出現(xiàn)在句子結(jié)尾前邊的單詞。當(dāng)模型嘗試分析的單詞出現(xiàn)在句首，并且相關(guān)上下文隨即出現(xiàn)時，這會非常有用。

“就像‘He lies to his teacher’與‘He lies on the sofa’這種情況”，Peters說道。

為測試ELMo的技能，該團隊利用六種不同的NLP任務(wù)（包括情緒分析和問答等）對算法進行測試。與之前使用相同訓(xùn)練數(shù)據(jù)的方法相比，ELMo每次都會得到更新、更出色的結(jié)果，在某些情況下可以比之前的領(lǐng)先模型提升25%的速度。

“在NLP中，很重要的一點是，單一的方法能夠提高多樣化任務(wù)的性能”，Peters指出。

ELMo在半監(jiān)督式學(xué)習(xí)領(lǐng)域大放異彩

在進行自然語言處理時，訓(xùn)練數(shù)據(jù)的類型非常關(guān)鍵。例如，問答系統(tǒng)使用的模型無法在任何舊文本上進行訓(xùn)練。通常，此類模型需要在由帶標注的問題和答案對組成的大型數(shù)據(jù)庫中訓(xùn)練，以學(xué)習(xí)如何做出正確的回答。

標注數(shù)據(jù)非常耗時并且成本高昂。因此，研究人員首先選擇使用包含大約十億個單詞的大型無標記學(xué)術(shù)數(shù)據(jù)庫來訓(xùn)練ELMo。然后，針對特定任務(wù)（例如問答）將此數(shù)據(jù)庫調(diào)整為一個帶標注的小型數(shù)據(jù)庫。對于這種結(jié)合使用大量無標記數(shù)據(jù)和一小部分已標記數(shù)據(jù)的方法，統(tǒng)稱為“半監(jiān)督式學(xué)習(xí)”。

減少對已標記和帶標注數(shù)據(jù)的依賴后，研究人員可以更輕松地在現(xiàn)實問題中應(yīng)用其NLP模型應(yīng)用。

“在我們的示例中，我們選擇了一個未標記的學(xué)術(shù)數(shù)據(jù)庫來訓(xùn)練語言模型”，Peters說道。但是研究人員能夠調(diào)整算法，以便在任何其他未標記的數(shù)據(jù)庫中運行該算法，也可以將其應(yīng)用于生物醫(yī)學(xué)論文、法律合同或其他語言等專業(yè)領(lǐng)域中。

與之前最先進(SOTA)的基準相比，ELMo在六個基準NLP任務(wù)中都增強了神經(jīng)模型的性能。從左到右，這些任務(wù)依次是：語義推理、命名實體識別、問題回答、指代消解、語義角色標注和情感分類。

研究人員通過Amazon Web Service，使用NVIDIA Tesla V100和K80 GPU助力訓(xùn)練和推理。

在后續(xù)論文中，研究人員指出其僅使用了幾百個已標記示例，便可應(yīng)用ELMo模式回答幾何問題。人工需要花費幾個小時便能完成此標記工作，但卻會顯著提高NLP模型的性能。

ELMo已作為開源庫提供。Peters表示其他的NLP研究人員已經(jīng)將此模型應(yīng)用到了他們自己的工作中，包括除英語外的其他語言。