谷歌研究公司（Google Research）的合著者本周發表的一項預印研究將實體描述為專家（EAE），這是一種新型的機器學習模型，可以訪問樣本文本中提到的實體（例如，人、地點、組織、日期、時間和數字）的記憶。 他們聲稱，它的性能優于兩個最先進的模型，數據少得多，同時捕捉更多的事實知識，并且比它所基于的變形金剛體系結構更模塊化和更可解釋。

如果同行評審證實了研究人員對EAE的說法，它可以解決一個長期存在的自然語言處理挑戰：在不注入特定實體知識的情況下獲得回答世界問題所需的知識。 在企業環境中，EAE可以為攝入特定領域信息語料庫的聊天機器人奠定基礎，并用最有可能相關的信息回答有關語料庫的問題。

EAE包含神經元（數學函數），它們排列在從輸入數據傳輸信號并調整每個連接的強度（權重）的層中，就像所有深層神經網絡一樣。 這就是它如何提取特征并學會進行預測，但是由于EAE是基于變壓器架構的，所以它受到了關注。 這意味著每個輸出元素都連接到每個輸入元素，并且動態計算它們之間的權重。

獨特的是，EAE還包含實體內存層，使其能夠“理解”并以高度數據效率的方式回答有關文本的問題。 該模型直接從文本中學習知識，以及其他模型參數（即從數據中估計的配置變量和模型在進行預測時所需的配置變量），并將內存與特定實體或數據類型（如標題和數字表達式）聯系起來。