谷歌人工智能(Google Ai)和芝加哥豐田技術(shù)研究所(Toyota technology institute of Chicago)的研究人員創(chuàng)建了一種人工智能模型ALBERT，它在主要的NLP性能排行榜上，GLUE和SQuAD 2.0等基準(zhǔn)測試以及高RACE性能得分方面，均名列第一。

在斯坦福問答數(shù)據(jù)集基準(zhǔn)(SQUAD)上，ALBERT得分為92.2，在通用語言理解評估(GLUE)基準(zhǔn)上，ALBERT得分為89.4，在通過英語考試獲得的理解(RACE)基準(zhǔn)上，ALBERT分?jǐn)?shù)為89.4%。

ALBERT是基于BERT的轉(zhuǎn)換衍生版本，根據(jù)OpenReview.net周三發(fā)表的一篇論文介紹，它可以“使用參數(shù)約簡技術(shù)，來降低內(nèi)存的消耗，提高BERT的訓(xùn)練速度”。據(jù)可靠消息，該論文將于2020年的4月份，與其他被接受發(fā)表的論文一起，在埃塞俄比亞亞的斯亞貝巴舉行的國際學(xué)習(xí)表征會議上，供各國代表參考。

論文中寫道，“我們提出的方法使模型的規(guī)模比原來好得多。此外，我們還使用了一種自我監(jiān)督的模式，該模式側(cè)重于對句子間的連貫性進(jìn)行建模，并表明它始終有助于下游任務(wù)的多句輸入。”

ALBERT是BERT的最新衍生品，在主要的基準(zhǔn)測試中全都名列前茅。5月，微軟的人工智能研究人員引入了多任務(wù)深度神經(jīng)網(wǎng)絡(luò)(MT-DNN)，該模型在9個GLUE基準(zhǔn)測試中有7個取得了高分;7月底，F(xiàn)acebook的人工智能研究引入了RoBERTa模型，效果顯著。

每個模型的性能都超過了人類的平均水平。在其他與變壓器相關(guān)的新聞中，初創(chuàng)公司Hug Face的PyTorch庫可以很方便地使用像BERT這樣的主流變壓器模型，Open AI的GPT-2和谷歌的XLNet通過長時間的研究，使該庫可用于TensorFlow。該公司首席執(zhí)行官克萊門特·德蘭古告訴VentureBeat網(wǎng)站，自今年年初以來，PyTorch-Transformers已經(jīng)安裝了超過50萬臺Pip，實際效果令人非常滿意。