Lingvo 是國際性語言世界語中的一個單詞,意為 “語言”。此名稱寓指 Lingvo 框架的根基,即它是使用 TensorFlow 開發的一款通用深度學習框架,側重于針對語言相關任務(例如機器翻譯、語音識別和語音合成)的序列模型。
此框架在 Google 內部非常受歡迎,使用它的研究人員也越來越多。目前已發表 數十篇使用 Lingvo 獲得頂尖成果的論文,未來還會有更多論文面世。Lingvo 支持多種架構,從傳統的循環神經網絡 (RNN) 序列模型到 Transformer 模型,再到包含變分自編碼器 (VAE) 組件的模型,不一而足。為表示對研究社區的支持,同時鼓勵可復現的研究工作,我們開源了此框架,并開始發布論文中使用的模型。
圖 1:Lingvo 框架概覽,簡要展示了如何實例化和訓練模型,以及如何將模型導出以進行評估和部署
在構建 Lingvo 時,我們秉持著協作研究的理念,通過在不同任務之間共享公共層的實現來提升代碼復用率。此外,所有層都采用相同的公共界面,并且以相同的方式布局。這不僅可以產生更簡潔易懂的代碼,還能讓您非常輕松地將其他開發者為其他任務所做的改進應用到您自己的任務上。執行這種一致性的確成本不菲,需要更多的規則和樣板文件,但 Lingvo 會努力將成本降至最低,以確保在研究過程中更快地進行迭代。
協作的另一個方面是共享可復現的成果。Lingvo 提供一個集中的位置,用于存儲檢入的模型超參數配置。這不僅可以用來記錄重要的實驗,還能讓其他研究者通過訓練相同的模型,輕松復現您的成果。
雖然 Lingvo 最初的關注重點是 NLP,但它其實非常靈活,研究人員已經使用此框架成功實現了圖像分割、點云分類等任務的模型。它還支持提煉、生成式對抗網絡 (GAN) 和多任務模型。同時,此框架的速度并未因此而受到影響,它具有經優化的輸入管道和快速分布式訓練能力。最后,Lingvo 還將易于實現生產化也納入考慮,它甚至有一條明確定義的路徑,可以將模型移植到移動推理。
-
神經網絡
+關注
關注
42文章
4772瀏覽量
100857 -
深度學習
+關注
關注
73文章
5504瀏覽量
121246 -
tensorflow
+關注
關注
13文章
329瀏覽量
60538
原文標題:Lingvo:TensorFlow 序列建模框架
文章出處:【微信號:tensorflowers,微信公眾號:Tensorflowers】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論