作為一個科技從業(yè)者,閱讀AI頂會的最新論文、瀏覽國內(nèi)外創(chuàng)新的最新動向,是我工作的重要部分。平時接觸的開發(fā)者、科學(xué)家、企業(yè)研究人員等,工作生活中也涉及大量專業(yè)閱讀。
于是乎,我就會經(jīng)常聽到這樣的抱怨:
PDF格式的論文,很多翻譯軟件需要手動復(fù)制粘貼,效率還不如直接查字典;
不動腦子按段落甚至句子直譯,信達雅一個都沒有,機翻完我還要花時間二次review;
海外開發(fā)社區(qū)的技術(shù)文檔專業(yè)詞匯太多,翻譯得不準,好幾天的代碼都白寫了……
這可能是AI技術(shù)里非常容易讓人迷惑的地方。近幾年隨著AI技術(shù)快速進步,機器翻譯水平也大幅提升,結(jié)果一遇到外文文獻、外刊投稿、辦公文檔、商業(yè)報告、海外網(wǎng)站技術(shù)文檔之類的專業(yè)翻譯需求,很多產(chǎn)品還是不能滿足。
這些問題說明,總體可讀可懂,滿足出國旅游、購物娛樂等日常溝通的場景,只是機器翻譯的基本功能。進一步的市場需求,是深度專業(yè)內(nèi)容的跨語言交流,讓商業(yè)、科研、技術(shù)等專業(yè)信息可以實現(xiàn)無縫對接。
跨越這堵語言之墻,也成為一場NLP領(lǐng)域的全球競賽。一直深耕機器翻譯的百度翻譯團隊,從來沒有停止過攀登的腳步。
我們從機器翻譯的新技術(shù)動向說起,聊聊百度給機器翻譯帶來的新可能。
機器翻譯的技術(shù)攀登:百度引領(lǐng)NMT革新
跨越語言之墻還需要哪些技術(shù)突破?想要回答這個問題,有必要先回答:機器翻譯今天發(fā)展到哪一步了。
過去幾十年間,人們一直在探索如何使得機器翻譯達到人類的翻譯水平,翻譯方法不斷迭代。基于規(guī)則的機器翻譯,依靠人工編纂的雙語詞典和專家總結(jié)的規(guī)則進行翻譯;基于實例的機器翻譯,從雙語對照的實例庫中選擇與原文相似度高的實例,通過模仿和修改進行翻譯;基于統(tǒng)計的機器翻譯,對翻譯過程進行數(shù)學(xué)建模,并從大量的訓(xùn)練數(shù)據(jù)中自動學(xué)習(xí)翻譯知識。
變革發(fā)生在2014年,通過循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)來對語言向量進行編碼解碼,并且使用長短期記憶網(wǎng)絡(luò)(LSTM)來增強長句翻譯能力的神經(jīng)機器翻譯(NMT),為機器翻譯領(lǐng)域帶來新的研發(fā)范式。百度、谷歌、微軟等一批NLP領(lǐng)域的優(yōu)等生推進深度學(xué)習(xí)在機器翻譯領(lǐng)域的研發(fā)和應(yīng)用,百度翻譯在2015年發(fā)布了全球首個互聯(lián)網(wǎng)NMT系統(tǒng),領(lǐng)先谷歌1年多。現(xiàn)在,大家用翻譯軟件進行日常交流、旅游商務(wù)等活動,已經(jīng)基本沒有問題了。
而專業(yè)領(lǐng)域的翻譯想要令人驚喜的進展,總的來說需要做到兩件事:
一是技術(shù)突破。推動機器翻譯不斷接近專業(yè)翻譯能力。頭部廠商主要從幾個方面努力:1. 預(yù)訓(xùn)練大模型,例如文心、GPT-3、BERT;2. 多語言統(tǒng)一建模和翻譯;3. 面向垂直領(lǐng)域的高精度翻譯模型。其中,百度作為更早進入NMT時代的科技企業(yè),就在機器翻譯技術(shù)上取得了國際領(lǐng)先的成果。2020 年,咨詢機構(gòu)Gartner在 《Hype Cycle for Natural Language Technologies》報告中,就將百度翻譯列為神經(jīng)網(wǎng)絡(luò)機器翻譯標桿機構(gòu)。
二是產(chǎn)品設(shè)計。技術(shù)有所突破,還要通過成熟的產(chǎn)品設(shè)計和應(yīng)用體驗,讓用戶感知到專業(yè)機器翻譯的價值。一些機器翻譯產(chǎn)品可能技術(shù)很強,但由技術(shù)人員來主導(dǎo)產(chǎn)品設(shè)計,導(dǎo)致用戶體驗很糟糕。在這方面,具備互聯(lián)網(wǎng)產(chǎn)品設(shè)計相關(guān)經(jīng)驗的廠商,自然能夠更好地實現(xiàn)技術(shù)落地。比如百度翻譯就打造了非常豐富的產(chǎn)品矩陣,支持PC端、移動端等各類終端設(shè)備,面向C端、B端的多種應(yīng)用;支持文本、文檔、圖片、語音等多模態(tài)翻譯,全方位滿足各種翻譯需求。百度翻譯的產(chǎn)品優(yōu)勢,讓普通用戶可以低門檻、更便捷地用上專業(yè)機器翻譯能力,目前日均響應(yīng)的翻譯請求已達千億字符。
從這個角度來看,百度翻譯是國內(nèi)少有的,能夠同時占據(jù)技術(shù)和產(chǎn)品兩個機器翻譯高地的科技企業(yè)。那么,百度翻譯究竟是如何翻越專業(yè)翻譯的語言之墻?
聳立的語言墻:機器翻譯進入專業(yè)領(lǐng)域的三道門檻
你可能會問,機器翻譯都搞了快七十年,怎么專業(yè)領(lǐng)域的語言之墻依舊沒有被攻克?
專業(yè)信息、學(xué)術(shù)資源、商業(yè)文件等翻譯需求,是一塊巨大的商業(yè)蛋糕,同時也是從未被徹底解決的痛點。這是因為專業(yè)領(lǐng)域的翻譯,存在“三高”的要求:內(nèi)容安全要求高、翻譯準確率要求高、翻譯效率與體驗要求高。
內(nèi)容安全要求高:專業(yè)文檔往往涉及到科研創(chuàng)新、商業(yè)往來等信息,翻譯過程中需要上傳到云端或軟件服務(wù)商的服務(wù)器進行操作,一旦硬件來源或軟件使用權(quán)受限,或者服務(wù)不穩(wěn)定,都會給專業(yè)用戶帶來麻煩和風(fēng)險。
翻譯準確率要求高:信達雅,信(即翻譯準確率)排在第一位,專業(yè)翻譯中存在大量專業(yè)單詞、復(fù)雜長句子,容易出現(xiàn)歧義,軟件翻譯失之毫厘,內(nèi)容準確度就謬以千里。
翻譯效率與體驗要求高:翻譯軟件的效率、易用性,直接影響到用戶體驗。很多人可能有這樣的經(jīng)歷,有的軟件不支持整篇文檔翻譯,手動復(fù)制粘貼連分段都不準確,翻譯效果難以直視;有的PDF文檔翻譯成word后,原本的排版被打亂,還需要自己手動調(diào)整……這些都給用戶帶來了額外的負擔(dān)。
所以,我們就從安全可靠、效果、效率這三個方面,來評測一下百度翻譯的解決思路。
首先,安全可靠。
作為一名知識內(nèi)容生產(chǎn)者,文檔承載的是我安身立命之本,所以,數(shù)據(jù)安全幾乎是我是否使用一款翻譯工具的首要考量因素。同理,論文數(shù)據(jù)之于科研工作者、商業(yè)報告之于企業(yè)從業(yè)者、技術(shù)文檔之于工程人員,安全隱私都是至關(guān)重要的。
深度學(xué)習(xí)平臺是每個神經(jīng)網(wǎng)絡(luò)機器翻譯模型的底層技術(shù)框架,市面上相當(dāng)一部分翻譯廠商的底層技術(shù)框架仍然使用TensorFlow(美國谷歌)和PyTorch(美國臉書)為代表的海外框架。非國產(chǎn)自研,可能在未來遭遇無硬件可搭載和無框架使用的窘境。
比如在使用海外平臺DeepL的過程中,我就會經(jīng)常遇到加載緩慢、連接不上的問題。海外翻譯軟件往往需要上傳到海外企業(yè)的服務(wù)器,比如DeepL上傳的文檔會被發(fā)送到美國的Adobe公司。
與之相比,國內(nèi)翻譯產(chǎn)品就不會遇到這個困擾。以百度翻譯為例,產(chǎn)品基于全面自研的飛槳深度學(xué)習(xí)框架,同時采用多種措施來保障數(shù)據(jù)安全,獲得ISO27001等多項國內(nèi)外權(quán)威信息安全管理認證。存儲前,會先進行安全的加密操作;數(shù)據(jù)傳輸中,采用安全傳輸層協(xié)議(TLS),保障保密性和數(shù)據(jù)完整性,并提供完備的密鑰管理機制和加密措施;用戶刪除數(shù)據(jù)后,后臺將同步刪除相關(guān)內(nèi)容,不會留存。總體來說,在可靠性和安全性上更有保障。
第二,翻譯效果。
專業(yè)翻譯最終要靠結(jié)果的“信、達、雅”說話。包括專業(yè)術(shù)語翻譯是否準確,語序是否流暢連貫,一些特定文化背景的表達是否地道……
可以看到,百度翻譯通過多個專業(yè)領(lǐng)域模型,有效增強翻譯準確度。我們隨機選取了《自然》雜志的一篇生物領(lǐng)域論文《A pan-cancer compendium of chromosomal instability染色體不穩(wěn)定性的泛癌癥綱要》,選擇百度翻譯的“生物醫(yī)藥“模型后,結(jié)合上下文語義給出了準確的翻譯。可以看到,生物醫(yī)藥這類充滿大量專業(yè)術(shù)語的領(lǐng)域,百度翻譯的結(jié)果并沒有讓人失望。
對于學(xué)術(shù)文章中復(fù)雜的長句子和特定格式,百度翻譯能夠識別論文格式中的各種基本要素,如正文、引用、尾注等,避免錯譯、漏譯。以這篇AAAI 2022的頂會論文《Meta-Learning for Online Update of Recommender Systems》為例,百度翻譯就準確保留了參考文獻引用信息,這對閱讀專業(yè)文獻非常有幫助。
第三,翻譯效率。
專業(yè)領(lǐng)域的機器翻譯,用戶的一個關(guān)鍵痛點是:很多地方需要用戶“不厭其煩”地手動操作或反復(fù)修改。而擁有十多年翻譯產(chǎn)品經(jīng)驗的百度,自然也在應(yīng)用能力上游刃有余。百度翻譯將這些“煩點”一一消解,提升翻譯效率和文檔的可讀性、易讀性,從而減少用戶手動調(diào)整、修改的麻煩,將時間精力放在更有創(chuàng)造力的事情上。
首先,百度翻譯支持多種格式文檔,一鍵上傳就能進行全篇翻譯。像PDF這種不能編輯的文檔,可以完整地保留樣式和排版,不需要用戶手動將文字復(fù)制粘貼到翻譯軟件中,并且提供整頁預(yù)覽模式、逐句對照模式等,不同需求的用戶可以自主選擇來提升效率。
比如下面這份《英國人工智能研發(fā)商業(yè)化和標準》,這類咨詢機構(gòu)的商業(yè)報告,是很多產(chǎn)業(yè)研究者、高校師生、政策制定者等工作學(xué)習(xí)中的參考讀物,快捷、高效地閱讀體驗,能夠幫大家節(jié)省不少時間。將PDF文件一鍵上傳到百度翻譯,就能快速得到準確地譯文,排版格式也與原文保持高度一致,大大方便了閱讀。
輸入數(shù)據(jù)的準確性對翻譯結(jié)果起到至關(guān)重要的影響,文本糾錯是機器翻譯的關(guān)鍵能力之一。專業(yè)領(lǐng)域容易遇到一些佶屈聱牙、拼寫復(fù)雜的專用術(shù)語、學(xué)術(shù)名詞等,百度翻譯的智能糾錯,可以對語句自動檢查、實時提示、自動糾錯,減少人工校驗成本。
此外,百度翻譯通過人機共譯智能增強,語料自動沉淀,機器自動學(xué)習(xí),翻譯模型實時增強,逐漸縮小機器翻譯與理想譯文之間的差距,實現(xiàn)越翻越省力,真正提升效率。
英國詩人塞繆爾·約翰遜曾說過,語言是科學(xué)的唯一工具。整體來看,百度翻譯已經(jīng)在專業(yè)論文、學(xué)術(shù)文獻等領(lǐng)域,展現(xiàn)出了強大的翻譯能力,幫專業(yè)人士翻越了語言這堵高墻,把語言這個工具交到了每一個需要在專業(yè)領(lǐng)域跨語言協(xié)作的人手中。
翻山越嶺之后,語言墻背后的宏大場景
從百度翻譯的技術(shù)體系和產(chǎn)品設(shè)計中,可以看到,機器翻譯要進入專業(yè)領(lǐng)域,不光要有技術(shù),還要有較強的產(chǎn)品設(shè)計能力,考驗的是企業(yè)的綜合實力。機器翻譯進入專業(yè)領(lǐng)域,也推動翻譯應(yīng)用來到了新的賽點。
重建巴別塔。專業(yè)領(lǐng)域的語言壁壘,為知識、信息、資源的流動樹立起極高的門檻,比如目前全球有六成以上各類文獻資料和科研論文都是用英文撰寫,其他語種也蘊含著大量的知識寶藏。越來越多的人使用百度翻譯來突破語言的阻礙,讓專業(yè)領(lǐng)域的協(xié)作沒有障礙,將大大促進全球的知識交流與傳播,支撐科技創(chuàng)新、實現(xiàn)知識公平。
重塑機翻格局。專業(yè)領(lǐng)域的機器翻譯,相比生活化場景,有著更高的壁壘與更強勁的需求,無論市場容量、付費意愿、付費潛力,以及用戶忠誠度,都是非常高的。百度翻譯憑借優(yōu)秀的專業(yè)翻譯能力,可以建立起差異化優(yōu)勢,進入商業(yè)化的良性循環(huán),在機器翻譯市場格局中進一步領(lǐng)先。
借助翻譯,人類社會從相互阻隔走向了相互交往。今天,世界科技、經(jīng)濟與文化更為頻繁地展開交流,面對浩如煙海的信息與知識,僅靠數(shù)量有限的專業(yè)翻譯人士,很難滿足大眾對專業(yè)翻譯的需求。幸好,機器翻譯開辟了一條新的跨語言溝通之路。七十年來,機器翻譯技術(shù)不斷迭代,有著旺盛的生命力,那是一代又一代技術(shù)人,在為重建巴別塔的理想而不斷努力。
隨著百度翻譯等產(chǎn)品推動機器翻譯向?qū)I(yè)領(lǐng)域不斷深入,人們可以展開更專業(yè)、更精深的跨語言交流,機器翻譯正成為助力全球交流的一股重要力量。
-
AI
+關(guān)注
關(guān)注
87文章
30763瀏覽量
268909 -
百度
+關(guān)注
關(guān)注
9文章
2268瀏覽量
90365 -
機器翻譯
+關(guān)注
關(guān)注
0文章
139瀏覽量
14880 -
NMT
+關(guān)注
關(guān)注
0文章
7瀏覽量
3631 -
rnn
+關(guān)注
關(guān)注
0文章
89瀏覽量
6886
發(fā)布評論請先 登錄
相關(guān)推薦
評論