色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

自然語言生成的演變史

mK5P_AItists ? 來源:工程師李察 ? 2019-04-15 10:40 ? 次閱讀

摘要:自科幻電影誕生以來,社會一直對人工智能著迷。

每當我們聽到“AI”一詞時,我們的第一個想法通常是電影中的未來機器人,如終結者和黑客帝國。盡管我們距離可以自己思考的機器人還有幾年的時間,但在過去幾年中,機器學習和自然語言理解領域已經取得了重大進展。 個人助理(Siri / Alexa),聊天機器人和問答機器人a等應用程序真正徹底改變了我們與機器和開展日常生活的方式。自然語言理解(NLU)和自然語言生成(NLG)是人工智能發展最快的應用之一,因為人們越來越需要理解和從語言中獲得意義,其中含有大量含糊不清的結構。 根據Gartner的說法,“到2019年,自然語言生成將成為90%的現代BI和分析平臺的標準功能”。 在這篇文章中,我們將討論NLG成立初期的簡短歷史,以及它在未來幾年的發展方向。

什么是自然語言生成

語言生成的目標是通過預測句子中的下一個單詞來傳達信息。 可以通過使用語言模型來解決。語言模型是對詞序列的概率分布。 語言模型可以在字符級別,短語級別,句子級別甚至段落級別構建。 例如,為了預測“我需要學習如何___”之后出現的下一個單詞,模型為下一個可能的單詞分配概率,這些單詞可以是“寫作”,“開車”等。神經網絡最新進展如RNN和LSTM允許處理長句,顯著提高語言模型的準確性。

馬爾可夫鏈

馬爾可夫鏈是最早用于語言生成的算法之一。 它通過使用當前單詞來預測句子中的下一個單詞。 例如,如果模型僅使用以下句子進行訓練:“我早上喝咖啡”和“我吃三明治加茶”。 有100%的可能性預測“咖啡”跟隨“飲酒”,而“我”有50%的機會跟著“喝”,50%跟隨“吃”。 馬爾可夫鏈考慮每個獨特單詞之間的關系來計算下一個單詞的概率。 它們在早期版本的智能手機鍵盤中使用,為句子中的下一個單詞生成建議。

自然語言生成的演變史

遞歸神經網絡(RNN)

神經網絡是受人類大腦運作啟發的模型,通過建模輸入和輸出之間的非線性關系提供另一種計算方法 - 它們用于語言建模被稱為神經語言建模。

RNN是一種可以利用輸入的順序性質的神經網絡。 它通過前饋網絡傳遞序列的每個項目,并將模型的輸出作為序列中下一項的輸入,允許存儲前面步驟中的信息。 RNN擁有的“記憶”使它們非常適合語言生成,因為它們可以隨時記住對話的背景。 RNN與馬爾可夫鏈不同,因為它會查看先前看到的單詞來進行預測。

自然語言生成的演變史

用于語言生成的RNN

在RNN的每次迭代中,模型在其存儲器中存儲遇到的先前單詞并計算下一單詞的概率。 例如,如果模型生成了文本“我們需要租用___”,那么它現在必須弄清楚句子中的下一個單詞。 對于字典中的每個單詞,模型根據它看到的前一個單詞分配概率。 在我們的例子中,“house”或“car”這個詞比“river”或“dinner”這樣的詞有更高的概率。 選擇具有最高概率的單詞并將其存儲在存儲器中,然后模型繼續進行下一次迭代。

RNN受到梯度消失的限制。 隨著序列的長度增加,RNN不能存儲在句子中遠處遇到的單詞,并且僅基于最近的單詞進行預測。 這限制了RNN用于產生聽起來連貫的長句子的應用。

LSTM

基于LSTM的神經網絡是RNN的變體,旨在更準確地處理輸入序列中的長程依賴性。 LSTM具有與RNN類似的鏈式結構; 然而,它們包括四層神經網絡而不是RNN的單層網絡。 LSTM由4個部分組成:單元,輸入門,輸出門和忘記門。 這些允許RNN通過調節單元的信息流來記住或忘記任意時間間隔的單詞。

考慮以下句子作為模型的輸入:“我來自西班牙。我精通____。“為了正確預測下一個單詞為”西班牙語“,該模型在前面的句子中側重于”西班牙“一詞,并使用單元格的記憶”記住“它。該信息在處理序列時由單元存儲,然后在預測下一個字時使用。當遇到句號時,遺忘門意識到句子的上下文可能有變化,并且可以忽略當前的單元狀態信息。這允許網絡選擇性地僅跟蹤相關信息,同時還最小化消失的梯度問題,這允許模型在更長的時間段內記住信息。

LSTM及其變體似乎是消除漸變以產生連貫句子的問題的答案。然而,由于仍存在從先前單元到當前單元的復雜順序路徑,因此可以節省多少信息存在限制。這將LSTM記憶的序列長度限制為幾百個單詞。另一個缺陷是LSTM由于高計算要求而非常難以訓練。由于它們的順序性,它們難以并行化,限制了它們利用諸如GPU和TPU之類的現代計算設備的能力。

Transformer

Transformer最初是在2017年Google論文“Attention is all you need”中引入的,它提出了一種稱為“自注意力機制”的新方法。變形金剛目前正在各種NLP任務中使用,例如語言建模,機器翻譯和文本生成。變換器由一堆編碼器組成,用于處理任意長度的輸入和另一堆解碼器,以輸出生成的句子。

與LSTM相比,Transformer僅執行小的,恒定數量的步驟,同時應用自注意力機制,該機制直接模擬句子中所有單詞之間的關系,而不管它們各自的位置如何。當模型處理輸入序列中的每個單詞時,自注意力允許模型查看輸入序列的其他相關部分以更好地編碼單詞。它使用多個注意頭,擴展了模型聚焦在不同位置的能力,無論它們在序列中的距離如何。

最近,對普通Transformer架構進行了一些改進,顯著提高了它們的速度和精度。在2018年,谷歌發布了一篇關于變形金剛雙向編碼器表示的論文(BERT),該論文為各種NLP任務提供了最先進的結果。同樣,在2019年,OpenAI發布了一個基于變換器的語言模型,其中包含大約15億個參數,只需幾行輸入文本即可生成長篇連貫的文章。

用于語言生成的Transformer

最近,Transformer也被用于語言生成。 用于語言生成的Transformer最著名的例子之一是OpenAI,他們的GPT-2語言模型。 該模型通過使用注意力集中于先前在模型中看到的與預測下一個單詞相關的單詞來學習預測句子中的下一個單詞。

使用變形金剛生成文本的基礎與機器翻譯所遵循的結構類似。如果我們采用一個例句“她的禮服有粉紅色,白色和___點。”該模型將預測藍色,通過使用自注意力分析列表中的前一個單詞作為顏色(白色和粉紅色)并理解期望的詞也需要是一種顏色。自我關注允許模型選擇性地關注每個單詞的句子的不同部分,而不是僅僅記住循環塊(在RNN和LSTM中)的一些特征,這些特征通常不會用于幾個塊。這有助于模型回憶起前一句的更多特征,并導致更準確和連貫的預測。與以前的模型不同,Transformer可以在上下文中使用所有單詞的表示,而無需將所有信息壓縮為單個固定長度表示。這種架構允許變換器在更長的句子中保留信息,而不會顯著增加計算要求。它們在跨域的性能也優于以前的模型,無需特定領域的修改。

語言生成的未來

在這篇博客中,我們看到了語言生成的演變,從使用簡單的馬爾可夫鏈生成句子到使用自我注意模型生成更長距離的連貫文本。然而,我們正處于生成語言建模的曙光,而變形金剛只是向真正自主文本生成方向邁出的一步。還針對其他類型的內容(例如圖像,視頻音頻)開發了生成模型。這開啟了將這些模型與生成文本模型集成的可能性,以開發具有音頻/視覺界面的高級個人助理。

然而,作為一個社會,我們需要謹慎對待生成模型的應用,因為它們為生成假新聞,虛假評論和在線冒充人們開辟了多種可能性。 OpenAI決定拒絕發布他們的GPT-2語言模型,因為它可能被誤用,這證明了我們現在已經進入了一個語言模型足夠引起關注的時代。

生成模型有可能改變我們的生活;然而,它們是一把雙刃劍。通過對這些模型進行適當的審查,無論是通過研究界還是政府法規,未來幾年在這一領域肯定會取得更多進展。無論結果如何,都應該有激動人心的時刻!

未來智能實驗室是人工智能學家與科學院相關機構聯合成立的人工智能,互聯網和腦科學交叉研究機構。

未來智能實驗室的主要工作包括:建立AI智能系統智商評測體系,開展世界人工智能智商評測;開展互聯網(城市)云腦研究計劃,構建互聯網(城市)云腦技術和企業圖譜,為提升企業,行業與城市的智能水平服務。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • AI
    AI
    +關注

    關注

    87

    文章

    30993

    瀏覽量

    269279
  • 人工智能
    +關注

    關注

    1791

    文章

    47350

    瀏覽量

    238741
  • 機器
    +關注

    關注

    0

    文章

    784

    瀏覽量

    40741

原文標題:自然語言生成的演變史

文章出處:【微信號:AItists,微信公眾號:人工智能學家】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    自然語言處理與機器學習的關系 自然語言處理的基本概念及步驟

    自然語言處理(Natural Language Processing,簡稱NLP)是人工智能和語言學領域的一個分支,它致力于研究如何讓計算機能夠理解、解釋和生成人類語言。機器學習(Ma
    的頭像 發表于 12-05 15:21 ?504次閱讀

    語音識別與自然語言處理的關系

    在人工智能的快速發展中,語音識別和自然語言處理(NLP)成為了兩個重要的技術支柱。語音識別技術使得機器能夠理解人類的語音,而自然語言處理則讓機器能夠理解、解釋和生成人類語言。這兩項技術
    的頭像 發表于 11-26 09:21 ?420次閱讀

    ASR與自然語言處理的結合

    ASR(Automatic Speech Recognition,自動語音識別)與自然語言處理(NLP)是人工智能領域的兩個重要分支,它們在許多應用中緊密結合,共同構成了自然語言理解和生成的技術體系
    的頭像 發表于 11-18 15:19 ?426次閱讀

    自然語言處理與機器學習的區別

    是計算機科學、人工智能和語言學領域的分支,它致力于使計算機能夠理解、解釋和生成人類語言。NLP的目標是縮小人類語言和計算機之間的差距,使計算機能夠處理和
    的頭像 發表于 11-11 10:35 ?605次閱讀

    使用LLM進行自然語言處理的優缺點

    自然語言處理(NLP)是人工智能和語言學領域的一個分支,它致力于使計算機能夠理解、解釋和生成人類語言。大型語言模型(LLM)是NLP領域的一
    的頭像 發表于 11-08 09:27 ?489次閱讀

    自然語言處理技術有哪些

    自然語言處理(Natural Language Processing,簡稱NLP)是人工智能領域的一個分支,它致力于使計算機能夠理解、解釋和生成人類語言自然語言處理技術的發展已經取得
    的頭像 發表于 07-03 14:30 ?1184次閱讀

    自然語言處理模式的優點

    自然語言處理(Natural Language Processing,簡稱NLP)是人工智能領域的一個重要分支,它致力于使計算機能夠理解、生成和處理人類語言。隨著技術的發展,自然語言
    的頭像 發表于 07-03 14:24 ?801次閱讀

    自然語言處理技術的核心是什么

    自然語言處理(Natural Language Processing,簡稱NLP)是人工智能領域的一個重要分支,其核心目標是使計算機能夠理解、生成和處理人類語言。NLP技術的發展已經取得了顯著的進展
    的頭像 發表于 07-03 14:20 ?780次閱讀

    自然語言處理是什么技術的一種應用

    自然語言處理(Natural Language Processing,簡稱NLP)是人工智能和語言學領域的一個分支,它涉及到使用計算機技術來處理、分析和生成自然語言文本。
    的頭像 發表于 07-03 14:18 ?965次閱讀

    自然語言處理包括哪些內容

    自然語言處理(Natural Language Processing,簡稱NLP)是人工智能領域的一個重要分支,它涉及到計算機與人類語言之間的交互。NLP的目標是讓計算機能夠理解、生成和處理人類
    的頭像 發表于 07-03 14:15 ?939次閱讀

    自然語言列舉法描述法各自的特點

    自然語言處理(Natural Language Processing,簡稱NLP)是人工智能領域的一個重要分支,它涉及到計算機與人類語言之間的交互。自然語言處理技術使得計算機能夠理解、生成
    的頭像 發表于 07-03 14:13 ?1081次閱讀

    自然語言處理屬于人工智能的哪個領域

    之間的交互,旨在使計算機能夠理解、生成和處理自然語言自然語言處理:人工智能的皇冠上的明珠 引言 人工智能作為一門跨學科的研究領域,涵蓋了計算機科學、數學、心理學、語言學等多個學科。
    的頭像 發表于 07-03 14:09 ?1377次閱讀

    什么是自然語言處理 (NLP)

    自然語言處理(Natural Language Processing, NLP)是人工智能領域中的一個重要分支,它專注于構建能夠理解和生成人類語言的計算機系統。NLP的目標是使計算機能夠像人類一樣
    的頭像 發表于 07-02 18:16 ?1201次閱讀

    自然語言處理技術的原理的應用

    自然語言處理(Natural Language Processing, NLP)作為人工智能(AI)領域的一個重要分支,旨在使計算機能夠理解和處理人類自然語言。隨著互聯網的普及和大數據技術的發展
    的頭像 發表于 07-02 12:50 ?535次閱讀

    神經網絡在自然語言處理中的應用

    自然語言處理(NLP)是人工智能領域中的一個重要分支,它研究的是如何使計算機能夠理解和生成人類自然語言。隨著人工智能技術的飛速發展,神經網絡在自然語言處理中的應用逐漸展現出其強大的潛力
    的頭像 發表于 07-01 14:09 ?519次閱讀
    主站蜘蛛池模板: 国产成人精品自拍| 国产国产乱老熟视频网站| 成人性生交片无码免费看| 蓝男色gay| 一二三四在线视频社区| 国产一区内射最近更新| 喜马拉雅听书免费版| 国产精品久久久精品a级小说| 人人干人人看| 成人国产在线视频| 日美一级毛片| 厕所RXXX| 爽死你个放荡粗暴小淫货漫画| 丰满女朋友在线观看中文| 乳交高H糙汉宠文| 国产精品第一综合首页| 无码中文字幕av免费放| 国产日韩在线欧美视频| 亚洲精品色播一区二区| 久久re这里精品23| 最好看中文字幕国语| 免费视频国产| 纯肉小黄文高H| 偷拍 拍自 欧美色区| 国产最新进精品视频| 伊人精品国产| 女的把腿张开男的往里面插| yellow免费影视大全| 日韩在线看片中文字幕不卡| 国产精品亚洲一区二区三区久久| 午夜影院视费x看| 精品熟女少妇AV久久免费A片| 13一18TV处流血TV| 青青草国产精品| 国产色婷亚洲99精品AV在| 亚洲色在线| 欧美极限扩肛| 国产午夜亚洲精品不卡电影| 永久adc视频年龄确认| 奇米狠狠干| 国产系列视频二区|