色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

是否可以利用全局語義上下文改進QuickType鍵盤的單詞預測?

zhKF_jqr_AI ? 來源:未知 ? 作者:李倩 ? 2018-10-08 09:19 ? 次閱讀

編者按:從iOS 8開始,蘋果就在iPhone上采用了一個全新的預測文本功能——QuickType鍵盤。當你在打字的時候,系統會根據你的書寫風格,提示接下來可能會鍵入的字詞或短語供你選擇,類似中文輸入法中的智能建議。

這一功能基于其背后強大的自然語言處理(NLP)模型,而在過去幾年中,這種詞向量模型也是新聞、搜索和地圖等其他應用程序的核心。在這篇文章中,我們將介紹蘋果研究人員近期的一項新探索:是否可以利用全局語義上下文改進QuickType鍵盤的單詞預測?

簡介

You shall know a word by the company it keeps.(現代語言學名句:觀其伴而知其意。即通過分析大型語言語料庫中詞匯共現的模式,我們可以得出詞語的語義表征)

現如今,訓練詞嵌入模型的大多數方法都圍繞句子中給定單詞的上下文,以出現在中心詞前后的幾個單詞(比如5個)為觀察“窗口”,從中挖掘信息。以美國《獨立宣言》中出現的代詞“self-evident”為例,它的左側是“hold these truths to be”,右側是“that all men are created”。

本文將在這類方法的基礎上做進一步擴展,探索模型是否能捕獲文檔的整個語義結構,簡而言之,在新模型中,“self-evident”將可以把整本《獨立宣言》作為自己的上下文。那么,這種全局語義上下文能否提高語言模型的性能呢?要解決這個問題,我們先看看現在的詞嵌入用法。

詞嵌入

詞嵌入(Word Embeddings)是NLP中的一個常見操作,現在,以無監督方式訓練的連續空間詞嵌入已經被證實可用于各種NLP任務,比如信息檢索、文本分類、問答和序列語言建模等。其中最基礎的一種詞嵌入是1-of-N Encoding,即假設存在一個大小為N的基礎單詞集,每個單詞都由一個N維系數向量表示(在單詞索引處為1,在其他地方為0)。

但這種方法有兩個缺陷,一是它的正交性會弱化相似單詞之間關系,二是編碼結果容易過長。因此我們也已經有了更復雜的嵌入——將單詞映射到低維連續向量空間中的密集向量中,這種映射不僅能降低維度,還有利于捕獲關于單詞的語義、句法和語用信息。

有了詞向量,我們就能通過計算向量之間的距離判斷兩個單詞的相似程度。

比較常見的降維詞嵌入類型有兩種:

從單詞所在文本的上下文中導出表示(前L個單詞和后L個單詞,L一般是個較小的整數)

利用圍繞單詞的全局上下文的表示(單詞所在的整個文本)

其中,利用文本上下文的方法包括:

用于預測的神經網絡架構,如連續詞袋模型和skip-gram模型

序列語言模型中的投影層(projection layer)

編碼器的Bottleneck表示

利用全局上下文的方法包括:

全局矩陣分解方法,如潛在語義映射(LSM),它計算word-document共現次數

Log-Liner Model,如GloVe,它計算word-word共現次數

從理想的角度看,像LSM這種計算全局共現的方法其實是最接近真正的語義嵌入的,因為它們捕獲的是整個文本傳達的語義概念的統計信息。相比之下,基于預測的神經網絡只是把語義關系封裝到以目標單詞為中心的局部文本中,不夠全面。因此,當涉及全局語義信息時,由這種方法產生的嵌入往往存在局限。

但是,盡管存在這種局限,現在越來越多的研究人員還是投向神經網絡,尤其是廣受歡迎的連續詞袋模型和skip-gram模型。因為它們能解決“國王對于女王就像男人對于女人”這類類比,而LSM經常失敗。對此,一種普遍看法是基于LSM的方法會使向量空間的各個維度不夠精確,因此只能產生次優的空間結構。

這個認識引起了蘋果研究人員的極大興趣,因為現用QuickType鍵盤是基于LSM設計的,在他們最新的博客中,他們就是否可以通過使用不同類型的神經網絡架構來實現更強大的語義嵌入進行了探討。

神經架構

談及生成詞嵌入,最著名的框架之一是word2vec,但研究人員在文章中采用的是一種能提供全局語義嵌入的特殊RNN——bi-LSTM。它允許模型訪問先前、當前和未來的輸入信息,把握全局上下文。

為了讓模型能輸入整個完整文檔,他們重新設計了這個架構,如下圖所示,模型的輸出能提供與該文檔相關聯的語義類別這意味著生成的詞嵌入捕獲的是輸入的整個語義結構,而不僅是局部上下文。

這個架構主要解決了兩個障礙。其一是對目標單詞上下文的單詞數限制,它原則上可以容納無限長度的上下文,這樣就不僅可以處理句子,還可以處理整個段落,甚至是完整的文檔。

圖一 能捕獲全局語義結構的RNN

其二涉及預測目標本身。到目前為止,神經網絡這種解決方案都基于局部上下文信息,無法充分反映全局語義信息,但是上圖已經是一個能輸入完整文本的神經網絡了。為了簡化語義標簽的生成,研究人員發現派生合適的聚類類別是有幫助的,例如,他們可以用LSM獲得初始word-document嵌入。

設當前存在一個文本塊(可以是句子,也可以是段落、文檔),它由T個單詞x(t)構成(1≤t≤T),且存在一個全局關聯的語義類別z。我們把它輸入修改過的bi-LSTM。

用1-of-N encoding對輸入文本中的單詞x(t)編碼,把x(t)轉成N維稀疏向量。此時,x(t)左側的上下文向量h(t ? 1)維數為H,它包含前一個時間步的隱藏層中輸出值信息的內部表示;x(t)右側的上下文向量g(t + 1)維數也是H,它包含下一個時間步的隱藏層中的右側上下文輸出值信息。網絡在當前時間步計算隱藏節點的輸出值,如下所示:

其中,

F{·}表示激活函數,如sigmoid、tanh、ReLU

s(t)表示網絡狀態,這是左右上下文隱藏節點的串聯:s(t) = [g(t) h(t)],維數為2H。我們可以把網絡狀態看作是2H向量空間中,單詞x(t)的連續空間表示

網絡的輸出是與輸入文本相關聯的語義類別。在每個時間步,對應于當前單詞的輸出標簽z再被1-of-K encoding:

其中,G {·}表示softmax激活函數。

當我們訓練網絡時,我們假設有一組語義類別注釋可用。如前所述,這些注釋可能來自使用LSM獲得的初始word-document嵌入。為了避免出現梯度消失,這個架構把隱藏節點設計成了LSTM和GRU里的形式,我們可以根據需要將圖一中的單個隱藏層擴展到任意復雜、任意深度的網絡。

神經語言建模

在實驗中,研究人員使用的是之前訓練QuickType時所用的語料庫的子集,如下表所示,他們測試了三種不同嵌入模型在測試集上的困惑度表現,其中“1-of-N”表示標準稀疏嵌入,“word2vec”是標準word2vec嵌入,“bi-LSTM”是他們改進后的方法。

可以發現,“bi-LSTM”使用的訓練數據是最少的,但它的性能卻和比他多用了6倍訓練數據的“word2vec”差不多,而“1-of-N”模型如果要達到同樣的困惑度,它使用的訓練數據得是“bi-LSTM”的5000倍以上。

因此,這種能捕獲全局語義結構的方法非常適合數據量有限的公司、實驗室。

結論

相比現有方法,將全局語義信息納入神經語言模型具有明顯的潛在優勢,它也是NLP研究的一個趨勢。但是,在實驗過程中,研究人員也發現這種方法確實還存在限制,在段落數據上訓練詞嵌入和在句子數據上訓練語言模型時,其中還存在一個長度不匹配的問題。

對此,研究人員提出的方案是修改語言模型訓練中使用的客觀標準,以便人們能在同一段落數據上同時訓練嵌入和語言模型。總之,使用bi-LSTM RNN訓練全局語義詞嵌入確實可以提高神經語言建模的準確性,它還可以大大降低對訓練所需的數據量的要求。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4771

    瀏覽量

    100719
  • 自然語言處理

    關注

    1

    文章

    618

    瀏覽量

    13553

原文標題:Apple:全局語義上下文可以改善神經語言模型嗎?

文章出處:【微信號:jqr_AI,微信公眾號:論智】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    是否可以利用偽差分的方式通過ADS1256進行采集?

    1、信號源為Vout和GND,Vout對GND可以為正也可以為負,范圍在±300mv左右。是否可以利用偽差分的方式通過ADS1256進行采集?精度要達到0.01mv,
    發表于 12-13 06:14

    阿里通義千問發布Qwen2.5-Turbo開源AI模型

    近日,阿里通義千問官方宣布,經過數月的精心優化與改進,正式推出了Qwen2.5-Turbo開源AI模型。這款新模型旨在滿足社區對更長上下文長度的迫切需求,為用戶帶來更加便捷、高效的AI
    的頭像 發表于 11-19 18:07 ?567次閱讀

    SystemView上下文統計窗口識別阻塞原因

    SystemView工具可以記錄嵌入式系統的運行時行為,實現可視化的深入分析。在新發布的v3.54版本中,增加了一項新功能:上下文統計窗口,提供了對任務運行時統計信息的深入分析,使用戶能夠徹底檢查每個任務,幫助開發人員識別阻塞原因。
    的頭像 發表于 08-20 11:31 ?431次閱讀

    【《大語言模型應用指南》閱讀體驗】+ 基礎知識學習

    能夠關注到輸入文本中的重要部分,從而提高預測的準確性和效率。這種機制允許模型在處理文本時同時考慮多個位置的信息,并根據重要性進行加權處理。 一些關鍵技術 1. 上下文理解 大語言模型能夠同時考慮句子前后
    發表于 08-02 11:03

    鴻蒙Ability Kit(程序框架服務)【應用上下文Context】

    [Context]是應用中對象的上下文,其提供了應用的一些基礎信息,例如resourceManager(資源管理)、applicationInfo(當前應用信息)、dir(應用文件路徑)、area
    的頭像 發表于 06-06 09:22 ?491次閱讀
    鴻蒙Ability Kit(程序框架服務)【應用<b class='flag-5'>上下文</b>Context】

    編寫一個任務調度程序,在上下文切換后遇到了一些問題求解

    大家好, 我正在編寫一個任務調度程序,在上下文切換后遇到了一些問題。 為下一個任務恢復上下文后: __builtin_tricore_mtcr_by_name(\"pcxi\"
    發表于 05-22 07:50

    鴻蒙開發接口Ability框架:【ServiceExtensionContext】

    ServiceExtensionContext模塊是ServiceExtension的上下文環境,繼承自ExtensionContext。
    的頭像 發表于 05-20 16:26 ?820次閱讀
    鴻蒙開發接口Ability框架:【ServiceExtensionContext】

    鴻蒙開發接口Ability框架:【(AbilityContext)】

    AbilityContext是Ability的上下文環境,繼承自Context。
    的頭像 發表于 05-13 09:26 ?1008次閱讀
    鴻蒙開發接口Ability框架:【(AbilityContext)】

    【大語言模型:原理與工程實踐】大語言模型的基礎技術

    :為了融入詞的語義信息,John Rupert 提出了分布式語義假設,即詞的語義可以由其上下文的分布表示。基于這一思想,
    發表于 05-05 12:17

    關于嵌入式C語言的弱符號和弱引用解析

     總之,__attribute__ 起到了給編譯器提供上下文的作用,如果錯誤的使用 __attribute__ 指令,因為給編譯器提供了錯誤的上下文,由此引起的錯誤通常很難被發現。
    發表于 05-03 10:48 ?223次閱讀

    OpenHarmony中SELinux使用詳解

    )和上下文(context)。 我們可以通過ps -Z 命令來查看當前進程的域信息,也就是進程的SELinux信息: **# ps -Z LABEL PID TTY TIME CMD u:r:sh
    發表于 04-03 10:43

    TC397收到EVAL_6EDL7141_TRAP_1SH 3上下文管理EVAL_6EDL7141_TRAP_1SH錯誤怎么解決?

    我收到EVAL_6EDL7141_TRAP_1SH 3 類(TIN4-Free 上下文列表下溢)上下文管理EVAL_6EDL7141_TRAP_1SH錯誤。 請告訴我解決這個問題的辦法。
    發表于 03-06 08:00

    請問risc-v中斷還需要軟件保存上下文和恢復嗎?

    risc-v中斷還需要軟件保存上下文和恢復嗎?
    發表于 02-26 07:40

    ISR的上下文保存和恢復是如何完成的?

    函數:ifxCPU_enableInterrupts ();如果我讓更高優先級的 ISR 中斷優先級較低的 ISR,那么 ISR 的上下文保存和恢復是如何完成的?
    發表于 01-22 06:28

    2023年大語言模型(LLM)全面調研:原理、進展、領跑者、挑戰、趨勢

    大型語言模型(LLM)是基于人工智能的先進模型,經過訓練,它可以密切反映人類自然交流的方式處理和生成人類語言。這些模型利用深度學習技術和大量訓練數據來全面理解語言結構、語法、上下文語義
    的頭像 發表于 01-03 16:05 ?1158次閱讀
    2023年大語言模型(LLM)全面調研:原理、進展、領跑者、挑戰、趨勢
    主站蜘蛛池模板: acg全彩无遮挡口工漫画网址| 精品一品国产午夜福利视频| 日韩精品a在线视频| 办公室的秘密2中文字幕| 入禽太深在线观看免费高清| 色综合久久88色综合天天提莫| 在线免费观看国产精品| 门事件快播| 爱看吧孕妇网| 乌克兰18性hd| 精品性影院一区二区三区内射 | 印度老妇女bbbxxx| 美娇妻的性奴史1一4| 成人区在线观看免费视频| 偷拍自怕亚洲在线第7页| 娇妻让壮男弄的流白浆| 91嫩草国产在线观看免费| 久见久热 这里只有精品| 91日本在线观看亚洲精品| 日本阿v在线资源无码免费| rio 快播| 亚洲AV国产福利精品在现观看 | 少妇高潮A视频| 久久看片网| 国产成人综合视频| 在线欧美 精品 第1页| 日本女人下面毛茸茸| 好紧小嫩嫩水的10p| BL全肉多攻NP高H| 亚洲精品国产高清不卡在线| 美女屁股软件| 国产亚洲福利在线视频| 亚洲国产黄色| 日本欧美午夜三级| 亚洲国产中文在线视频| 捏奶动态图吃奶动态图q| 国产亚洲精品久久久闺蜜| 把腿张开JI巴CAO死你H教室| 影视先锋男人无码在线| 午夜福利免费0948视频| 欧美一区二区三区不卡免费|