色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

論文遭首屆ICLR拒稿、代碼被過度優化,word2vec作者Tomas Mikolov分享背后的故事

深度學習自然語言處理 ? 來源:機器之心 ? 2023-12-18 16:51 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

除了表達自己獲得 NeurIPS 2023 時間檢驗獎的感想之外,Tomas Mikolo 還對 NLP 和 ChatGPT 的現狀給出了自己的一些思考。

幾天前,NeurIPS 2023 公布了獲獎論文,其中時間檢驗獎頒給了十年前的 NeurIPS 論文「Distributed Representations of Words and Phrases and their Compositionality」。這項工作引入了開創性的詞嵌入技術 word2vec,展示了從大量非結構化文本中學習的能力,推動了自然語言處理新時代的到來。

這篇論文由當時都還在谷歌的 Tomas Mikolov、Ilya Sutskever、Kai Chen、Greg Corrado、Jeffrey Dean 等人撰寫,被引量超過 4 萬次。

6db585ca-9d7c-11ee-8b88-92fbcf53809c.png

不過,Word2vec 首篇論文是 Tomas Mikolov 等同一作者的「Efficient Estimation of Word Representations in Vector Space」。這篇論文的引用量也已經接近 4 萬。

6db9b87a-9d7c-11ee-8b88-92fbcf53809c.png

論文地址:https://arxiv.org/abs/1301.3781

近日,Tomas Mikolov 分享了論文背后更多的故事,包括被首屆 ICLR 拒稿以及之后的進展等。

6dc46cac-9d7c-11ee-8b88-92fbcf53809c.jpg

圖源:https://www.facebook.com/tomas.mikolov

以下為原貼內容,我們做了不改變原意的整理。

我非常高興 word2vec 論文獲得了 NeurIPS 2023 時間檢驗獎,這是我獲得的第一個最佳論文類型的獎項。實際上,word2vec 原始論文在 2013 年首屆 ICLR 會議被拒絕接收了(盡管接收率很高),這讓我想到審稿人預測論文的未來影響是多么困難。

這些年,我聽到了很多關于 word2vec 的評論,正面的還有負面的,但至今沒有在網絡上認真地發表過評論。我覺得研究界正在不斷地被一些研究人員的 PR 式宣傳淹沒,他們通過這樣的方式獲得他人的論文引用和注意力。我不想成為其中的一部分,但 10 年后,分享一些關于論文背后的故事可能會很有趣。

我經常聽到的一個評論是,代碼很難理解,以至于有些人認為是我故意地讓代碼不可讀。但我沒有那么邪惡,代碼最終被過度優化了,因為我等了好幾個月才被批準發布它。我也試圖讓代碼更快更短。回想起來,如果當時團隊中沒有 Greg Corrado 和 Jeff Dean,我懷疑自己是否會獲得批準。我認為 word2vec 可能是谷歌開源的第一個廣為人知的 AI 項目。

在 word2vec 發布一年多后,斯坦福 NLP 小組的 GloVe 項目也引發了很大爭議。雖然該項目從我們的項目中復刻了很多技巧,但總感覺 GloVe 倒倒退了一步:速度較慢,還需要更多內存,生成的向量質量比 word2vec 低。然而,GloVe 是基于在更多數據上預訓練的詞向量發布的,因而很受歡迎。之后,我們在 fastText 項目中修復了相關問題,在使用相同數據進行訓練時,word2vec 比 GloVe 好得多。

盡管 word2vec 是我被引用最多的論文,但我從未認為它是我最有影響力的項目。實際上,word2vec 代碼最初只是我之前項目 RNNLM 的一個子集,我感覺 RNNLM 很快就被人們遺忘了。但在我看來,它應該和 AlexNet 一樣具有革命性意義。

在這里,我列舉一些在 2010 年 RNNLM 中首次展示的想法:遞歸神經網絡的可擴展訓練、首次通過神經語言模型生成文本、動態評估、字符和子詞級別的神經語言建模、神經語言模型自適應(現在稱為微調)、首個公開可用的 LM 基準。

我發布了第一項研究,顯示當一切正確完成時,訓練數據越多,神經網絡就能比 n-gram 語言模型更勝一籌。這在今天聽起來是顯而易見的,但在當時這被廣泛認為是不可能的,甚至大多數谷歌員工都認為,數據越多,除了 n-gram 和平滑技術外,其他任何工作都是徒勞的。

我很幸運能在 2012 年加入谷歌 Brain 團隊,那里有很多大規模神經網絡的「信徒」,他們允許我參與 word2vec 項目,展示了它的潛力。但我不想給人留下到這里就足夠完美的印象。在 word2vec 之后,作為后續項目,我希望通過改進谷歌翻譯來普及神經語言模型。我確實與 Franz Och 和他的團隊開始了合作,在此期間我提出了幾種模型,這些模型可以補充基于短語的機器翻譯,甚至可以取代它。

其實在加入谷歌之前,我就提出了一個非常簡單的想法,通過在句子對(比如法語 - 英語)上訓練神經語言模型來實現端到端的翻譯,然后在看到第一句話后使用生成模式生成翻譯。這對短句子效果很好,但在長句子上就不那么奏效了。

我在谷歌 Brain 內部多次討論過這個項目,主要是與 Quoc 和 Ilya,在我轉到 Facebook AI 后他們接手了這個項目。我感到非常意外的是,他們最終以「從序列到序列(sequence to sequence)」為名發表了我的想法,不僅沒有提到我是共同作者,而且在長長的致謝部分提及了谷歌 Brain 中幾乎所有的人,唯獨沒有我。那時是資金大量涌入人工智能領域的時期,每一個想法都價值連城。看到深度學習社區迅速變成某種權力的游戲,我感到很悲哀。

總之,多年來人們對語言模型的興趣增長緩慢,但自從 ChatGPT 發布以來,人們對它的興趣呈爆炸式增長,看到這么多人終于將人工智能和語言聯系在一起,真的很酷。我們還沒有到達那個階段,我個人認為我們需要有新的發現來突破神經模型的泛化極限。我們無疑生活在一個激動人心的時代。但是,讓我們不要過分信任那些想要壟斷基于數十位甚至數百位科學家辛勤工作的技術,同時聲稱這一切都是為了人類的利益的人。

不過,Tomas Mikolov 的發言也讓人感嘆,他也要步 LSTM 之父 Jürgen Schmidhuber 的后塵嗎?

6dd0b426-9d7c-11ee-8b88-92fbcf53809c.png

圖源:https://twitter.com/agihippo/status/1736107652407849208

你們怎么看呢?

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 代碼
    +關注

    關注

    30

    文章

    4899

    瀏覽量

    70655
  • nlp
    nlp
    +關注

    關注

    1

    文章

    490

    瀏覽量

    22605
  • ChatGPT
    +關注

    關注

    29

    文章

    1589

    瀏覽量

    9062

原文標題:論文遭首屆ICLR拒稿、代碼被過度優化,word2vec作者Tomas Mikolov分享背后的故事

文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。

收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    怎么把UI設計稿轉為代碼?在線UI設計工具一鍵生成!

    近日,華為開發者大會2025(HDC)在東莞松山湖正式拉開帷幕,這場備受矚目的盛會為全球科技行業帶來了諸多驚喜。其中,Pixso團隊發布的全新設計稿一鍵轉代碼功能,成為了本次大會的一大亮點。這項創新
    的頭像 發表于 06-25 12:04 ?199次閱讀
    怎么把UI設計<b class='flag-5'>稿</b>轉為<b class='flag-5'>代碼</b>?在線UI設計工具一鍵生成!

    鴻蒙5開發寶藏案例分享---性能優化案例解析

    鴻蒙性能優化寶藏指南:實戰工具與代碼案例解析 大家好呀!今天在翻鴻蒙開發者文檔時,意外挖到一個 性能優化寶藏庫 ——原來官方早就提供了超多實用工具和案例,但很多小伙伴可能沒發現!這篇就帶大家手把手
    發表于 06-12 16:36

    基于STM32藍牙控制小車系統設計(硬件+源代碼+論文)下載

    基于STM32藍牙控制小車系統設計(硬件+源代碼+論文)推薦下載!
    發表于 05-29 21:45

    基于STM32的智能水產養殖系統電路+代碼+論文實例打包下載

    基于STM32的智能水產養殖系統電路+代碼+論文實例打包,推薦下載!
    發表于 05-29 21:40

    后摩智能四篇論文入選三大國際頂會

    2025 年上半年,繼年初 AAAI、ICLR、DAC 三大國際頂會收錄 5 篇論文后,后摩智能近期又有 4 篇論文入選CVPR、ICML、ACL三大國際頂會,面向大模型的編碼、量化
    的頭像 發表于 05-29 15:37 ?359次閱讀

    基于STM32藍牙控制小車系統設計(硬件+源代碼+論文) 項目實例下載

    基于STM32藍牙控制小車系統設計(硬件+源代碼+論文) 項目實例下載! 純分享帖,需要者可點擊附件免費獲取完整資料~~~【免責聲明】本文系網絡轉載,版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題,請第一時間告知
    發表于 05-23 20:55

    美報告:中國芯片研究論文全球領先

    據新華社報道,美國喬治敦大學“新興技術觀察項目(ETO)”3日在其網站發布一份報告說,2018年至2023年間,在全球發表的芯片設計和制造相關論文中,中國研究人員的論文數量遠超其他國家,中國在高
    的頭像 發表于 03-05 14:32 ?1085次閱讀

    后摩智能5篇論文入選國際頂會

    2025年伊始,后摩智能在三大國際頂會(AAAI、ICLR、DAC)中斬獲佳績,共有5篇論文收錄,覆蓋大語言模型(LLM)推理優化、模型量化、硬件加速等前沿方向。
    的頭像 發表于 02-19 14:02 ?752次閱讀
    后摩智能5篇<b class='flag-5'>論文</b>入選國際頂會

    Spire.Cloud.Word云端Word文檔處理SDK介紹

    Spire.Cloud.Word 是一款專業的云端 Word 文檔處理 SDK,開發人員使用它在云端創建、讀取、編輯、轉換和保存 Word 文檔。作為一款完全獨立的組件,運行環境無需安裝
    的頭像 發表于 02-11 11:11 ?471次閱讀
    Spire.Cloud.<b class='flag-5'>Word</b>云端<b class='flag-5'>Word</b>文檔處理SDK介紹

    openKylin開源桌面操作系統的背后故事

    近日,在2024開放原子開發者大會暨首屆開源技術學術大會開幕式上,開放原子開源基金會與openKylin、EasyAda、KWDB開源項目舉行捐贈簽約儀式。
    的頭像 發表于 12-30 10:18 ?598次閱讀

    華為Mate 70 Pro+高亮鈦背后的材料工藝故事

    華為Mate 70 Pro+全新高亮鈦玄武架構,運用航天級鈦鋁復合技術,可靠匠心打造。本集《以質為名》紀錄片和你一起探索背后的材料工藝故事
    的頭像 發表于 12-25 09:34 ?1116次閱讀

    探索設計稿自動生成Flutter代碼的技術方案

    作者:京東物流 冷先鋒 近年來,隨著人工智能和大模型技術的發展,設計稿(UI視圖)自動生成代碼的技術也在不斷進步。本文將探討幾家知名企業在這一領域的探索和實踐,包括美團、京東、微軟等,以及一些常見
    的頭像 發表于 11-08 10:09 ?1696次閱讀
    探索設計<b class='flag-5'>稿</b>自動生成Flutter<b class='flag-5'>代碼</b>的技術方案

    Loran 和 LoRaWAN 的警示故事

    作者: Lisa Eitel 如果混淆了基于無線電的 LoRaWAN 和基于無線電的 Loran,后果不堪設想。這兩種技術都是關于連接和通信技術如何成為勝出,而其他技術如何無情拋棄的精彩故事。雖然
    的頭像 發表于 10-02 16:49 ?657次閱讀
    Loran 和 LoRaWAN 的警示<b class='flag-5'>故事</b>

    《TSMaster開發從入門到精通》——創作者背后故事...

    背后故事由汽車行業暢銷書作者楊金升老師牽頭,同星智能研發團隊和應用支持團隊全力參與的《TSMaster開發從入門到精通》書籍已由清華大學出版社印付。此書一經上架,就獲得汽車行業人士的一致認可和好
    的頭像 發表于 09-02 08:01 ?713次閱讀
    《TSMaster開發從入門到精通》——創<b class='flag-5'>作者</b><b class='flag-5'>背后</b>的<b class='flag-5'>故事</b>...

    谷歌DeepMind曝抄襲開源成果,論文還中了頂流會議

    谷歌DeepMind一篇中了頂流新生代會議CoLM 2024的論文掛了,瓜主直指其抄襲了一年前就掛在arXiv上的一項研究。開源的那種。
    的頭像 發表于 07-16 18:29 ?866次閱讀
    谷歌DeepMind<b class='flag-5'>被</b>曝抄襲開源成果,<b class='flag-5'>論文</b>還中了頂流會議
    主站蜘蛛池模板: 欧美激情一区二区三区AA片 | 2021精品国产综合久久 | 大学生宿舍飞机china free | 中文字幕永久在线 | 双腿被绑成M型调教PLAY照片 | 中文字幕精品AV内射夜夜夜 | 亚洲第一综合天堂另类专 | 免费看黄的片多多APP下载 | 国产精品玖玖玖影院 | 国产精品…在线观看 | 在线精品一卡乱码免费 | 人与人特黄一级 | 国产亚洲日韩欧美视频 | 儿媳妇完整版视频播放免费观看 | 欧美一区二区高清 | 男生在床上脱美女 胸 | yellow高清免费观看日本 | 蜜柚影院在线观看免费高清中文 | 无码专区无码专区视频网网址 | 人妻中文字幕无码久久AV爆 | 伊人大香人妻在线播放 | 秋霞午夜理论理论福利无码 | 亚洲精品蜜桃AV久久久 | 九九精品国产亚洲A片无码 九九精彩视频在线观看视频 | 久久久久亚洲 | 沦为公交两奶头春药高潮迭起 | 热久久伊大人香蕉网老师 | 国产69精品久久久久人妻刘玥 | 久久综合色视频 | 花蝴蝶免费版高清版 | 无码AV动漫精品一区二区免费 | 秋霞伦理电影在2017韩国在线伦 | 挠黑色超薄丝袜脚心vk40分钟 | 欧美久久综合性欧美 | 2019香蕉在线观看直播视频 | 99久久精品互换人妻AV | 99国产电影| AV无码九九久久 | 在线 | 果冻国产传媒61国产免费 | 亚洲 欧美 中文 日韩 另类 | 亚洲午夜久久久精品电影院 |

    電子發燒友

    中國電子工程師最喜歡的網站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品