哈工大張民：ChatGPT之后，NLP還有12個待解決命題

首先來講什么是ChatGPT。第一點，ChatGPT做的事就是使機器像人一樣與人對話、交流。自然語言是人類交流最方便、最重要的媒介，語言是用來描述知識和...

2023-03-08 標簽：語言模型nlpChatGPT 752 0

LeCun新作：全面綜述下一代「增強語言模型」

最近圖靈獎得主Yann LeCun參與撰寫了一篇關于「增強語言模型」的綜述，回顧了語言模型與推理技能和使用工具的能力相結合的工作，并得出結論，這個新的研...

2023-03-03 標簽：語言模型nlpChatGPT 1029 0

復旦邱錫鵬團隊發布國內首個類ChatGPT模型MOSS

由于ChatGPT并未開源，其技術方案細節也未公開，科研人員對此有諸多猜測。有專家認為，ChatGPT是一套復雜的組合系統，無法由單一的生成式語言模型實...

2023-03-01 標簽：人工智能語言模型ChatGPT 948 0

ChatGPT“狂飆”之路背后的存儲挑戰

就在不久前，北京市經濟和信息化局發布的《2022年北京人工智能產業發展白皮書》中明確提出“支持頭部企業打造對標ChatGPT的大模型，著力構建開源框架和...

2023-02-27 標簽：AI語言模型ChatGPT 2105 0

ChatGPT火爆，最全prompt工程指南登GitHub熱榜，標星4.7k！

如何才能讓大規模語言模型輸出自己想要的結果？現在，一本超全超詳提示工程指南來了，GitHub已標星4.7k。提示工程，可以說是玩轉ChatGPT、DAL...

2023-02-27 標簽：語言模型GitHubChatGPT 1323 0

LeCun和馬庫斯齊噴ChatGPT：大語言模型果然是邪路？

ChatGPT的出場，讓一場久違的科技盛宴開席了。全世界的投資人都蠢蠢欲動。微軟給OpenAI再投100億美元，國內的投資人也一躍而起，摩拳擦掌。

2023-02-16 標簽：搜索引擎語言模型ChatGPT 897 0

ChatGPT已經有9歲小孩的心智了

心智理論（Theory of Mind），簡稱ToM，是指人理解自己和周圍人心理狀態的能力。我們也可以簡單地理解為「同理心」。 正是因為有同理心的存在，...

2023-02-14 標簽：人工智能語言模型ChatGPT 1234 0

梯度人工智能平臺賦能業務加速

梯度科技基于Tensorflow、Pytorch、MindSpore等多種主流深度開源框架和Ray的強化學習開發框架研發的人工智能平臺，圍繞“云+AI”...

2023-02-13 標簽：人工智能語言模型深度學習 1074 0

谷歌新作Dreamix：視頻擴散模型是通用視頻編輯器，效果驚艷！

可以看到，視頻編輯比圖像編輯更加具有挑戰性，它需要合成新的動作，而不僅僅是修改視覺外觀。此外還需要保持時間上的一致性。因此，將 SDEdit、Promp...

2023-02-09 標簽：視頻編輯器語言模型 1560 0

Meta是如何構建新人工智能CICERO的？

日前，我們宣布了一項突破性進展，向著構建掌握這些技能的人工智能邁進了重要的一步。我們已經構建了一個代理 CICERO——這是第一個在時下流行的戰略游戲 ...

2023-01-16 標簽：人工智能語言模型 701 0

如何用AI來寫Verilog代碼？

可能現在它的功能還并不是很完善，但作為工程師，看到這么強大的功能，不禁有些感慨，我們的核心競爭力是什么？如果真的有一天，AI可以幫我們寫代碼了，我們該去做什么？

2022-12-09 標簽：VerilogAI語言模型 1924 0

AI再卷數學界，DSP新方法將機器證明成功率提高一倍

我們以語言模型 Minerva為例。當在足夠多的數據訓練之后，我們發現它的數學能力非常強，可以在高中數學測試中拿到高于平均分水平。然而這樣的語言模型也有...

2022-11-21 標簽：人工智能語言模型自然語言處理 572 0

聚焦“源1.0”背后的計算挑戰以及我們采取的訓練方法

“源1.0”是一個典型的語言模型。語言模型通俗來講就是能夠完成自然語言理解或者生成文本的神經網絡模型。對于“源1.0”，我們考慮語言模型（Languag...

2022-11-15 標簽：神經網絡模型語言模型 769 0

從預訓練語言模型看MLM預測任務

為了解決這一問題，本文主要從預訓練語言模型看MLM預測任務、引入prompt_template的MLM預測任務、引入verblize類別映射的Promp...

2022-11-14 標簽：語言模型nlp 3156 0

CogBERT：腦認知指導的預訓練語言模型

另一方面，從語言處理的角度來看，認知神經科學研究人類大腦中語言處理的生物和認知過程。研究人員專門設計了預訓練的模型來捕捉大腦如何表示語言的意義。之前的工...

2022-11-03 標簽：語言模型數據集 1086 0

KT利用NVIDIA AI平臺訓練大型語言模型

韓國先進的移動運營商構建包含數百億個參數的大型語言模型，并使用 NVIDIA DGX SuperPOD 平臺和 NeMo Megatron 框架訓練該模型。

2022-09-27 標簽：NVIDIAAI語言模型 1209 0

針對文本生成任務提出一種基于提示的遷移學習方法

理解是一個復雜且多面的能力，包括對文本詞匯、背景知識、語言結構的理解。因此，我們采用GLUE, SuperGLUE, SQuAD v1.1, SQuAD...

2022-09-23 標簽：語言模型數據集遷移學習 1607 0

預先訓練的語言模型能像人類一樣聰明地解釋明喻嗎？

明喻主要分為兩類：封閉式明喻(ClosedSimile)，以及開放式明喻(OpenSimile)。如圖2所示，二者區別在于是否顯式地指明本體、喻體的共同...

2022-09-23 標簽：模型語言模型數據集 894 0

NVIDIA NeMo最新語言模型服務幫助開發者定制大規模語言模型

NVIDIA NeMo 大型語言模型（LLM）服務幫助開發者定制大規模語言模型；NVIDIA BioNeMo 服務幫助研究人員生成和預測分子、蛋白質及 DNA

2022-09-22 標簽：NVIDIAAI語言模型 926 0

一種將知識圖譜與語言模型結合的具體方式分享

知識嵌入（Knowledge Embedding）將知識圖譜中的關系和實體嵌入向量空間進行表示。

2022-09-05 標簽：編碼CLS語言模型 1712 0