文心一言是什么？文心一言有哪些功能？

文心一言 *（英文名：ERNIE Bot）* 是百度全新一代知識增強大語言模型，文心大模型家族的新成員，能夠與人對話互動，回答問題，協(xié)助創(chuàng)作，高效便捷地...

2023-08-31 標簽：語言模型深度學(xué)習文心一言 58.2萬 0

華為AI盤古大模型與chatgpt，Mate 60 Pro接入盤古人工智能大模型

華為盤古大模型是華為公司最新推出的AI語言模型，該模型的命名取自中國神話中的盤古開天辟地的故事。該模型在2021年4月正式發(fā)布，是華為公司在人工智能領(lǐng)域...

2023-09-05 標簽：華為語言模型盤古大模型 7971 0

一套新的自然語言處理（NLP）評估基準，名為 SuperGLUE

實現(xiàn) NLP 的方法有很多，主流的方法大多圍繞多任務(wù)學(xué)習和語言模型預(yù)訓(xùn)練展開，由此孕育出很多種不同模型，比如 BERT、MT-DNN、ALICE 和 S...

2019-04-29 標簽：語言模型自然語言處理nlp 6215 0

完成適配！曦云C500在智譜AI升級版大模型上充分兼容、高效穩(wěn)定運行

近日，沐曦集成電路（上海）有限公司（下稱“沐曦”）曦云C500千億參數(shù)AI大模型訓(xùn)練及通用計算GPU與北京智譜華章科技有限公司（下稱“智譜AI”）開源的...

2023-08-23 標簽：gpuAI語言模型 6127 0

谷歌再次發(fā)布BERT的多語言模型和中文模型

為了評估這些系統(tǒng)，我們使用了XNLI dataset，它是MultiNLI的一個版本，其中dev集和test集已經(jīng)（由人類）翻譯成15種語言。需要注意的...

2018-11-08 標簽：谷歌語言模型機器翻譯 6069 0

OpenAI發(fā)布一款令人印象深刻的語言模型GPT-2

今年2月，OpenAI發(fā)布了一款令人印象深刻的語言模型GPT-2，它可以寫短篇小說、詩歌，甚至輕松辨別《哈利波特》和《指環(huán)王》中的角色。最近，一位加拿大...

2019-05-17 標簽：AI語言模型機器學(xué)習 4486 0

SuperGLUE正式上線：NLP模型們，來迎接挑戰(zhàn)吧！

GLUE全稱是通用語言理解評估（General Language Understanding Evaluation），基于已有的9種英文語言理解任務(wù)，涵...

2019-09-13 標簽：語言模型數(shù)據(jù)集nlp 4170 0

GTP正式誕生，你的自媒體會發(fā)生什么變化？

GPT是一種人工智能模型，代表了“生成預(yù)訓(xùn)練語言模型”的縮寫。GPT系列模型由OpenAI公司開發(fā)，采用了深度學(xué)習和自然語言處理技術(shù)，用于生成自然語言文本。

2023-05-11 標簽：人工智能語言模型GPT 4017 0

布朗大學(xué)90后研究生：我們復(fù)現(xiàn)了15億參數(shù)GPT-2模型，你也行！

本模型的實現(xiàn)基于Grover模型，并修改其代碼庫以匹配GPT-2的語言建模訓(xùn)練目標。由于他們的模型是在類似的大型語料庫上進行訓(xùn)練的，因此大部分代碼和超參...

2019-09-01 標簽：語言模型數(shù)據(jù)集 3426 0

從預(yù)訓(xùn)練語言模型看MLM預(yù)測任務(wù)

為了解決這一問題，本文主要從預(yù)訓(xùn)練語言模型看MLM預(yù)測任務(wù)、引入prompt_template的MLM預(yù)測任務(wù)、引入verblize類別映射的Promp...

2022-11-14 標簽：語言模型nlp 3155 0

OpenAI宣布，發(fā)布了7.74億參數(shù)GPT-2語言模型

就在本周，OpenAI宣布，發(fā)布了7.74億參數(shù)GPT-2語言模型，15.58億的完整模型也有望于幾個月內(nèi)發(fā)布，并將GPT-2這6個月的進展情況在博客上...

2019-09-01 標簽：語言模型數(shù)據(jù)集nlp 3015 0

Google科學(xué)家設(shè)計簡化稀疏架構(gòu)Switch Transformer，語言模型的參數(shù)量可擴展至 1.6 萬億

剛剛，Google Brain 高級研究科學(xué)家 Barret Zoph 發(fā)帖表示，他們設(shè)計了一個名叫「Switch Transformer」的簡化稀疏架...

2021-01-13 標簽：Google架構(gòu)語言模型 3004 0

Multilingual多語言預(yù)訓(xùn)練語言模型的套路

Facebook在Crosslingual language model pretraining（NIPS 2019）一文中提出XLM預(yù)訓(xùn)練多語言模型，...

2022-05-05 標簽：語言模型數(shù)據(jù)集nlp 2994 0

三星發(fā)布UFS 4.0 和UFS 5.0產(chǎn)品規(guī)劃，順序讀取速度提升至8GB/s

隨著端側(cè)人工智能的崛起，智能手機市場對UFS技術(shù)也提出更高要求。考慮到大語言模型在未來的應(yīng)用前景，提升UFS接口速度迫在眉睫。

2024-03-21 標簽：智能手機人工智能語言模型 2757 0

如何進行MLM訓(xùn)練

Bert的MLM是靜態(tài)mask，而在后續(xù)的其他預(yù)訓(xùn)練模型中，這一策略通常被替換成了動態(tài)mask。除此之外還有 whole word mask 的模型，這...

2022-08-13 標簽：模型語言模型mask 2698 0

德睿智藥與復(fù)宏漢霖達成戰(zhàn)略合作，共同研發(fā)AI賦能的ADC藥物和抗衰老療法平臺

2024年1月19日，臨床階段AI驅(qū)動的創(chuàng)新藥物研發(fā)公司德睿智藥宣布與上海復(fù)宏漢霖生物技術(shù)股份有限公司（以下簡稱“復(fù)宏漢霖”）達成戰(zhàn)略合作，共同研發(fā)人工...

2024-01-26 標簽：語言模型AI驅(qū)動 2481 0

Zero-shot-CoT是multi-task的方法

大規(guī)模預(yù)訓(xùn)練語言模型借助于針對特定任務(wù)設(shè)計的prompt（無論是few shot還是zero shot），在單步驟的system-1任務(wù)上有著出色表現(xiàn)，...

2022-06-15 標簽：自動化語言模型 2438 0