色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

中文對話式大語言模型Firefly-2b6開源,使用210萬訓(xùn)練數(shù)據(jù)

深度學(xué)習(xí)自然語言處理 ? 來源:YeungNLP ? 2023-04-14 10:30 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

在文章Firefly(流螢): 中文對話式大語言模型中,我們介紹了關(guān)于Firefly(流螢)項目的工作,并且分享了我們訓(xùn)練的firefly-1b4模型。這是Firefly項目開源的第一個模型,雖然取得了還不錯的效果,但無論是訓(xùn)練數(shù)據(jù)還是模型參數(shù)量,都還有很大的優(yōu)化空間。

所以,在firefly-1b4實驗的基礎(chǔ)上,我們對訓(xùn)練數(shù)據(jù)進(jìn)行清洗,并且增加了數(shù)據(jù)量,得到210萬數(shù)據(jù),并用它訓(xùn)練得到了firefly-2b6模型。

在本文中,我們將對該模型進(jìn)行分享和介紹。與firefly-1b4相比,firefly-2b6的代碼生成能力取得了較大的進(jìn)步,并且在古詩詞生成、對聯(lián)、作文、開放域生成等方面也有不錯的提升。

firefly-1b4和firefly-2b6的訓(xùn)練配置如下表所示。無論是訓(xùn)練數(shù)據(jù)量,還是訓(xùn)練步數(shù),firefly-2b6都更加充分。

參數(shù) firefly-1b4 firefly-2b6
batch size 16 8
learning rate 3e-5 3e-5
warmup step 3000 3000
lr schedule cosine cosine
max length 512 512
training step 90k 260k
訓(xùn)練集規(guī)模 160萬 210萬

項目地址:

https://github.com/yangjianxin1/Firefly

模型權(quán)重鏈接見文末。

模型使用

使用如下代碼即可使用模型:

from transformers import BloomTokenizerFast, BloomForCausalLM
device = 'cuda'
path = 'YeungNLP/firefly-2b6'


tokenizer = BloomTokenizerFast.from_pretrained(path)
model = BloomForCausalLM.from_pretrained(path)
model.eval()
model = model.to(device)
text = input('User:')
while True:
    text = '{}'.format(text)
    input_ids = tokenizer(text, return_tensors="pt").input_ids
    input_ids = input_ids.to(device)
outputs=model.generate(input_ids,max_new_tokens=250,do_sample=True,top_p=0.7,temperature=0.35,
                             repetition_penalty=1.2, eos_token_id=tokenizer.eos_token_id)
    rets = tokenizer.batch_decode(outputs)
    output = rets[0].strip().replace(text, "").replace('', "")
    print("Firefly:{}".format(output))
    text = input('User:')

代碼生成

盡管在訓(xùn)練集中,代碼的數(shù)據(jù)量不多,但令人驚喜的是,firefly-2b6已經(jīng)具備一定的代碼生成能力。

在筆者的實測中,對于一些編程題,firefly-2b6生成的代碼可以做到無需修改,直接運行成功,并且得到正確的答案。下面將展示一些編程題的生成例子。

示例1:幫我用python寫一個冒泡排序算法

dee31870-d9b9-11ed-bfe3-dac502259ad0.png

示例2:用python實現(xiàn)一個快速排序算法,輸入為一個數(shù)組,返回排序好之后的數(shù)組。

deec2f32-d9b9-11ed-bfe3-dac502259ad0.png

示例3:用python寫一個二分查找算法。

defb67b8-d9b9-11ed-bfe3-dac502259ad0.png

示例4:寫一個函數(shù),計算數(shù)組中偶數(shù)的個數(shù),輸入為數(shù)組,輸出為偶數(shù)的個數(shù)。

df04d12c-d9b9-11ed-bfe3-dac502259ad0.png

示例5:用html生成一個教務(wù)管理系統(tǒng)的登錄界面,要求包含用戶名、密碼輸入框和登錄按鈕。

df0d21ce-d9b9-11ed-bfe3-dac502259ad0.png

該html代碼在瀏覽器中的效果如下圖:

df142ce4-d9b9-11ed-bfe3-dac502259ad0.png

其他樣例

同樣,我們也對文言文、古詩詞、文章生成等數(shù)據(jù)進(jìn)行了清洗,提高數(shù)據(jù)的質(zhì)量。實測下來,我們發(fā)現(xiàn)firefly-2b6的生成效果,確實提升了不少。

數(shù)據(jù)質(zhì)量的優(yōu)化,對文言文翻譯任務(wù)的提升,尤為明顯。在訓(xùn)練firefly-1b4時,文言文數(shù)據(jù)為較短的句子對。但在訓(xùn)練firefly-2b6時,我們使用了較長篇幅的文本對。

下面為一些實測的例子。

df1b8c28-d9b9-11ed-bfe3-dac502259ad0.png

df286d30-d9b9-11ed-bfe3-dac502259ad0.png

df352c5a-d9b9-11ed-bfe3-dac502259ad0.png

df3dc2e8-d9b9-11ed-bfe3-dac502259ad0.png

df457308-d9b9-11ed-bfe3-dac502259ad0.png

df4cf9ac-d9b9-11ed-bfe3-dac502259ad0.png

df5354dc-d9b9-11ed-bfe3-dac502259ad0.png

df59bf2a-d9b9-11ed-bfe3-dac502259ad0.png

df615a96-d9b9-11ed-bfe3-dac502259ad0.png

df6d2b96-d9b9-11ed-bfe3-dac502259ad0.png

文章小結(jié)

雖然firefly-2b6已經(jīng)初步具備代碼生成能力,但由于訓(xùn)練集中的代碼數(shù)據(jù)的數(shù)量不多,對于一些編程題,效果不如人意。我們覺得仍有非常大的優(yōu)化空間,后續(xù)我們也將收集更多代碼數(shù)據(jù),提升模型的代碼能力。

經(jīng)過firefly-1b4和firefly-2b6兩個模型的迭代,能明顯感受到增加數(shù)據(jù)量、提升數(shù)據(jù)質(zhì)量、增大模型參數(shù)量,對模型的提升非常大。

在前文中,我們提到,firefly-1b4在訓(xùn)練數(shù)據(jù)量、訓(xùn)練步數(shù)上都略有不足。為了探索"小"模型的效果上限,我們也將使用更多數(shù)量、更高質(zhì)量的數(shù)據(jù)對firefly-1b4進(jìn)行迭代。該項工作正在進(jìn)行。

后續(xù),我們也將在多輪對話、增大模型參數(shù)量、模型量化等方向上進(jìn)行迭代,我們也將陸續(xù)開源訓(xùn)練代碼以及更多的訓(xùn)練數(shù)據(jù)。期待大家的意見和建議。


審核編輯 :李倩


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 模型
    +關(guān)注

    關(guān)注

    1

    文章

    3527

    瀏覽量

    50497
  • 代碼
    +關(guān)注

    關(guān)注

    30

    文章

    4902

    瀏覽量

    70857
  • 語言模型
    +關(guān)注

    關(guān)注

    0

    文章

    562

    瀏覽量

    10811

原文標(biāo)題:中文對話式大語言模型Firefly-2b6開源,使用210萬訓(xùn)練數(shù)據(jù)

文章出處:【微信號:zenRRan,微信公眾號:深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    海思SD3403邊緣計算AI數(shù)據(jù)訓(xùn)練概述

    模型,將模型轉(zhuǎn)化為嵌入AI模型模型升級AI攝像機,進(jìn)行AI識別應(yīng)用。 AI訓(xùn)練
    發(fā)表于 04-28 11:11

    用PaddleNLP為GPT-2模型制作FineWeb二進(jìn)制預(yù)訓(xùn)練數(shù)據(jù)

    ,使用PaddleNLP將FineWeb數(shù)據(jù)中文本形式的數(shù)據(jù),經(jīng)過分詞化(Tokenize),轉(zhuǎn)換為大語言模型能直接使用的二進(jìn)制
    的頭像 發(fā)表于 03-21 18:24 ?1728次閱讀
    用PaddleNLP為GPT-<b class='flag-5'>2</b><b class='flag-5'>模型</b>制作FineWeb二進(jìn)制預(yù)<b class='flag-5'>訓(xùn)練</b><b class='flag-5'>數(shù)據(jù)</b>集

    小白學(xué)大模型訓(xùn)練語言模型的深度指南

    在當(dāng)今人工智能飛速發(fā)展的時代,大型語言模型(LLMs)正以其強大的語言理解和生成能力,改變著我們的生活和工作方式。在最近的一項研究中,科學(xué)家們?yōu)榱松钊肓私馊绾胃咝У?b class='flag-5'>訓(xùn)練大型
    的頭像 發(fā)表于 03-03 11:51 ?760次閱讀
    小白學(xué)大<b class='flag-5'>模型</b>:<b class='flag-5'>訓(xùn)練</b>大<b class='flag-5'>語言</b><b class='flag-5'>模型</b>的深度指南

    模型訓(xùn)練:開源數(shù)據(jù)與算法的機遇與挑戰(zhàn)分析

    進(jìn)行多方位的總結(jié)和梳理。 在第二章《TOP 101-2024 大模型觀點》中,蘇州盛派網(wǎng)絡(luò)科技有限公司創(chuàng)始人兼首席架構(gòu)師蘇震巍分析了大模型訓(xùn)練過程中開源
    的頭像 發(fā)表于 02-20 10:40 ?642次閱讀
    大<b class='flag-5'>模型</b><b class='flag-5'>訓(xùn)練</b>:<b class='flag-5'>開源</b><b class='flag-5'>數(shù)據(jù)</b>與算法的機遇與挑戰(zhàn)分析

    騰訊公布大語言模型訓(xùn)練新專利

    近日,騰訊科技(深圳)有限公司公布了一項名為“大語言模型訓(xùn)練方法、裝置、計算機設(shè)備及存儲介質(zhì)”的新專利。該專利的公布,標(biāo)志著騰訊在大語言模型
    的頭像 發(fā)表于 02-10 09:37 ?436次閱讀

    語言模型開發(fā)框架是什么

    語言模型開發(fā)框架是指用于訓(xùn)練、推理和部署大型語言模型的軟件工具和庫。下面,AI部落小編為您介紹大語言
    的頭像 發(fā)表于 12-06 10:28 ?545次閱讀

    從零開始訓(xùn)練一個大語言模型需要投資多少錢?

    一,前言 ? 在AI領(lǐng)域,訓(xùn)練一個大型語言模型(LLM)是一個耗時且復(fù)雜的過程。幾乎每個做大型語言模型(LLM)
    的頭像 發(fā)表于 11-08 14:15 ?805次閱讀
    從零開始<b class='flag-5'>訓(xùn)練</b>一個大<b class='flag-5'>語言</b><b class='flag-5'>模型</b>需要投資多少錢?

    如何訓(xùn)練自己的LLM模型

    訓(xùn)練自己的大型語言模型(LLM)是一個復(fù)雜且資源密集的過程,涉及到大量的數(shù)據(jù)、計算資源和專業(yè)知識。以下是訓(xùn)練LLM
    的頭像 發(fā)表于 11-08 09:30 ?1564次閱讀

    語言模型如何開發(fā)

    語言模型的開發(fā)是一個復(fù)雜且細(xì)致的過程,涵蓋了數(shù)據(jù)準(zhǔn)備、模型架構(gòu)設(shè)計、訓(xùn)練、微調(diào)和部署等多個階段。以下是對大
    的頭像 發(fā)表于 11-04 10:14 ?615次閱讀

    AI大模型訓(xùn)練數(shù)據(jù)來源分析

    學(xué)術(shù)機構(gòu)、政府組織或企業(yè)公開發(fā)布,涵蓋了各種類型的數(shù)據(jù),如圖像、文本、音頻、視頻等。例如: ImageNet :一個廣泛用于圖像識別任務(wù)的大規(guī)模圖像數(shù)據(jù)集。 Common Crawl :提供了大量的網(wǎng)頁抓取數(shù)據(jù)以供自然
    的頭像 發(fā)表于 10-23 15:32 ?3748次閱讀

    如何訓(xùn)練自己的AI大模型

    訓(xùn)練AI大模型之前,需要明確自己的具體需求,比如是進(jìn)行自然語言處理、圖像識別、推薦系統(tǒng)還是其他任務(wù)。 二、數(shù)據(jù)收集與預(yù)處理 數(shù)據(jù)收集 根據(jù)
    的頭像 發(fā)表于 10-23 15:07 ?5068次閱讀

    PerfXCloud重磅升級 阿里開源最強視覺語言模型Qwen2-VL-7B強勢上線!

    「重磅通知」 :PerfXCloud 再度華麗升級,現(xiàn)已全面支持迄今為止 最為卓越的開源視覺模型 Qwen2-VL-7B 。這一重大突破將為用戶帶來更加震撼的視覺體驗,進(jìn)一步拓展創(chuàng)意的邊界,快來
    的頭像 發(fā)表于 10-23 11:07 ?788次閱讀
    PerfXCloud重磅升級  阿里<b class='flag-5'>開源</b>最強視覺<b class='flag-5'>語言</b><b class='flag-5'>模型</b>Qwen<b class='flag-5'>2-VL-7B</b>強勢上線!

    NVIDIA Nemotron-4 340B模型幫助開發(fā)者生成合成訓(xùn)練數(shù)據(jù)

    Nemotron-4 340B 是針對 NVIDIA NeMo 和 NVIDIA TensorRT-LLM 優(yōu)化的模型系列,該系列包含最先進(jìn)的指導(dǎo)和獎勵模型,以及一個用于生成 AI
    的頭像 發(fā)表于 09-06 14:59 ?746次閱讀
    NVIDIA Nemotron-4 340<b class='flag-5'>B</b><b class='flag-5'>模型</b>幫助開發(fā)者生成合成<b class='flag-5'>訓(xùn)練</b><b class='flag-5'>數(shù)據(jù)</b>

    摩爾線程與羽人科技完成大語言模型訓(xùn)練測試

    (YuRen-7b)大語言模型訓(xùn)練測試。測試結(jié)果顯示,訓(xùn)練效率達(dá)到預(yù)期,夸娥千卡智算集群展現(xiàn)出了高度的兼容性和穩(wěn)定性,為羽人科技未來的零代
    的頭像 發(fā)表于 08-27 16:19 ?839次閱讀

    【《大語言模型應(yīng)用指南》閱讀體驗】+ 基礎(chǔ)知識學(xué)習(xí)

    收集海量的文本數(shù)據(jù)作為訓(xùn)練材料。這些數(shù)據(jù)集不僅包括語法結(jié)構(gòu)的學(xué)習(xí),還包括對語言的深層次理解,如文化背景、語境含義和情感色彩等。 自監(jiān)督學(xué)習(xí):模型
    發(fā)表于 08-02 11:03
    主站蜘蛛池模板: 亚洲欧美精品无码一区二在线 | 欧美性xxxx18| 国产69TV精品久久久久99 | 口内射精颜射极品合集 | 最近日本MV字幕免费观看视频 | 国产亚洲精品久久久久久鸭绿欲 | 一个人免费完整在线观看影院 | 亚洲视频欧美在线专区 | 日本漫画母亲口工子全彩 | 三级全黄的视频在线观看 | 性盈盈剧场| 国产色婷婷精品人妻蜜桃成熟时 | 欧美不卡一区二区三区 | 日本理论片午午伦夜理片2021 | 战狼4在线观看完免费完整版 | 黄色天堂网站 | 亚洲AV无码乱码在线观看浪潮 | 4虎影院午夜在线观看 | 高h np 强j 乱l 双性 | 亚洲AV怡红院影院怡春院 | 国产精品久久久久久人妻精品蜜桃 | 免费观看成人www精品视频在线 | 国产欧美一区二区精品性色tv | 午夜福利理论片在线播放 | 九九免费的视频 | 狠狠色丁香婷婷久久综合五月 | 伊人伊人伊人 | 97精品国产自产在线观看永久 | 亚洲免费视频在线观看 | AV福利无码亚洲网站麻豆 | 亚洲精品久久久久久偷窥 | jiz在线播放jizijzz | 久久精品亚洲视频 | 男女XX00上下抽搐动态图 | 国产亚洲欧洲日韩在线观看 | 精品国产自在天天线2019 | 精品国产自在自线官方 | 人性本色联盟 | 亚洲精品嫩草研究院久久 | 乱色欧美激惰 | 做暖免费观看日本 |

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品