色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

OpenAI開(kāi)放大模型微調(diào)功能!

jf_8lIj6kO1 ? 來(lái)源:QbitAI ? 2023-08-24 16:39 ? 次閱讀

現(xiàn)在,GPT-3.5 Turbo支持自定義微調(diào)了!

只需上傳自己的數(shù)據(jù),就可以運(yùn)行專(zhuān)屬的定制大模型。

開(kāi)發(fā)者狂喜!不少人驚呼:Awesome!

早期測(cè)試表明,經(jīng)過(guò)微調(diào)的GPT-3.5 Turbo版本在某些任務(wù)中甚至可以超越GPT-4。

更新之余,OpenAI還直接明示了定價(jià)計(jì)劃,微調(diào)費(fèi)用主要分為初始訓(xùn)練費(fèi)用和使用費(fèi)用。

一個(gè)具有10萬(wàn)tokens訓(xùn)練數(shù)據(jù)集的微調(diào)工作(3個(gè)epoch訓(xùn)練)成本大概在2.40美元。

此外,OpenAI還透露了GPT-4微調(diào)將于今年秋天推出。

不過(guò)也有人不吃這套,吐槽微調(diào)成本太高,其生成成本是基礎(chǔ)模型的8倍,必須要按照他們所說(shuō)“將提示大小減小90%”,才能從中獲取效益。

71c75648-4214-11ee-a2ef-92fbcf53809c.png

開(kāi)發(fā)者自己進(jìn)行監(jiān)督微調(diào)

OpenAI首先給出了指南手冊(cè),微調(diào)可以用來(lái)改進(jìn)這些模型性能。

  • 可操縱性的改進(jìn),模型能夠更好地遵循指令。比如輸出簡(jiǎn)潔回答或始終以給定的語(yǔ)言響應(yīng)。

  • 一致的格式化響應(yīng),開(kāi)發(fā)人員可用微調(diào)將用戶(hù)提示轉(zhuǎn)換為高質(zhì)量JSON代碼片段,隨后用于自己的系統(tǒng)。

  • 定制語(yǔ)氣,微調(diào)可以更好磨煉模型輸出的質(zhì)感,比如語(yǔ)氣,讓它更適合企業(yè)品牌的聲音。

除了提高性能之外,還能縮短提示時(shí)間,確保類(lèi)似性能。另外,微調(diào)目前僅支持處理4000 tokens,這也是此前微調(diào)型號(hào)的兩倍。16k tokens微調(diào)將于今年秋季推出。

早期測(cè)試人員通過(guò)對(duì)模型本身指令進(jìn)行微調(diào),加快了API調(diào)用還降低成本,讓prompt減少了90%。

對(duì)函數(shù)調(diào)用結(jié)合和 gpt-3.5-turbo-16k的微調(diào)支持將在今年秋季晚些時(shí)候推出。

具體微調(diào)步驟,分為四步:

準(zhǔn)備數(shù)據(jù)

{
"messages":[
{"role":"system","content":"Youareanassistantthatoccasionallymisspellswords"},
{"role":"user","content":"Tellmeastory."},
{"role":"assistant","content":"Onedayastudentwenttoschoool."}
]

上傳文件

curl-https://api.openai.com/v1/files
-H"Authorization:Bearer$OPENAI_API_KEY"
-F"purpose=fine-tune"
-F"file=@path_to_your_file"

創(chuàng)建微調(diào)作業(yè)

curlhttps://api.openai.com/v1/fine_tuning/jobs
-H"Content-Type:application/json"
-H"Authorization:Bearer$OPENAI_API_KEY"
-d'{
"training_file":"TRAINING_FILE_ID",
"model":"gpt-3.5-turbo-0613",
}'

使用微調(diào)模型

curlhttps://api.openai.com/v1/chat/completions
-H"Content-Type:application/json"
-H"Authorization:Bearer$OPENAI_API_KEY"
-d'{
"model":"ftorg_id",
"messages":[
{
"role":"system",
"content":"Youareanassistantthatoccasionallymisspellswords"
},
{
"role":"user",
"content":"Hello!Whatisfine-tuning?"
}
]
}'

OpenAI透露,未來(lái)他們將推出微調(diào)UI,這樣輕松訪問(wèn)正在進(jìn)行中的工作。

定價(jià)方面,分為訓(xùn)練成本和使用成本。

  • 訓(xùn)練:0.008美元/1000 tokens;

  • 使用輸入:0.012美元/1000 tokens;

  • 使用輸出:0.016 美元/1000 tokens。

71dacb60-4214-11ee-a2ef-92fbcf53809c.png

不過(guò)可以看到的是,價(jià)格確實(shí)比基礎(chǔ)模型高了不少。

更新了GPT-3模型

與此同時(shí),OpenAI還在API端口更新了GPT-3模型:babbage-002 和 davinci-002。

這些模型都可以用新的API端點(diǎn)進(jìn)行微調(diào)。

721d8dce-4214-11ee-a2ef-92fbcf53809c.png

原始基礎(chǔ)模型 (ada, babbage, curie, 和 davinci)將于明年*(2024年)1月4日關(guān)閉。

好了,感興趣的朋友可以開(kāi)始定制自己的GPT-3.5Turbo了。


聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 數(shù)據(jù)集
    +關(guān)注

    關(guān)注

    4

    文章

    1222

    瀏覽量

    25268
  • OpenAI
    +關(guān)注

    關(guān)注

    9

    文章

    1201

    瀏覽量

    8623
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    3020

    瀏覽量

    3799

原文標(biāo)題:OpenAI開(kāi)放大模型微調(diào)功能!上傳自己數(shù)據(jù)就可定制GPT-3.5Turbo,開(kāi)發(fā)者狂喜

文章出處:【微信號(hào):玩轉(zhuǎn)VS Code,微信公眾號(hào):玩轉(zhuǎn)VS Code】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 0人收藏

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    OpenAI 深夜拋出王炸 “ChatGPT- 4o”, “她” 來(lái)了

    當(dāng)?shù)貢r(shí)間5月13日OpenAI推出ChatGPT-4o,代表了人工智能向前邁出的一大步。在GPT-4turbo的強(qiáng)大基礎(chǔ)上,這種迭代擁有顯著的改進(jìn)。在發(fā)布會(huì)的演示中,OpenAI展示該模型的高級(jí)
    發(fā)表于 05-27 15:43

    【「基于大模型的RAG應(yīng)用開(kāi)發(fā)與優(yōu)化」閱讀體驗(yàn)】+大模型微調(diào)技術(shù)解讀

    今天學(xué)習(xí)<基于大模型的RAG應(yīng)用開(kāi)發(fā)與優(yōu)化>這本書(shū)。大模型微調(diào)是深度學(xué)習(xí)領(lǐng)域中的一項(xiàng)關(guān)鍵技術(shù),它指的是在已經(jīng)預(yù)訓(xùn)練好的大型深度學(xué)習(xí)模型基礎(chǔ)上,使用新的、特定任務(wù)相關(guān)的數(shù)據(jù)
    發(fā)表于 01-14 16:51

    怎么建立開(kāi)放數(shù)控系統(tǒng)模型

    “NC嵌入PC”的開(kāi)放式數(shù)控系統(tǒng)結(jié)構(gòu)模型,充分利用了PC機(jī)的豐富資源(內(nèi)存空間大、硬盤(pán)容量大和高速運(yùn)算功能的CPU),使這種結(jié)構(gòu)模式成為開(kāi)放數(shù)控系統(tǒng)的主流設(shè)計(jì)。DSP因其高速、強(qiáng)實(shí)時(shí)控
    發(fā)表于 08-26 07:03

    OpenAI官宣把ChatGPT API開(kāi)放

    ? ? 3月1號(hào),OpenAI把ChatGPT API 正式開(kāi)放;就在競(jìng)爭(zhēng)對(duì)手越加追趕的時(shí)候,OpenAI宣布正式推出面向商業(yè)用戶(hù)的ChatGPT和Whisper語(yǔ)音轉(zhuǎn)文字API,而且把價(jià)格打得
    的頭像 發(fā)表于 03-06 18:48 ?3602次閱讀
    <b class='flag-5'>OpenAI</b>官宣把ChatGPT API<b class='flag-5'>開(kāi)放</b>

    iPhone都能微調(diào)模型了嘛

    一起提出的新方法 QLoRA 把微調(diào)模型的 顯存需求從>780GB降低到 。 開(kāi)源社區(qū)直接開(kāi)始狂歡,相關(guān)論文成為24小時(shí)內(nèi)關(guān)注度最高的AI論文。 ? 以Meta的美洲駝LLaMA為基礎(chǔ),得到原駝
    的頭像 發(fā)表于 06-02 15:26 ?921次閱讀
    iPhone都能<b class='flag-5'>微調(diào)</b>大<b class='flag-5'>模型</b>了嘛

    最新、最強(qiáng)大的模型GPT-4將向美國(guó)政府機(jī)構(gòu)開(kāi)放

    最新、最強(qiáng)大的模型GPT-4將向美國(guó)政府機(jī)構(gòu)開(kāi)放 此前微軟已向其商業(yè)客戶(hù)提供了OpenAI模型,現(xiàn)在微軟宣布將向azure government云計(jì)算客戶(hù)
    的頭像 發(fā)表于 06-08 20:15 ?1673次閱讀

    OpenAI開(kāi)放大模型微調(diào)功能 GPT-3.5可以打造專(zhuān)屬ChatGPT

    OpenAI開(kāi)放大模型微調(diào)功能 GPT-3.5可以打造專(zhuān)屬ChatGPT OpenAI
    的頭像 發(fā)表于 08-23 19:34 ?1606次閱讀

    四種微調(diào)模型的方法介紹

    微調(diào)(Full Fine-tuning):全微調(diào)是指對(duì)整個(gè)預(yù)訓(xùn)練模型進(jìn)行微調(diào),包括所有的模型參數(shù)。在這種方法中,預(yù)訓(xùn)練
    發(fā)表于 01-03 10:57 ?2.6w次閱讀
    四種<b class='flag-5'>微調(diào)</b>大<b class='flag-5'>模型</b>的方法介紹

    OpenAI推出全新大語(yǔ)言模型

    今日凌晨,科技界迎來(lái)了一次激動(dòng)人心的突破。OpenAI正式發(fā)布了全新的旗艦模型GPT-4o,這一模型展現(xiàn)了跨視頻、音頻、文本進(jìn)行實(shí)時(shí)推理的驚人能力。GPT-4o不僅是一個(gè)多模態(tài)模型,更
    的頭像 發(fā)表于 05-14 11:53 ?815次閱讀

    模型為什么要微調(diào)?大模型微調(diào)的原理

    難以達(dá)到最佳性能。為了提升模型在特定任務(wù)上的表現(xiàn),微調(diào)(Fine-tuning)成為了一個(gè)關(guān)鍵步驟。本文將詳細(xì)探討大模型為什么要進(jìn)行微調(diào)以及微調(diào)
    的頭像 發(fā)表于 07-10 10:43 ?6858次閱讀

    Orion模型即將面世,OpenAI采用新發(fā)布模式

    不同,Orion將不會(huì)直接面向公眾開(kāi)放。相反,OpenAI計(jì)劃首先向與其密切合作的公司提供授權(quán),以便這些公司能夠基于Orion模型構(gòu)建自己的產(chǎn)品和功能。這一發(fā)布模式的變化,可能意味著
    的頭像 發(fā)表于 10-25 10:11 ?622次閱讀

    OpenAI開(kāi)放Sora視頻生成模型

    OpenAI近日宣布,其傾力打造的人工智能視頻生成系統(tǒng)Sora已正式向美國(guó)及其他市場(chǎng)的ChatGPT Plus訂閱用戶(hù)開(kāi)放。自去年首次公開(kāi)預(yù)覽以來(lái),Sora歷經(jīng)約10個(gè)月的精心研發(fā)與優(yōu)化,現(xiàn)已全面
    的頭像 發(fā)表于 12-10 11:16 ?660次閱讀

    OpenAI正式推出Canvas:寫(xiě)作編碼新平臺(tái),支持Python

    近日,OpenAI在連續(xù)發(fā)布新功能的節(jié)奏中,正式向全體ChatGPT用戶(hù)開(kāi)放了全新交互界面Canvas。這款工具基于OpenAI最新的GPT-4o
    的頭像 發(fā)表于 12-12 10:06 ?621次閱讀

    OpenAI免費(fèi)開(kāi)放ChatGPT搜索功能

    近日,OpenAI宣布了一項(xiàng)重大決策:向所有用戶(hù)免費(fèi)開(kāi)放ChatGPT搜索功能。這一舉措無(wú)疑將為用戶(hù)帶來(lái)更加高效、智能的搜索體驗(yàn)。 與谷歌等傳統(tǒng)搜索引擎的收錄模式相比,ChatGPT搜索展現(xiàn)出了獨(dú)特
    的頭像 發(fā)表于 02-06 14:35 ?418次閱讀

    OpenAI即將推出GPT-5模型

    先進(jìn)技術(shù),其中包括備受矚目的o3工具。通過(guò)整合這些技術(shù),GPT-5模型將實(shí)現(xiàn)更加強(qiáng)大的功能和性能。 值得一提的是,GPT-5模型將被廣泛應(yīng)用于OpenAI的聊天機(jī)器人ChatGPT以及
    的頭像 發(fā)表于 02-13 11:21 ?510次閱讀
    主站蜘蛛池模板: 囯产免费久久久久久国产免费 | 亚洲 欧美 制服 校园 动漫 | 久久这里有精品 | 亚洲国产精品嫩草影院久久 | 国产美女影院 | 强奷乱码中文字幕熟女免费 | 亚洲福利网站 | 精品无码久久久久久久动漫 | 成人性生交大片免费看金瓶七仙女 | 老色哥网站| 在线亚洲国产日韩欧洲专区 | 无码日韩人妻精品久久蜜桃入口 | 在线亚洲黄色 | 欧美顶级情欲片免费看 | 99久久伊人一区二区yy5099 | 国产高清美女一级a毛片久久w | 亚洲第一成年网站视频 | 女人被躁到高潮嗷嗷叫免费 | 亚洲天堂2017无码 | 十分钟免费视频大全在线 | 精品日韩二区三区精品视频 | 老师xxxx69动漫 | 国产在线伊人 | 正在播放黑人杂交派对卧槽 | 最近高清中文字幕无吗免费看 | 9420高清免费观看在线大全 | 青青久 | 99国产在线视频 | 久久电影精品久久99久久 | 日日摸夜夜嗷嗷叫日日拍 | 在线 自拍 综合 亚洲 欧美 | 久久五月综合婷婷中文云霸高清 | 18美女腿打开无遮软件 | 国产精品在线手机视频 | 97精品一区二区视频在线观看 | 娇妻被朋友玩得呻吟在线电影 | 柏木舞子在线 | 伦理电影2499伦理片 | 果冻传媒9CM在线观看 | 亚洲一品AV片观看五月色婷婷 | 伊人久久综合影院 |

    電子發(fā)燒友

    中國(guó)電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會(huì)員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動(dòng)獲取豐厚的禮品