多任務(wù)微調(diào)框架MFTCoder詳細(xì)技術(shù)解讀

MFTCoder具備高效訓(xùn)練特征，包括提供高效的數(shù)據(jù)Tokenization模式和支持PEFT微調(diào)，能有效提升微調(diào)訓(xùn)練速度并降低對(duì)資源的需求。

2023-11-17 標(biāo)簽：函數(shù)pythonGPT 1037 0

TensorRT-LLM初探（一）運(yùn)行l(wèi)lama

TensorRT-LLM正式出來有半個(gè)月了，一直沒有時(shí)間玩，周末趁著有時(shí)間跑一下。

2023-11-16 標(biāo)簽：pythonGPU芯片HTTP接口 1220 0

0代碼基礎(chǔ)也能做AI產(chǎn)品？GPTs使用指南分享

近期，小編發(fā)現(xiàn)不少小伙伴都躍躍欲試想要?jiǎng)?chuàng)建自己的GPTs，今天為大家?guī)肀Ｄ芳?jí)GPTs入門教程。

2023-11-15 標(biāo)簽：生成器GPTChatGPT 2396 0

淺析tensorrt-llm搭建運(yùn)行環(huán)境以及庫

之前玩內(nèi)測(cè)版的時(shí)候就需要cuda-12.x，正式出來仍是需要cuda-12.x，主要是因?yàn)閠ensorr-llm中依賴的CUBIN（二進(jìn)制代碼）是基于c...

2023-11-13 標(biāo)簽：容器客戶端python 2388 0

人工智能算力為什么需要GPU？

GPU前面加一個(gè)“GP”，就變?yōu)镚eneral-Purpose Computing on Graphics Processing Units，即通用計(jì)算...

2023-11-10 標(biāo)簽：cpugpu顯卡 5923 0

全球GPU市場(chǎng)分析 GPU在汽車電子中的應(yīng)用情況

以ChatGPT的訓(xùn)練為例，單次模型訓(xùn)練就可能需要超過2000張英偉達(dá)A100顯卡持續(xù)不斷地訓(xùn)練27天。不僅如此，大模型的日常運(yùn)行中每一次用戶調(diào)用都需要...

2023-11-10 標(biāo)簽：amdNVIDIAgpu 726 0

探究編輯多模態(tài)大語言模型的可行性

不同于單模態(tài)模型編輯，多模態(tài)模型編輯需要考慮更多的模態(tài)信息。文章出發(fā)點(diǎn)依然從單模態(tài)模型編輯入手，將單模態(tài)模型編輯拓展到多模態(tài)模型編輯，主要從以下三個(gè)方面...

2023-11-09 標(biāo)簽：編碼器語言模型OpenAI 502 0

產(chǎn)品化的GPT，能否為“百模大戰(zhàn)”照亮未來？

學(xué)OpenAI者生，像OpenAI者死

2023-11-09 標(biāo)簽：AIGPTOpenAI 701 0

基于LLaMA的多語言數(shù)學(xué)推理大模型

MathOctopus在多語言數(shù)學(xué)推理任務(wù)中，表現(xiàn)出了強(qiáng)大的性能。MathOctopus-7B 可以將LLmMA2-7B在MGSM不同語言上的平均表現(xiàn)從...

2023-11-08 標(biāo)簽：多語言ChatGPT大模型 476 0

工業(yè)AI的八個(gè)發(fā)展趨勢(shì)

從支持人工智能的決策系統(tǒng)（為不斷發(fā)展的勞動(dòng)力提供支持）到優(yōu)化運(yùn)營的自主系統(tǒng)，AI/ML正在引領(lǐng)制造業(yè)的新時(shí)代。Nagabhairava認(rèn)為，值得注意的是...

2023-11-02 標(biāo)簽：醫(yī)療器械機(jī)器視覺AI 405 0

chatGPT的175Billion個(gè)參數(shù)是哪兒來的

最近大語言模型模型LLM很火，大家總是說chatgpt的175Billion參數(shù)。做算法的人更關(guān)心網(wǎng)絡(luò)的結(jié)構(gòu)，而我這種做硬件的人一直很好奇這個(gè)參數(shù)是怎么計(jì)算的。

2023-11-01 標(biāo)簽：LSTMChatGPTLLM 1161 0

編程雜談-代碼review

先梳理下程序員日常的工作需要那些東西，首先就是參考各種手冊(cè)，技術(shù)文檔，讀代碼了解框架，然后制定方案，進(jìn)行編碼實(shí)現(xiàn)。這其中一方面是對(duì)于技術(shù)手冊(cè)的掌握經(jīng)驗(yàn)，...

2023-10-30 標(biāo)簽：編程代碼ChatGPT 425 0

AIGC蝴蝶效應(yīng)下的網(wǎng)絡(luò)和硬件趨勢(shì)

2023年，以ChatGPT為代表的AIGC技術(shù)正在蓬勃發(fā)展，并在文本生成、代碼開發(fā)等各個(gè)領(lǐng)域取得了重大進(jìn)展，重塑了行業(yè)格局。德勤報(bào)告預(yù)測(cè)，到2027年...

2023-10-27 標(biāo)簽：網(wǎng)絡(luò)AI機(jī)器學(xué)習(xí) 724 0

大語言模型Fine-tuning踩坑經(jīng)驗(yàn)分享

當(dāng)然 MPT-7B-StoryWriter-65k+ [5] 模型也有較長的外推能力，主要在于，注意力這塊使用了 ALIBI [6]。要擁有什么樣的長度...

2023-10-26 標(biāo)簽：gpu數(shù)據(jù)處理ChatGPT 469 0

如何使用Rust創(chuàng)建一個(gè)基于ChatGPT的RAG助手

如今，ChatGPT 已經(jīng)成為家喻戶曉的名字，每個(gè)開發(fā)者都主動(dòng)或被動(dòng)地使用過 ChatGPT 或者是基于 ChatGPT 的產(chǎn)品。ChatGPT 很好，...

2023-10-24 標(biāo)簽：機(jī)器人gpupython 1068 0

在RTX 4090被限制的時(shí)代下，讓大模型使用RLHF更高效的方法來了

今年，以 ChatGPT 為首的大語言模型（Large Language Models, LLMs) 在各個(gè)方面大放光彩，由此引發(fā)了學(xué)術(shù)界和商業(yè)界對(duì) G...

2023-10-22 標(biāo)簽：語言模型ChatGPT大模型 521 0

全球首顆清華憶阻器存算一體芯片究竟是個(gè)啥？

業(yè)界很多也都在研究相關(guān)的解決方案，以實(shí)現(xiàn)更為有效的數(shù)據(jù)運(yùn)算和更大的數(shù)據(jù)吞吐量，其中“存算一體”被認(rèn)為是未來計(jì)算芯片的架構(gòu)趨勢(shì)。它是把之前集中存儲(chǔ)在外面的...

2023-10-22 標(biāo)簽：芯片人工智能憶阻器 810 0