調教LLaMA類模型沒那么難，LoRA將模型微調縮減到幾小時

最近幾個月，ChatGPT 等一系列大語言模型（LLM）相繼出現，隨之而來的是算力緊缺日益嚴重。雖然人人都想打造專屬于自己的大模型，但是能負擔得起上億參...

2023-05-28 標簽：語言模型LoRaChatGPT 2701 0

GPT-4 的模型結構和訓練方法

在 GPT-4 的發布報道上，GPT-4 的多模態能力讓人印象深刻，它可以理解圖片內容給出圖片描述，甚至能在圖片內容的基礎上理解其中的隱喻或推斷下一時刻的發展。

2023-05-22 標簽：數據模型語言模型 2667 0

人大發表迄今為止最大最全的大模型綜述

大語言模型目前已經成為學界研究的熱點。我們統計了arXiv論文庫中自2018年6月以來包含關鍵詞"語言模型"以及自2019年10月以...

2023-07-06 標簽：語言模型大模型 2553 0

AI Agents的框架構成以及LLMs的基礎知識

智能代理（AI Agents）長期以來都被視為通往人工通用智能（AGI）的一條希望途徑，預期中其能夠通過自主規劃和指令來自動完成相關任務。然而，早期的代...

2023-09-06 標簽：傳感器機器人AI 2526 0

到底該怎么將這些頂尖工具用到我的模型里呢？

然而，讓小編翻開他們的paper，發現每一個上面都寫著四個大字：“弱者退散”，到底該怎么將這些頂尖工具用到我的模型里呢，Hugging Face 的大神...

2019-02-24 標簽：開源語言模型nlp 2499 0

中文信息處理實驗室提出工具學習新框架ToolAlpaca

受 Alpaca 通過微調讓小模型學會通用指令遵循啟發，中文信息處理實驗室的研究人員探索了通過在通用工具使用數據集上微調較小規模的語言模型，讓它們獲得通...

2023-06-15 標簽：框架語言模型數據集 2293 0

使用Alpaca-Lora進行參數高效模型微調

在推理時，將左右兩部分的結果加到一起即可，h=Wx+BAx=(W+BA)x，所以，只要將訓練完成的矩陣乘積BA跟原本的權重矩陣W加到一起作為新權重參數替...

2023-05-17 標簽：服務器模型語言模型 2149 0

谷歌重磅新作PaLI-3：視覺語言新模型！更小、更快、更強

效果怎么樣呢？PaLI-3 在需要視覺定位文本理解和目標定位的任務上實現了新的 SOTA，包括 RefCOCO 數據集上的 8 個視覺定位文本理解任務和...

2023-10-20 標簽：編碼器語言模型大模型 2136 0

大語言模型的多語言機器翻譯能力分析

以ChatGPT為代表的大語言模型（Large Language Models, LLM）在機器翻譯（Machine Translation, MT）任...

2023-05-17 標簽：Opt語言模型ChatGPT 2064 0

ChatGPT背后的AI背景、技術門道和商業應用

作者：京東科技 李俊兵 各位看官好，我是球神（江湖代號）。 自去年11月30日ChatGPT問世以來，迅速爆火出圈。 起初我依然以為這是和當年Trans...

2024-10-18 標簽：AI語言模型ChatGPT 2063 0

最新綜述！當大型語言模型（LLM）遇上知識圖譜：兩大技術優勢互補

LLM 是黑箱模型，缺乏可解釋性，因此備受批評。LLM 通過參數隱含地表示知識。因此，我們難以解釋和驗證 LLM 獲得的知識。此外，LLM 是通過概率模...

2023-07-10 標簽：編碼語言模型知識圖譜 2050 0

ChatGPT到底有多會修bug？

雖然ChatGPT并非是為了專門修改bug而生，但自打它問世以來，不少網友們都發現它是具備這項能力的。因此研究人員為了摸清ChatGPT到底能修改bug...

2023-02-06 標簽：AI代碼語言模型 1982 0

首個中文醫學知識LLM：真正的賽華佗—華駝(HuaTuo)

通過醫學知識圖譜和 GPT 3.5 API 構建了中文醫學指令數據集，并在此基礎上對 LLaMA 進行了指令微調，提高了 LLaMA 在醫療領域的問答效果。

2023-05-08 標簽：模型語言模型知識圖譜 1874 0