在RTX 4090被限制的時代下，讓大模型使用RLHF更高效的方法來了

今年，以 ChatGPT 為首的大語言模型（Large Language Models, LLMs) 在各個方面大放光彩，由此引發了學術界和商業界對 G...

2023-10-22 標簽：語言模型ChatGPT大模型 539 0

一種針對LLMs簡單有效的思維鏈解毒方法

考慮到強化學習[10]訓練大語言模型的困難性，我們從語言建模的角度對大語言模型進行解毒。已有工作將解毒視為單一的任務，可以實現從有毒內容到無毒內容的直接...

2023-08-21 標簽：API語言模型強化學習 528 0

探究編輯多模態大語言模型的可行性

不同于單模態模型編輯，多模態模型編輯需要考慮更多的模態信息。文章出發點依然從單模態模型編輯入手，將單模態模型編輯拓展到多模態模型編輯，主要從以下三個方面...

2023-11-09 標簽：編碼器語言模型OpenAI 525 0

LLM作用下的成分句法分析基礎研究

采用伯克利神經解析器（Berkeley Neural Parser）作為方法的基礎。該解析器是一種基于圖表的方法，采用自注意力編碼器和圖表解碼器，利用預...

2023-11-10 標簽：語言模型語法LLM 514 0

華南理工賈奎團隊ICCV'23新作：支持重新照明、編輯和物理仿真

現有的文本到三維模型的生成方法通常使用NeRF等隱式表達，通過體積渲染將幾何和外觀耦合在一起，但在恢復更精細的幾何結構和實現逼真渲染方面存在不足，所以在...

2023-07-29 標簽：3D自動化語言模型 510 0

大語言模型事實性幻象的實驗性分析

盡管大語言模型能力不斷提升，但一個持續存在的挑戰是它們具有產生幻象的傾向。本文構建了幻象評測基準HaluEval 2.0，并基于該評測框架從預訓練/有監...

2024-01-19 標簽：開源語言模型自然語言處理 495 0

通過循環訓練實現忠實的低資源數據文本生成

從結構化數據中自然語言生成（NLG）往往會產生多種錯誤，從而限制了這些模型在面向客戶的應用中的實用性。當NLG 模型在生成的輸出文本時注入與輸入結構化數...

2023-08-24 標簽：數據庫模型語言模型 490 0

如何利用位置編碼實現長度外推？

無論是縮放位置索引還是修改基地，所有token都變得彼此更接近，這將損害LLM區分相近token的位置順序的能力。結合他們對RoPE的波長的觀察，存在一...

2024-01-08 標簽：語言模型Transformer位置編碼器 483 0

模型與人類的注意力視角下參數規模擴大與指令微調對模型語言理解的作用

近期的大語言模型（LLM）在自然語言理解和生成上展現出了接近人類的強大能力，遠遠優于先前的BERT等預訓練模型（PLM）。

2024-01-04 標簽：PLM語言模型LLM 477 0

GPT-4推理提升1750%！清華姚班校友提出全新ToT框架

那么，這樣一個簡單的機制能否足以建立一個通向「解決通用問題的語言模型」？如果不是，哪些問題會挑戰當前的范式，真正的替代機制應該是什么？

2023-05-24 標簽：框架語言模型GPT 428 0

PyTorch教程-9.3. 語言模型

9.3. 語言模型? Colab [火炬]在 Colab 中打開筆記本 Colab [mxnet] Open the notebook in C...

2023-06-05 標簽：語言模型pytorch 425 0

深度探討VLMs距離視覺演繹推理還有多遠？

通用大型語言模型（LLM）推理基準：研究者們介紹了多種基于文本的推理任務和基準，用于評估LLMs在不同領域（如常識、數學推理、常識推理、事實推理和編程）...

2024-03-19 標簽：語言模型大模型 371 0

LeCun世界模型首個研究！自監督視覺像人一樣學習和推理！

今日，Meta 推出了首個基于 LeCun 世界模型概念的 AI 模型。該模型名為圖像聯合嵌入預測架構（Image Joint Embedding Pr...

2023-06-15 標簽：人工智能模型語言模型 371 0

一文理解多模態大語言模型——上

作者：Sebastian Raschka 博士， 翻譯：張晶，Linux Fundation APAC Open Source Evangelist 編...

2024-12-02 標簽：語言模型 349 0