搜索出生的百川智能大模型RAG爬坑之路總結(jié)

今天對(duì)百川的RAG方法進(jìn)行解讀，百川智能具有深厚的搜索背景，來(lái)看看他們是怎么爬RAG的坑的吧～

2024-01-05 標(biāo)簽：SFT百川智能 1734 0

從Google多模態(tài)大模型看后續(xù)大模型應(yīng)該具備哪些能力

前段時(shí)間Google推出Gemini多模態(tài)大模型，展示了不凡的對(duì)話能力和多模態(tài)能力，其表現(xiàn)究竟如何呢？

2023-12-28 標(biāo)簽：SFTTPUGPT 1477 0

使用Huggingface創(chuàng)建大語(yǔ)言模型RLHF訓(xùn)練流程

ChatGPT已經(jīng)成為家喻戶曉的名字，而大語(yǔ)言模型在ChatGPT刺激下也得到了快速發(fā)展，這使得我們可以基于這些技術(shù)來(lái)改進(jìn)我們...

2023-12-06 標(biāo)簽：機(jī)器學(xué)習(xí)SFTDPO 1534 0

探索SFT訓(xùn)練策略對(duì)性能的影響

大模型混合多種能力項(xiàng)數(shù)據(jù)進(jìn)行微調(diào)時(shí)，會(huì)呈現(xiàn)高資源沖突，低資源增益的現(xiàn)象。我們提出的DMT策略通...

2023-10-26 標(biāo)簽：數(shù)據(jù)語(yǔ)言模型SFT 1354 0

關(guān)于領(lǐng)域大模型-訓(xùn)練Trick&落地的一點(diǎn)思考

現(xiàn)有大模型在預(yù)訓(xùn)練過(guò)程中都會(huì)加入書籍、論文等數(shù)據(jù)，那么在領(lǐng)域預(yù)訓(xùn)練時(shí)這兩種數(shù...

2023-08-09 標(biāo)簽：MIPSQLSFT 1983 0

大模型訓(xùn)練中RM分?jǐn)?shù)越來(lái)越高，那訓(xùn)出來(lái)LLM的效果一定好嗎？

如果你動(dòng)手跑幾次ppo的過(guò)程就發(fā)現(xiàn)了，大模型的強(qiáng)化學(xué)習(xí)非常難以訓(xùn)練，難以訓(xùn)練不僅僅指的是費(fèi...

2023-07-26 標(biāo)簽：處理器SFTGAE 2001 0