高質量數據的助攻,讓微調大模型青出于藍而勝于藍!
海量數據的預訓練,讓通用大模型擁有十八般武藝,幾乎能夠輕松應對所有問題。但面向特定行業與場景,模型效果卻難以讓人滿意,問題同樣也是數據。
通過將特定數據“投喂”給通用大模型,在保持“通才”優勢的基礎上,微調大模型輕松兼容行業“專才”的優勢,指哪打哪。但訓練專屬大模型,看似簡單,背后需要從數據、算力到微調工具等一系列支撐。 訊飛星辰MaaS平臺已匯集訊飛星火、Llama3、SD-XL等20+行業內知名的優質模型,無需復雜調整或重新訓練,甚至零代碼也可能完成微調。 圍繞數據管理、模型微調、評估、托管、推理服務,訊飛星辰MaaS平臺提供了完善大模型全生命周期管理,覆蓋內容創作、代碼、邏輯推理等多場景。近期,模型與數據集豐富度,以及功能特性再次完成全新升級。
微調模型更豐富:支持星火系列大模型及多個優質開源大模型
數據集構建更輕松:基本支持行業主流數據集,可實現數據批量處理
微調體驗顯著提升:提供靈活可用的全棧工具鏈,讓大模型效果符合預期
01豐富模型,滿足多樣業務場景
訊飛星辰MaaS平臺已匯集星火、Llama3等行業優質模型,讓每一個場景需求都能找到合適的模型搭子。本次升級,新加入了Spark Max、Spark Mini、Spark Tiny等星火自研模型,讓模型“隊伍”再次壯大。
Spark Max適用于對內容質量和知識專業性要求高的業務場景,如高端內容創作、專業知識服務等。Spark Tiny的部署和精調成本在星火系列模型中最具性價比,在對成本較為敏感但又需要一定性能支持的場景表現良好,比如小型創業公司的在線客服系統,能在滿足性能需求的同時節省成本。
同時,平臺還引入了書生系列、Qwen2.5系列等多個開源模型的精調,給開發者提供更多選擇。
模型學習如何在特定任務中做出正確的判斷?首發文本分類的bert模型,可以分析文本特征后進行分類,將數據提供給bert模型進行微調后的分類器效果非常精準,而且能夠直接在Spark API中進行應用。
02夯實數據工程,提效加速更易用
數據量的大小和質量高低是大模型產業發展的關鍵,也是決定大模型是「專家」或是「磚家」的一條分界線。大模型微調過程中,數據集就像老師教課時用的書和資料。這些書和資料里有很多例子和題目,可以幫助學生(也就是大模型)更好地學習和理解新知識。
通過選擇合適的數據集構建方法,并遵循關鍵步驟進行操作,可以顯著提升微調效果,使模型更好地適應新任務。但開發者在數據構建中很容易遇到不少難題:只有文本數據、無問答對數據,數據量少,沒辦法判斷數據質量、不知道如何優化數據集、積累數據困難。
基于問答抽取、數據增強、prompt工程等維度出發,訊飛星辰MaaS平臺構建了全方位的數據工程能力,幫助用戶輕松構建高質量數據。以數據增強為例,支持常見文本生成、語義理解、知識問答數據泛化,擴展數據集數量;支持混合訓練(平臺自動添加數據集)。
大模型微調過程中,因為不同的任務需求、數據來源和處理方式會導致數據集的結構和內容有所不同。不同的微調框架可能支持不同的數據集格式。
現在,訊飛星辰MaaS平臺的數據集格式擴充,已支持ShareGPT、Alpaca格式數據集,實現了對幾乎所有行業主流數據集格式的支持。無論你的數據集什么樣,在訊飛星辰MaaS平臺上都能訓。
如果你不想或者來不及準備測試集,也不用慌。訊飛星辰MaaS平臺支持從訓練集中拆分出一定比例,在訓練完成后,平臺會自動把拆出來的這部分數據拿去做驗證,就可以直觀的看到微調效果展示。
當我們有大量數據需要處理時,而不是一次只處理一條數據,可以把很多數據一起“放”進模型中,讓模型一次處理多條數據。現在,訊飛星辰MaaS平臺最多支持10個模型同時在線批量推理,大大提高了數據處理的效率。
03擴展功能邊界,輔助創新更專業
選好了合適模型,數據準備好后,進入到具體的微調環節,如何讓模型的功能更強大、效果符合預期?訊飛星辰MaaS平臺還提供了多種讓人驚喜的功能。
?兼容OpenAI協議,「絲滑」搬家國產大模型
今年6月,OpenAI 停止向中國大陸地區提供 API 服務,對于依賴 OpenAI API 構建產品和服務的企業來說,無疑是一次技術上的挑戰。然而國內大模型已經大幅縮小了與 OpenAI 的差距,可以滿足大部分日常的場景。10月24日發布的訊飛星火4.0 Turbo七項核心能力在中文領域已全面超過GPT-4 Turbo,代碼能力和數學能力超越GPT-4o。
方便開發者進行能力遷移,訊飛星辰MaaS平臺現已兼容OpenAI協議,用戶之前用OpenAI的能力,可以一鍵切換成星火的能力,實現「絲滑」搬家。
?支持function_call 精調訓練,高效調用獨立工具
由于大模型的訓練數據有時間期限,無法了解最近發生的事情。因此,當用戶詢問模型一些它不了解的數據信息時,模型本身就無法給出答案。此時,function_call 就像放大器一樣,通過調用外部工具,增強大語言模型的能力。
使用function_call,可以讓模型能夠理解什么時候需要調用函數、調用哪種函數,以及如何正確地傳遞參數給函數,從而增強模型在實際應用中的實用性,使其能夠更好地與外部工具或系統進行交互。
?支持Loss曲線展示和裁判員模型效果評估對比,模型效果隨時評估
大模型的調試評估不能等精調完再檢查,要在過程中就把握好。
訊飛星火系列模型已支持Loss曲線展示,在微調模態訓練過程中即可通過精細化的數據配比和動態調整,在提升目標領域能力的同時,最大限度避免災難性遺忘,保持模型的全面性能。
如果你選擇了多個大模型進行微調訓練,不知道最終該用哪一個。訊飛星辰MaaS平臺提供了裁判員打分模型,基于星火最優模型提供的評估報告,評判模型效果的好壞。
面向專業開發者的更多需求,訊飛星辰MaaS平臺還支持部分高級參數,支持分詞長度、Lora Merge,UnSloth等特性配置。
訊飛星辰MaaS平臺之外,訊飛星火還構建了豐富且高性價比API矩陣。目前,Spark Pro版本每百萬token僅需5元,并支持128K上下文;Ultra和Max 均提供Batch版本 API。
-
開源
+關注
關注
3文章
3398瀏覽量
42650 -
訊飛開放平臺
+關注
關注
0文章
13瀏覽量
11559 -
大模型
+關注
關注
2文章
2541瀏覽量
3026
原文標題:大模型人人皆可“煉”,訊飛星辰MaaS平臺精調門檻再降低
文章出處:【微信號:訊飛開放平臺,微信公眾號:訊飛開放平臺】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論