電子發(fā)燒友網報道（文/李彎彎）過去近一年時間，國內外大模型技術越來越成熟，并逐步在不同場景中實現實現應用。在國內，作為早早布局多模態(tài)大模型的科研機構，中國科學院自動化研究所自2019年開始在語音、文本、圖像等單模態(tài)大模型研究和應用的基礎上，向多模態(tài)大模型攻關，并于2021年7月正式發(fā)布了全球首個千億參數多模態(tài)大模型紫東太初。

2023年6月16日，中國科學院自動化研究所和武漢人工智能研究院發(fā)布紫東太初2.0。2023年8月，中科院旗下紫東太初的大模型位列首批通過《生成式人工智能服務管理暫行辦法》備案的名單，可正式上線面向公眾提供服務。如今，紫東太初已經在不同領域實現應用。

紫東太初多模態(tài)大模型的技術進展

紫東太初是全球首個圖文音（視覺-文本-語音）三模態(tài)預訓練模型（OPT-Omni-Perception pre-Trainer），同時具備跨模態(tài)理解與跨模態(tài)生成能力。

紫東太初2.0在文本、圖像、語音三模態(tài)的基礎上，融入3D點云、視頻、信號等更多模態(tài)數據，現已支持多輪問答、文本創(chuàng)作、圖像生成、3D 理解、信號分析等全面問答任務，擁有更強的認知、理解、創(chuàng)作能力，帶來全新互動體驗。

紫東太初多模態(tài)大模型擁有三大關鍵技術和六大核心能力。三大關鍵技術：多模態(tài)理解與生成多任務統(tǒng)一建模；面向國產化軟硬件的高效訓練與部署；多模態(tài)預訓練模型架構設計與優(yōu)化。六大核心能力：多模態(tài)統(tǒng)一表示與語義關聯；預訓練模型網絡架構合計；模型適配與分布式訓練；跨模態(tài)內容轉化與生成；標注受限自監(jiān)督模型學習；模型輕量化與推理加速。

近期，為推動數字技術與行業(yè)應用深度融合，提供更加先進的新一代人工智能解決方案，助力產業(yè)升級和發(fā)展，武漢人工智能研究院基于“紫東太初”全模態(tài)大模型，搭建全棧國產化“紫東太初”大模型開放服務平臺。“紫東太初”跨模態(tài)通用人工智能平臺以多模態(tài)大模型為核心，基于全棧國產化基礎軟硬件平臺，可支撐全場景AI應用。

武漢人工智能研究院院長王金橋不久前表示，武漢人工智能研究院是以科技創(chuàng)新與成果轉化雙輪驅動的新型研發(fā)機構，作為湖北省人工智能產業(yè)鏈“鏈創(chuàng)”平臺，基于“紫東太初”多模態(tài)大模型，在智能制造、智慧醫(yī)療等多個領域打造了典型示范應用，并搭建全棧國產化自主可控的紫東太初大模型開放服務平臺，全力打造湖北省數字經濟智能底座。

“紫東太初”大模型正在賦能千行百業(yè)

據介紹，目前紫東太初已經在各行各業(yè)中實現應用。據武漢人工智能研究院官網介紹，該機構基于“紫東太初”多模態(tài)大模型攜手長安歐尚，共同引入了元宇宙的概念，創(chuàng)造出YYDS虛擬數字人，可以通過復刻自己或者親人的形象和聲音，捏出專屬的語音助手。

攜手杭州市文廣旅游局、杭州移動，基于“紫東太初”多模態(tài)大模型打造文旅場景首個多模態(tài)AI數字人“杭小憶”，為杭州文化旅游提供具有親和力、感染力、吸引力的代言人形象。利用AR/VR技術還原南宋御街歷史風貌，包含陶瓷燒制釉變、活字印刷、特色小吃等場景。

在紡織制造領域，該機構與魏橋集團合作了布匹缺陷檢測設備，該設備通過接入“紫東太初”大模型的質檢攝像頭識別70多種布匹瑕疵，能夠在較短時間內就滿足生產的精度要求，在驗布檢驗環(huán)節(jié)相比人工實現了質的突破，瑕疵識別檢出率高達95%。還能夠基于聲音發(fā)現瑕疵，提升紡織行業(yè)織布、驗布效率，助力紡織工業(yè)質檢。

在醫(yī)療領域，“紫東太初-火石數智燧石醫(yī)療大模型”最新應用成果于近期正式發(fā)布，九州通醫(yī)療器械集團項目總監(jiān)徐琳介紹，對于骨科疾病治療場景來說，按照監(jiān)管要求，目前很多醫(yī)院設備科的工作人員，是拿著放大鏡一顆一顆地去數骨釘等耗材，統(tǒng)計使用數量、類型，驗收器械的批號和實物是否一致，這種核驗過程不夠高效快捷。

她透露，今年3月起，九州通與武漢人工智能研究院聯合進行技術研發(fā)，歷經半年，完成骨科內植入耗材系統(tǒng)“骨科嫦娥”智慧系統(tǒng)研發(fā)。系統(tǒng)利用人工智能、深度神經卷積以及大模型等技術，在一個完整手術治療周期內，對骨科復雜植入物和工具進行智慧識別、全程追蹤、報表統(tǒng)計、能效分析、數據查詢、共享協同等閉環(huán)式、智慧化高效管理，試行效果良好。

“江城洛神”是基于“紫東太初”大模型打造的人工智能內容創(chuàng)作平臺，通過多模態(tài)技術實現圖像編輯與生成，輔助內容生產，用戶無需任何專業(yè)技能，只需輕輕一點，便可輕松創(chuàng)造出屬于自己的藝術作品，可廣泛運用于設計、影視、游戲等多個領域。

以室內裝修設計領域為例，只需提供一張戶型圖，“江城洛神”就可自動生成多種裝修設計樣式，提示詞越多、越精細，生成質量就越高，還能根據不同提示自動對結果進行編輯。

王金橋表示，“紫東太初”大模型正在賦能千行百業(yè)，推動數字經濟全面發(fā)展。“紫東太初”人工智能開放服務平臺目前已成功應用于汽車制造質檢、媒體信息服務、文化旅游、手語教育、紡織生產質檢、醫(yī)療器械等10余個領域，形成規(guī)模化應用落地。

小結

人工智能未來的10年將是生成式人工智能的10年，如今國內外各大科技巨頭及AI企業(yè)已經從初期招兵買馬啟動大模型產品的技術研發(fā)，進入到拓展應用場景的階段。如今市面上已經發(fā)布的大模型有幾百款。然而，通用大模型就如早期的操作系統(tǒng)一樣，最終只會需要一兩個或者兩三個。未來，就看誰能夠真正了解市場需求，最終脫穎而出了。