近年來,隨著大數據和人工智能技術的逐步成熟與廣泛應用,AI業(yè)務對算力的需求不斷增加,算法迭代速度持續(xù)加快,新的算法框架層出不窮,場景化的算法應用日趨豐富。面對日益復雜的海量算法應用場景,如何建設一個更加高效并可持續(xù)演進的算法資源管理平臺,來幫助企業(yè)實現算法全生命周期管理,已成為各大企業(yè)在開展AI應用過程中面臨的一大挑戰(zhàn)。
為了幫助企業(yè)實現算法的統(tǒng)一管理和算法在企業(yè)應用中的全生命期支撐,提升企業(yè)資源的利用率和開放性,構建算法管理生態(tài)體系,淵亭科技針對行業(yè)痛點需求推出了算法倉平臺服務。
算法倉介紹
1.什么是算法倉?
人工智能的“三算”包括算力、算料和算法,分別對應算力倉、算料倉和算法倉。
其中,算法倉是管理算法模型的倉庫,倉庫集中管理所有的AI算法模型,并提供AI分析服務能力,實現多廠家、多版本算法的快速集成,提供算法的生命周期管理能力。
2.算法倉做什么用?
算法倉提供統(tǒng)一的算法管理服務和生命周期管理能力,實現終端設備、平臺、算法和應用之間的全解耦,通過分層架構設計和提供標準化的接口,將各種能力以模塊化服務的方式提供給不同應用靈活調用,實現算法與應用解耦、算法與數據解耦、算法與硬件解耦,同時通過統(tǒng)一API接口進行能力開放,實現數據共享與生態(tài)合作。算法倉體系架構使得算法分析能力不再固化在應用產品中,具有系統(tǒng)高可用、資源高利用率、算法靈活開放等優(yōu)勢。
淵亭科技算法倉平臺
淵亭科技算法倉基于公司深厚的技術沉淀進行研發(fā),平臺既集成了國內外各類領先的算法模型和淵亭科技自研算法模型,也支持第三方算法廠商的算法接入,建設算法開發(fā)-自動化準入-運行-運營的全生命周期管理體系,以滿足不同場景的算法管理需求。平臺遵循成熟的算法自動化檢測標準,符合企業(yè)的算法運營體系規(guī)范,能夠快速實現人工智能應用高質量落地,促進AI資源高效共享與運營。
1.平臺總體架構
算法倉平臺核心功能包括算法廠家管理、算法信息管理、算法服務管理、算法資源管理、開發(fā)者服務、準入自動化測試等模塊,并支持對接企業(yè)的基礎設施平臺和運營平臺,實現算法所需數據和支持應用的快速對接。算法倉平臺遵循了一套完整的算法統(tǒng)一對接標準規(guī)范,支持通過準入準出機制和統(tǒng)一對接標準實現第三方算法與自研算法的接入。基于算法倉平臺整體能力可為企業(yè)提供算法全生命周期管理服務,簡化算法調度流程,提升算法的管理、部署和上線應用效率。
淵亭科技算法倉平臺架構圖
2.核心功能介紹
(1)算法倉功能介紹
本功能實現對算法廠商信息的全面管理。該功能不僅可對算法廠商基本信息進行管理,還支持對廠商接入、退出、評價和算法授權等進行管理,可實現自動生成和刪除廠商編碼、預生成算法編碼等特性,同時支持對算法授權日志、算法授權數據進行統(tǒng)計和展示。
預生成算法編碼管理
(2)算法信息管理
該功能支持第三方算法廠商進行算法信息管理,廠商可基于通用/專用的算法鏡像關聯維護多個算法。該模塊支持對算法類別、事件告警等基本信息進行管理。同時,用戶可對鏡像編號、鏡像版本等信息進行錄入、修改、刪除等操作,校驗并管理鏡像狀態(tài)(測試態(tài)、下架態(tài)、上架態(tài))等。
新增算法
(3)算法服務管理
該功能具備服務動態(tài)調度、算力資源調度、算法鏡像調度和算法自動化發(fā)布的能力。用戶可根據運營管理規(guī)劃,進行服務初始化部署,啟動算法的服務實例。服務動態(tài)調度支持根據實際下發(fā)任務進行服務的運行期資源調度,實現動態(tài)調度(彈性擴容、縮容、銷毀)的特性。算力資源調度支持結合算法任務承載量動態(tài)調度相應算力資源(包括整服務器資源、碎片化單卡資源、利用率較低的單卡資源),實現算法分析任務漂移的能力,支持在容器宕機、算法假死等情況下實現任務重新下發(fā)和任務分析。
算法服務管理
(4)算法準入管理
該模塊提供了算法接口規(guī)范檢測、算法功能驗證、資源情況評估和導出測試報告等功能,支持第三方算法和自研算法根據統(tǒng)一的對接標準實現算法接入,算法廠家可快速接入算法倉,同時提供算法驗證功能,包含告警上報驗證、算法準確率驗證和誤報率評估驗證等。
(5)算法資源管理
提供納管中心節(jié)點及邊緣節(jié)點算力資源的能力,中心節(jié)點可統(tǒng)一管理邊緣節(jié)點,其中算力資源包括資源IP、資源規(guī)格、(CPU、GPU、內存等)、歸屬節(jié)點等信息。監(jiān)控中心節(jié)點及邊緣節(jié)點的服務器資源、主機資源等,算法維度統(tǒng)計算法資源消耗,可視化展示統(tǒng)計結果。監(jiān)控算法容器的運行狀態(tài)和資源使用情況,支持以圖表可視化方式展示資源監(jiān)控信息并支持導出報表。
容器監(jiān)控管理
3.平臺核心價值
(1)幫助企業(yè)提高算法生態(tài)整合能力。
(2)幫助企業(yè)建立算法全生命周期管理規(guī)范,提升算法資源利用效率。
(3)通過“賽馬機制”形成算法更新迭代的良性循環(huán),幫助企業(yè)持續(xù)提升算法的計算性能。
(4)幫助企業(yè)節(jié)省算力資源的成本支出。
應用案例
1.天翼云案例
2022年3月,淵亭科技成功中標天翼數字生活科技有限公司算法倉項目。該平臺面向6000萬+個生活終端,實現數百個人工智能算法的集中加載、定向分發(fā)、擇優(yōu)計算及統(tǒng)一管理,形成算法生態(tài)合作,助力中國電信踐行“云改數轉”策略,極大發(fā)揮在數字生活領域的領先實力。
平臺累計對接6個運營子平臺接口、3個OOS接口、5個算法規(guī)范接口、2個鏡像服務接口和30多個云平臺接口。上線了算法產家管理、算法管理、算法服務管理、算法準入自動化測試等核心模塊。同時,算法成功應用在老鼠識別、佩戴廚師帽檢測、安全帽檢測、車牌識別、工程車輛檢測、身份證識別等20+個業(yè)務場景。
天翼云算法倉極大地提升了天翼數字生活科技有限公司對算法的自主掌控能力,有效的支撐多場景的智聯業(yè)務發(fā)展。
2.中國鐵塔案例
近日,淵亭科技就算法倉共建與中國鐵塔簽訂合作協(xié)議。項目根據中國鐵塔的運營思路,依托淵亭科技算法倉平臺,設計算法商城、動態(tài)配額等機制,激發(fā)算法廠商參與的積極度,持續(xù)構建算法生態(tài),并同步建立算法自動化檢測標準和算法運營體系規(guī)范,在縮短算法應用周期的同時,幫助中國鐵塔整合通信基礎設施、IT基礎設施等監(jiān)控能力,研發(fā)視聯算法任務調度機制,實現邊緣自治和算法動態(tài)調度的運行保障能力。
為進一步拓展通信鐵塔基礎設施的服務能力,打造具有電信行業(yè)特色的自主掌控、開放高效的通信鐵塔基礎設施服務信息化平臺,提高AI技術在運營效率、服務水平等方面的應用能力,同時推進數字化管理創(chuàng)新,中國鐵塔基于算法倉等關鍵能力,對現有業(yè)務應用進行智能化改造,智能化地支撐生產和決策,切實為基層減負,提高運營管理效率。
3.中國移動案例
本項目通過在中國移動的計算節(jié)點上部署算法倉平臺,實現了跨區(qū)域算法的統(tǒng)一管理、分發(fā)和部署,有效管理了中國移動在山東、江西、云南、內蒙、四川等地的算力資源,使得各省公司算法應用上線效率大幅提升,上線周期大幅縮短。同時,算法倉平臺有力的支撐了中國移動和包貸應用場景落地,通過算法對移動用戶進行授信分析,激活無法授信的沉睡客戶,實現了最終客戶轉換,使得獲客成本大幅降低,最終助力移動和包貸業(yè)績大幅增長。
4.國防領域案例
淵亭科技算法倉平臺除在政企領域開展實踐外,在國防領域也有著廣泛的運用,能夠為國防領域豐富的物聯網、人工智能場景,輸出包含機器學習和深度學習的應用級全棧算法服務能力,基于完備的邊霧云一體化架構實現算法的全面管理和調度。例如在某項目中,圍繞指揮控制、戰(zhàn)場態(tài)勢、支援保障等業(yè)務方向,構建覆蓋指揮中樞到單兵作戰(zhàn)終端的一體化算法分發(fā)和運行調度框架,對國防領域復雜的異構計算資源(大數據集群、GPU 集群、邊緣節(jié)點、終端算力等)進行優(yōu)化調配,匹配算力和數據進行高效計算,統(tǒng)籌情報取證、戰(zhàn)場目標意圖識別、作戰(zhàn)策略推薦等高頻算法的運行和使用,提高了智能作戰(zhàn)的體系韌性,實現方案優(yōu)化和綜合管理一體化,大大降低了人工智能在軍事領域落地的復雜性。
算法倉能力在各領域的廣泛應用,只是淵亭諸多人工智能技術創(chuàng)新和產品化沉淀的縮影之一。淵亭科技還將持續(xù)扎根技術、沉淀產品、服務場景,聚焦人工智能的應用價值,把落地業(yè)務做深做透,以獲得更多客戶的信賴、認可,助力各行各業(yè)在智能化時代的創(chuàng)新與突破。
-
物聯網
+關注
關注
2909文章
44567瀏覽量
372818 -
AI
+關注
關注
87文章
30747瀏覽量
268899 -
終端設備
+關注
關注
1文章
169瀏覽量
15240 -
人工智能技術
+關注
關注
2文章
216瀏覽量
10546
發(fā)布評論請先 登錄
相關推薦
評論