本日Reddit熱議:開源機(jī)器學(xué)習(xí)管理平臺TRAINS。據(jù)開發(fā)者介紹,該平臺能夠通過中央服務(wù)器集中記錄管理ML模型的一切信息,整合方便,與主流框架無縫對接,僅用兩行代碼即可啟用,相關(guān)Demo和GitHub資源已開放。
今天Reddit頭號熱帖看起來像是一條廣告:這是一個ML團(tuán)隊自家開發(fā)的模型管理平臺,名字很別致,叫“TRAINS”,很直觀有沒有?
帖子作者是開發(fā)團(tuán)隊成員之一,上來第一句就很耿直:現(xiàn)在機(jī)器學(xué)習(xí)模型管理平臺很多,要不要來試試我們剛開源這個?
簡單介紹一下,這個平臺名叫TRAINS,我們團(tuán)隊沒有營銷team,所以我作為開發(fā)團(tuán)隊一員,先發(fā)到reddit上讓你們先試試看了!
你這平臺最大特點(diǎn)是啥?使用簡便!只需在腳本中添加兩行代碼,模型、性能指標(biāo)、超參數(shù)就盡在掌握了。
話說回來,只要分享的東西好用,作為“美國貼吧”的Reddit上的網(wǎng)友其實并不拒絕廣告,下邊網(wǎng)友就開始提問了,比如:
我現(xiàn)在還沒進(jìn)GitHub里詳細(xì)查看,不如你簡單介紹一下這個TRAINS平臺和現(xiàn)有其他機(jī)器學(xué)習(xí)模型管理平臺,比如和Sacred的區(qū)別、或者說是特別之處在哪兒呢?
Sacred平臺模型調(diào)試面板
樓主表示這個問題問的好。他表示,主要有六點(diǎn)區(qū)別:
TRAINS整合整個資源庫只需兩行代碼,如果是Scared的話,需要為每個函數(shù)添加修飾器,記錄每個量度和超參數(shù),顯示整合非常麻煩。
TRAINS還會自動將git repo和commit與實驗中的訓(xùn)練過程連接起來。(據(jù)我所知,這在Sacred中是辦不到的,至少不容易實現(xiàn))
TRAINS自動記錄模型并在集中的位置創(chuàng)建副本,團(tuán)隊可以輕松地對模型和初始權(quán)重進(jìn)行共享。(使用Sacred只能手動執(zhí)行操作,只能在共享文件夾上共享。)
TRAINS界面美觀,連續(xù)幾小時看著不累眼睛。
TRAINS允許用戶從Python式的界面中輕松查詢實驗數(shù)據(jù)和指標(biāo)。
TRAINS還允許用戶直接訪問mongoDB和elasticsearch數(shù)據(jù)庫,以便更深入地了解系統(tǒng)。
不過,作者Reddit上的回復(fù)中對TRAINS的介紹比較簡略,我們還可以去GitHub上看看。
GitHub上的介紹就直接多了,介紹說明文檔中直接將TRAINS稱為一套“神奇的自動化AI實驗管理器和版本控制器。”
即使是才華橫溢的科學(xué)家,工程師或開發(fā)人員,在獨(dú)立工作時都難免被復(fù)雜的流程搞得一團(tuán)亂麻。機(jī)器學(xué)習(xí)的工作流程是可以管理的。隨著時間的推移和項目人手的增加,管理的混亂會降低生產(chǎn)力。隨著項目向生產(chǎn)方向發(fā)展,必須通過可見性和出處(provenance)來擴(kuò)展深度學(xué)習(xí)的研究成果。
不論是對于團(tuán)隊還是企業(yè),TRAINS都能將所有內(nèi)容記錄在一個中央服務(wù)器中,并實現(xiàn)可視化和出處,這樣生產(chǎn)力就不會受到影響。TRAINS可以記錄和管理各種深度學(xué)習(xí)研究的模型負(fù)載,并且?guī)缀醪恍枰冻黾沙杀尽?/p>
我們專門設(shè)計了TRAINS,能夠輕松集成模型參數(shù),團(tuán)隊可以保留現(xiàn)有的方法和實踐。可以每天使用TRAINS來增強(qiáng)團(tuán)隊協(xié)作,提升可視化程度,還可以用來將實驗日志、輸出和數(shù)據(jù)收集到一個集中式的中央服務(wù)器上。
Demo地址:https://demoapp.trainsai.io (需要注冊)
究竟神奇在哪呢?以下是作者團(tuán)隊總結(jié)的TRAINS的主要特點(diǎn)。
TRAINS是我們解決機(jī)器學(xué)習(xí)/深度學(xué)習(xí)領(lǐng)域中與無數(shù)其他研究人員和開發(fā)人員分享的問題的方法:培訓(xùn)生產(chǎn)級深度學(xué)習(xí)模型是一個光榮而又混亂的過程。TRAINS通過關(guān)聯(lián)代碼版本控制、研究項目、性能指標(biāo)和模型出處來跟蹤和控制流程。
無縫兼容常用框架,一站式記錄所有模型數(shù)據(jù)
現(xiàn)在就能用
TRAINS免費(fèi)開源,只需要兩行代碼即可完全集成。
可與其他常用工具一起使用
TRAINS與現(xiàn)有主要框架無縫集成,包括:PyTorch、TensorFlow、Keras和其他即將推出的框架支持Jupyter Notebook和PyCharm遠(yuǎn)程調(diào)試
TRAINS服務(wù)器和使用TRAINS python包的GPU訓(xùn)練機(jī)器的交互過程
記錄一切:讓機(jī)器學(xué)習(xí)實驗真正可重復(fù)
自動關(guān)聯(lián)模型+代碼+參數(shù)+初始權(quán)重的模型日志記錄
自動在集中存儲上創(chuàng)建模型副本(支持共享文件夾、S3、GS,Azure即將推出!)
共享與合作
多用戶過程跟蹤與合作
中心服務(wù)器能夠整合日志、記錄和通用統(tǒng)計數(shù)據(jù)
提高生產(chǎn)力
全面的實驗數(shù)據(jù)比對,代碼貢獻(xiàn)、初始權(quán)重、超參數(shù)和量度結(jié)果等。
組織與管理
管理并組織項目中的實驗
查詢能力。通過結(jié)果量度對實驗進(jìn)行分類和篩選。
更多特色
通過網(wǎng)頁應(yīng)用,利用遠(yuǎn)程機(jī)器終止實驗
提供經(jīng)過現(xiàn)場測試的功能豐富的SDK,可滿足用戶的即時定制化需求
有關(guān)TRAINS機(jī)器學(xué)習(xí)模型管理平臺的更多詳情,可參閱GitHub資源:https://github.com/allegroai/trains
-
開源
+關(guān)注
關(guān)注
3文章
3396瀏覽量
42638 -
代碼
+關(guān)注
關(guān)注
30文章
4821瀏覽量
68890 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8438瀏覽量
132911
原文標(biāo)題:Reddit熱議:只要2行代碼,免費(fèi)開源ML管理工具TRAINS
文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論