如何應(yīng)用自動(dòng)機(jī)器學(xué)習(xí) (AutoML) 加速圖機(jī)器學(xué)習(xí)任務(wù)的處理?清華大學(xué)發(fā)布全球首個(gè)開源自動(dòng)圖學(xué)習(xí)工具包:AutoGL (Auto Graph Learning),支持在圖數(shù)據(jù)上全自動(dòng)進(jìn)行機(jī)器學(xué)習(xí)。
人工智能的蓬勃發(fā)展離不開數(shù)據(jù)、算力、算法這三大要素。而在浩瀚的數(shù)據(jù)中,有一種數(shù)據(jù)結(jié)構(gòu)既普遍又復(fù)雜,它就是圖(graph)。
圖是一種用于描述事物之間關(guān)系的結(jié)構(gòu),其基本構(gòu)成元素為節(jié)點(diǎn)和連接節(jié)點(diǎn)的邊。 很多不同領(lǐng)域的研究問題都可以很自然地建模成圖機(jī)器學(xué)習(xí),例如蛋白質(zhì)建模、物理系統(tǒng)模擬、組合優(yōu)化等基礎(chǔ)研究;社交媒體分析、推薦系統(tǒng)、虛假新聞檢測等互聯(lián)網(wǎng)應(yīng)用;以及金融風(fēng)控、知識(shí)表征、交通流量預(yù)測、新藥發(fā)現(xiàn)等。
社交網(wǎng)絡(luò)圖示例。 圖結(jié)構(gòu)豐富且具有與生俱來的導(dǎo)向能力,因此非常適合機(jī)器學(xué)習(xí)模型。同時(shí),它又無比復(fù)雜,難以進(jìn)行大規(guī)模擴(kuò)展應(yīng)用。而且不同的圖數(shù)據(jù)在結(jié)構(gòu)、內(nèi)容和任務(wù)上千差萬別,所需要的圖機(jī)器學(xué)習(xí)模型也可能相差甚遠(yuǎn),這就導(dǎo)致不同任務(wù)的模型自動(dòng)化面臨巨大挑戰(zhàn)。如何設(shè)計(jì)最優(yōu)的圖自動(dòng)機(jī)器學(xué)習(xí)模型,是一個(gè)尚未解決的難題。
圖 + AutoML = ? 自動(dòng)機(jī)器學(xué)習(xí) (AutoML) 旨在將機(jī)器學(xué)習(xí)的過程自動(dòng)化,在降低機(jī)器學(xué)習(xí)使用門檻的同時(shí),提升機(jī)器學(xué)習(xí)的效果。但現(xiàn)有的自動(dòng)機(jī)器學(xué)習(xí)工具,無法考慮圖數(shù)據(jù)的特殊性,因此無法應(yīng)用在圖機(jī)器學(xué)習(xí)模型中。 為了解決該問題,清華大學(xué)朱文武教授帶領(lǐng)的網(wǎng)絡(luò)與媒體實(shí)驗(yàn)室發(fā)布了全球首個(gè)開源自動(dòng)圖學(xué)習(xí)工具包:AutoGL (Auto Graph Learning)。該工具支持在圖數(shù)據(jù)上全自動(dòng)進(jìn)行機(jī)器學(xué)習(xí),并且支持圖機(jī)器學(xué)習(xí)中最常見的兩個(gè)任務(wù):節(jié)點(diǎn)分類任務(wù)(node classification)與圖分類任務(wù)(graph classification)。
AutoGL 流程圖。 AutoGL 工具包首先使用 AutoGL Dataset 維護(hù)圖機(jī)器學(xué)習(xí)任務(wù)所需數(shù)據(jù)集。AutoGL Dataset 導(dǎo)入了大規(guī)模圖表示學(xué)習(xí)工具包 CogDL 和圖神經(jīng)網(wǎng)絡(luò)庫 PyTorch Geometric (PyG) 中的數(shù)據(jù)集模塊,并添加對OGB 數(shù)據(jù)集的支持,同時(shí)還添加了一些支持以便集成 auto solver 框架。 不同的圖機(jī)器學(xué)習(xí)任務(wù)可以通過不同的 AutoGL Solver 得到解決。AutoGL Solver 使用四個(gè)主要模塊自動(dòng)化解決給定任務(wù),分別是特征工程(Feature Engineering)、圖學(xué)習(xí)模型(Graph Learning Model)、超參數(shù)優(yōu)化(HPO),以及模型自動(dòng)集成(Auto Ensemble)。每個(gè)部分在設(shè)計(jì)時(shí)都引入了對圖數(shù)據(jù)特殊性的考慮。
模塊 1:特征工程 AutoGL 特征工程模塊包含了圖機(jī)器學(xué)習(xí)過程中常用的特征工程方法,包括節(jié)點(diǎn) / 邊 / 子圖特征提取、變換和篩選,如節(jié)點(diǎn)度數(shù)、節(jié)點(diǎn) ID、特征向量等。這些方法顯著豐富了目標(biāo)圖數(shù)據(jù)上的信息,提高了圖學(xué)習(xí)的效果。同時(shí),用戶還可以非常方便地?cái)U(kuò)展特征工程模塊,以實(shí)現(xiàn)個(gè)性化的需求。
模塊 2:圖學(xué)習(xí)模型 AutoGL 目前支持 GCN、GAT、GIN 等常見圖學(xué)習(xí)模型,可以完成包括點(diǎn)分類、圖分類在內(nèi)的多種常見任務(wù),使用方式簡單,上手方便。同時(shí),AutoGL 主頁還提供了詳細(xì)的說明文檔,支持用戶自定義模型,可擴(kuò)展性良好。
模塊 3:超參數(shù)優(yōu)化 AutoGL 目前集成了多種通用超參數(shù)優(yōu)化方法, 如網(wǎng)格搜索、隨機(jī)搜索、貝葉斯優(yōu)化、模擬退火、TPE 等算法,同時(shí)還包含專門針對圖學(xué)習(xí)優(yōu)化的自動(dòng)機(jī)器學(xué)習(xí)算法 AutoNE。該模塊省去了圖學(xué)習(xí)中繁雜的手動(dòng)調(diào)參過程,極大地提高了工程效率。同時(shí),該模塊易于使用,用戶只需給出各個(gè)超參數(shù)的類型和搜索空間、指定超參數(shù)優(yōu)化方法,即可快速上手運(yùn)行若干自動(dòng)圖學(xué)習(xí)模型。 AutoGL 會(huì)在給定的資源預(yù)算(時(shí)間、搜索次數(shù)等)內(nèi)給出最優(yōu)的超參數(shù)組合。該模塊同樣支持?jǐn)U展,用戶可以自定義新的超參數(shù)優(yōu)化算法。
模塊 4:模型自動(dòng)集成 自動(dòng)集成模塊目前支持兩類常用的集成學(xué)習(xí)方法:voting 和 stacking。該模塊通過組合多個(gè)基模型得到一個(gè)博采眾長的集成模型,從而進(jìn)一步提升圖學(xué)習(xí)的效果。 AutoGL 工具包目前支持多種算法,如下表所示:
AutoGL 工具包四個(gè)不同模塊所支持的算法。 AutoGL 工具包極大地方便了開發(fā)人員進(jìn)行對應(yīng)的圖學(xué)習(xí)算法設(shè)計(jì)和調(diào)優(yōu)。用戶只需按照 AutoGL 的數(shù)據(jù)集標(biāo)準(zhǔn)提供目標(biāo)數(shù)據(jù)集,AutoGL 就會(huì)自動(dòng)尋找最優(yōu)的模型和對應(yīng)的超參數(shù),從而簡化圖學(xué)習(xí)算法開發(fā)與應(yīng)用的流程,極大提升圖學(xué)習(xí)相關(guān)的科研和應(yīng)用效率。
此外,AutoGL 工具包還提供了一個(gè)供使用者公平地測試與對比算法的平臺(tái)。AutoGL 在設(shè)計(jì)時(shí)遵循模塊化思想,每個(gè)模塊均可擴(kuò)展,用戶只需實(shí)現(xiàn)對應(yīng)模塊類的接口,即可方便地測試自己的算法,為快速獲得 baseline 效果、公平對比不同模型性能提供方便。 未來展望 據(jù) AutoGL 研發(fā)團(tuán)隊(duì)透露,他們將進(jìn)一步深入研發(fā),以方便其他研究者、業(yè)界使用者和初學(xué)者快速上手 AutoGL,解決學(xué)術(shù)界、產(chǎn)業(yè)界遇到的圖學(xué)習(xí)相關(guān)問題。 AutoGL 網(wǎng)站顯示,該工具包將在近期支持以下功能:
神經(jīng)架構(gòu)搜索;
大規(guī)模圖數(shù)據(jù)集支持;
更多圖任務(wù)(如鏈接預(yù)測、異構(gòu)圖任務(wù)、時(shí)空任務(wù));
Graph Boosting & Bagging;
對更多圖模型庫提供后端支持(如 DGL)。
AutoGL 研發(fā)團(tuán)隊(duì)期待得到各類使用反饋,以更好地完善 AutoGL 的各項(xiàng)功能。「我們的最終目的是推動(dòng)自動(dòng)圖機(jī)器學(xué)習(xí)在學(xué)術(shù)界與工業(yè)界的深層次探索和應(yīng)用。」AutoGL 研發(fā)者談及之后的計(jì)劃時(shí)表示。 相關(guān)鏈接
AutoGL 網(wǎng)站地址:http://mn.cs.tsinghua.edu.cn/autogl/
AutoGL 代碼鏈接:https://github.com/THUMNLab/AutoGL
AutoGL 說明文檔:https://autogl.readthedocs.io/en/latest/index.html
圖深度學(xué)習(xí)模型綜述:https://arxiv.org/abs/1812.04202
責(zé)任編輯:xj
原文標(biāo)題:清華大學(xué)發(fā)布首個(gè)自動(dòng)圖機(jī)器學(xué)習(xí)工具包AutoGL,開源易用可擴(kuò)展,支持自定義模型
文章出處:【微信公眾號(hào):新機(jī)器視覺】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
-
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8408瀏覽量
132574 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5500瀏覽量
121117
原文標(biāo)題:清華大學(xué)發(fā)布首個(gè)自動(dòng)圖機(jī)器學(xué)習(xí)工具包AutoGL,開源易用可擴(kuò)展,支持自定義模型
文章出處:【微信號(hào):vision263com,微信公眾號(hào):新機(jī)器視覺】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論