近期,由Frank Hutter, Lars Kotthoff, Joaquin Vanschoren撰寫的新書《AUTOML:方法,系統(tǒng),挑戰(zhàn)》221頁的草稿版本已經(jīng)放出,詳細(xì)講解了AutoML系統(tǒng)背后的基礎(chǔ)知識(shí),以及對(duì)當(dāng)前AutoML系統(tǒng)進(jìn)行了深入描述。新書將由NIPS 2018出版發(fā)行。
近期,由Frank Hutter, Lars Kotthoff, Joaquin Vanschoren撰寫的《AUTOML:方法,系統(tǒng),挑戰(zhàn)》“AUTOML: METHODS, SYSTEMS, CHALLENGES (NEW BOOK)” 221頁的草稿版本已經(jīng)放出,詳細(xì)講解了所有AutoML系統(tǒng)背后的基礎(chǔ)知識(shí),以及對(duì)當(dāng)前AutoML系統(tǒng)進(jìn)行了深入描述,Auto-WEKA、Hyperopt-Sklearn、Auto-sklearn等,最后介紹了AutoML的挑戰(zhàn)。作者當(dāng)前正在完成這本新書的編輯工作,它將由NIPS 2018出版發(fā)行。
如果你用過機(jī)器學(xué)習(xí)算法,那一定體驗(yàn)被算法調(diào)參支配的恐怖。面對(duì)錯(cuò)綜復(fù)雜的算法參數(shù),算法使用者們往往要花費(fèi)無盡的黑夜去不斷嘗試,猶如大海撈針。有的時(shí)候加班到深夜,終于找到了一個(gè)靠譜的參數(shù)組合,然而找到的參數(shù)組合真的是最優(yōu)的么?天知道。
然而在搭建機(jī)器學(xué)習(xí)鏈路的過程中,往往不止調(diào)參這一步耗時(shí)耗力。好不容易生成了算法模型,怎么把模型部署成服務(wù)供手機(jī)、PC這些終端調(diào)用也是困擾開發(fā)同學(xué)的一大難題。有的時(shí)候,為了打通這樣的鏈路,要耗費(fèi)整晚的時(shí)間調(diào)試不同格式的模型和服務(wù)端的關(guān)聯(lián)。
在2018年谷歌云全球NEXT大會(huì)(Google CloudNext 18)上,李飛飛宣布,谷歌AutoML Vision進(jìn)入公共測(cè)試版,并推出了兩款新的AutoML產(chǎn)品:AutoML Natural Language和AutoML Translation。
這個(gè)名為Cloud AutoML的宏大項(xiàng)目浮出水面之時(shí),被業(yè)內(nèi)稱為“Google Cloud發(fā)展的戰(zhàn)略轉(zhuǎn)型”——一直以來面向機(jī)器學(xué)習(xí)人工智能開發(fā)者的Google Cloud,這次將服務(wù)對(duì)象轉(zhuǎn)向了普羅大眾。
當(dāng)時(shí)這一已經(jīng)從單純的視覺拓展到翻譯、視頻和自然語言處理領(lǐng)域。
谷歌的宏偉愿景由此可見一斑——你只需在改系統(tǒng)中上傳自己的標(biāo)簽數(shù)據(jù),大能得到一個(gè)訓(xùn)練好的機(jī)器學(xué)習(xí)模型。整個(gè)過程,從導(dǎo)入數(shù)據(jù)到標(biāo)記到模型訓(xùn)練,都可以通過拖放界面完成。
其實(shí)在谷歌發(fā)布AutoML前后,機(jī)器學(xué)習(xí)自動(dòng)化的產(chǎn)品風(fēng)潮已經(jīng)吹起:2017年底,微軟發(fā)布CustomVision.AI,涵蓋圖像、視頻、文本和語音等各個(gè)領(lǐng)域。今年 1 月,他們又推出了完全自動(dòng)化的平臺(tái) Microsoft Custom Vision Services(微軟定制視覺服務(wù))。
此外,另一個(gè)比較火爆的AI自動(dòng)化產(chǎn)品OneClick.AI 是 2017 年底出現(xiàn)在市場(chǎng)上的一個(gè)自動(dòng)化機(jī)器學(xué)習(xí)(AML)平臺(tái),其中既包括傳統(tǒng)的算法,也包括深度學(xué)習(xí)算法。同年,國(guó)內(nèi)也出現(xiàn)了不少相關(guān)產(chǎn)品,稱能夠解放算法工程師,讓AI自動(dòng)化。
AutoML 是什么?
傳統(tǒng)上,術(shù)語AutoML用于描述模型選擇和/或超參數(shù)優(yōu)化的自動(dòng)化方法。這些方法適用于許多類型的算法,例如隨機(jī)森林,梯度提升機(jī)器(gradient boosting machines),神經(jīng)網(wǎng)絡(luò)等。 AutoML領(lǐng)域包括開源AutoML庫(kù),研討會(huì),研究和比賽。初學(xué)者常常覺得他們?cè)跒槟P蜏y(cè)試不同的超參數(shù)時(shí)通常僅憑猜測(cè),而將這部分過程的自動(dòng)化可以使機(jī)器學(xué)習(xí)變得更加容易。即使是對(duì)經(jīng)驗(yàn)豐富的機(jī)器學(xué)習(xí)從業(yè)者而言,這一自動(dòng)化過程也可以加快他們的速度。
業(yè)內(nèi)現(xiàn)存有許多AutoML庫(kù),其中最早出現(xiàn)的是AutoWEKA,它于2013年首次發(fā)布,可以自動(dòng)選擇模型和超參數(shù)。其他值得注意的AutoML庫(kù)包括auto-sklearn(將AutoWEKA拓展到了python環(huán)境),H2O AutoML和TPOT。 AutoML.org(以前被稱為ML4AAD,Machine Learning for AutomatedAlgorithm Design)小組,自2014年以來一直在ICML機(jī)器學(xué)習(xí)學(xué)術(shù)會(huì)議上組織AutoML研討會(huì)。
AutoML 有用嗎?
AutoML提供了一種選擇模型和優(yōu)化超參數(shù)的方法。它還可以用于獲取對(duì)于一個(gè)問題可能性能的基準(zhǔn)結(jié)果。這是否意味著數(shù)據(jù)科學(xué)家將被取代? 并非如此,因?yàn)槲覀冎溃瑱C(jī)器學(xué)習(xí)從業(yè)者還有許多其他事情要做。
對(duì)于許多機(jī)器學(xué)習(xí)項(xiàng)目,選擇模型不過是構(gòu)建機(jī)器學(xué)習(xí)產(chǎn)品復(fù)雜過程中的一部分。 正如我在上一篇文章中所述,如果參與者不了解項(xiàng)目各個(gè)部分是如何相互關(guān)聯(lián)的,那么項(xiàng)目必然會(huì)失敗。我能想到過程中可能會(huì)涉及的30多個(gè)不同步驟。我必須要強(qiáng)調(diào),機(jī)器學(xué)習(xí)(特別是深度學(xué)習(xí))中最耗時(shí)的兩個(gè)方面是清理數(shù)據(jù)(這是機(jī)器學(xué)習(xí)中不可或缺的一部分)和訓(xùn)練模型。 雖然AutoML可以幫助選擇模型并選擇超參數(shù),但重要的是,我們?nèi)匀灰砬逵心男?shù)據(jù)科學(xué)的技能是需要的以及那些仍未解決的難題。
我將提出一些替代AutoML方法的建議,以使機(jī)器學(xué)習(xí)從業(yè)者在進(jìn)行最后一步時(shí)更有效率。
參考文獻(xiàn):
1.https://yq.aliyun.com/articles/629037
2.http://www.fast.ai/2018/07/16/auto-ml2/#auto-ml
3.https://www.automl.org/book/?utm_campaign=NLP%20News&utm_medium=email&utm_source=Revue%20newsletter
AUTOML: METHODS, SYSTEMS, CHALLENGES (NEW BOOK)新書獲取地址:
https://www.automl.org/book/
全文目錄如下:
第一部分:AutoML方法
本部分包含有關(guān)所有AutoML系統(tǒng)背后的基礎(chǔ)知識(shí)的最新概述。
第1章:超參數(shù)優(yōu)化。由Matthias Feurer和Frank Hutter撰寫
第2章:元學(xué)習(xí)。作者:Joaquin Vanschoren
第3章:神經(jīng)架構(gòu)搜索。作者:Thomas Elsken,Jan-Hendrik Metzen和Frank Hutter
第二部分:AutoML系統(tǒng)
本部分包含對(duì)各種可用AutoML系統(tǒng)的深入描述,這些系統(tǒng)可用于開箱即用的有效機(jī)器學(xué)習(xí)。
第4章:Auto-WEKA。作者:Lars Kotthoff,Chris Thornton, Holger H. Hoos, Frank Hutter和Kevin Leyton-Brown
第5章:Hyperopt-Sklearn。由Brent Komer和James Bergstra以及Chris Eliasmith撰寫
第6章:Auto-sklearn:高效,強(qiáng)大的自動(dòng)機(jī)器學(xué)習(xí)。作者:MatthiasFeurer,Aaron Klein,Katharina Eggensperger,Jost Tobias Springenberg和Manuel Blum以及Frank Hutter
第7章:自動(dòng)網(wǎng)絡(luò):自動(dòng)調(diào)參的神經(jīng)網(wǎng)絡(luò)。由Hector Mendoza和Aaron Klein以及Matthias Feurer和Jost Tobias Springenberg以及Matthias Urban和Michael Burkart以及Max Dippel和Marius Lindauer以及Frank Hutter
第8章:TPOT:自動(dòng)機(jī)器學(xué)習(xí)的工具。作者:Randal S. Olson和Jason H. Moore
第9章:自動(dòng)統(tǒng)計(jì)學(xué)家。ChristianSteinruecken和Emma Smith以及David Janz和James Lloyd以及Zoubin Ghahramani
第三部分:AutoML的挑戰(zhàn)
本部分對(duì)迄今為止所有的AutoML挑戰(zhàn)進(jìn)行了深入分析。
第10章:分析2015-2018AutoML一系列挑戰(zhàn)。由Isabelle Guyon,Lisheng Sun-Hosoya,Marc Boull e,Hugo Jair Escalante,Sergio Escalera以及Zhengying Liu,Damir Jajetic,Bisakha Ray,Mehreen Saeed,Michele Sebag,Alexander Statnikov,Wei-Wei Tu和Evelyne Viegas編寫
-
算法
+關(guān)注
關(guān)注
23文章
4607瀏覽量
92842 -
人工智能
+關(guān)注
關(guān)注
1791文章
47205瀏覽量
238272 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8408瀏覽量
132569
原文標(biāo)題:告別調(diào)參,AutoML新書221頁免費(fèi)下載
文章出處:【微信號(hào):AI_era,微信公眾號(hào):新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論