1955 年，約翰·麥卡錫（John McCarthy）、馬文·閔斯基（Marvin Minsky）、克勞德·香農（Claude Shannon）等人聚在一起，為第二年即將召開的具有重要歷史意義的“達特矛斯會議”列了一份 AI 研究議題，排在首位的就是“Automatic Computers”——自動編程計算機。

作為 AI 的開山鼻祖，他們在這份綱領里寫道：“我們相信，如果精心挑選一批科學家，在一起工作一個夏天，那么這些（AI）問題中的一個或多個就能取得重大進展。”

60 多年過去了，這個設想終于開始一步步變成現實。

2017 年 5 月，Google 推出了“AutoML”，顧名思義，AutoML 實際上就是一種讓模型設計過程自動化的機器學習軟件，也就是讓 AI 來設計 AI。

由于 AI 技術的發展以及人才稀缺，AutoML 的進展以及受到的關注超出了很多人的預期。目前在這個領域已經涌現出一批創業公司，成立不到一年的探智立方（iQubic）就是其中之一。

昨日，探智立方剛剛發布了人工智能模型自動設計平臺——DarwinML 1.0，該平臺的技術核心就是 AutoML。用戶只需要具備人工智能基本概念，即可設計開發機器學習和深度學習模型，從而縮短建模人員及數據科學家創建模型的時間及門檻。

AutoML 到底是怎樣設計模型的？

有哪些優勢？

DarwinML 平臺可以做些什么？

有沒有門檻？

以后調參師真的找不到工作了嗎？

……

帶著諸多疑問，采訪了探智立方的產品總監宋煜，為大家撥開“AI 設計 AI”的迷霧。

以下是對話實錄，略有刪減：

從 IBM 到創業公司

能簡單介紹下你們的團隊嗎？

宋煜：探智立方成立于 2017 年底，之前獲得了唯獵資本的 1000 萬的天使輪融資，目前正在進行 A 輪融資。現在的團隊有 14 人，大部分是研發人員。

為什么選擇做 AutoML，跟您之前在 IBM 做的 BlueMind 深度學習平臺項目有什么關系嗎？

宋煜：沒有太大的關系。我以前在 IBM 做了 5 年左右的 HPC，主要是底層算法，今天 AI 是 HPC 增長的一個點。后來之所以做 BlueMind ，是想擴展一個新的領域，但又依托 HPC。在做 BlueMind 的時候，我們給客戶做一個平臺去設計模型時，發現很多客戶說，“我都沒有人懂深度學習，你給我一個平臺也白搭。”那是不是可以靠機器來做？盡量減少對人的要求，或者對初始理論知識的要求，他更多的懂業務怎么做。這是我們做 AutoML 這件事情的原動力。

您在 IBM 時是負責研發，在探智立方是產品總監，在職能上有什么變化嗎？

宋煜：其實沒有什么變化，基本上是一樣的，還是做研發這一塊。我們有一個 CTO ，他更關注算法的方向性研究。AutoML里面有很多不同的實現方法，很難說哪一個方法就是絕對正確的或者說效率最高的，所以他會來把關技術方向，這樣我們就會減少繞路的機會。而我負責把這些技術方向實現并落地。

AutoML 的底層技術

探智立方的 AutoML 的底層技術是什么？

宋煜：我們最底層的搜索過程其實跟 EA（Evolution Algorithm）是很像的，但是我們叫 Genetic Algorithm，是 EA 里的一個分支，叫“遺傳學算法”。我們把所有最小的神經元看成一個個基因片段 ，把最后設計出來的模型看成是一個生物，這個基因片段怎么有效組合成一個有價值的生物，這是遺傳學算法的目標。

遺傳學算法本身是高性能計算領域里一個很重要的應用算法，它在高能物理、材料力學、材料分子學里用得很多，比如分析晶體的現狀，比如想找一個既耐火、強度又很高的材料，在任何一個分子結構都不能滿足要求的情況下，有沒有可能找到這樣一種晶體結構出來，這是“遺傳學算法”。

我們把它用到 AI 領域里也是這樣。我們首先把最基本的算法定義成基因，然后合在一起定義成“基因庫”的概念，設計的過程實際是這些基因的組合過程。它有隨機，交叉和變異 3 個中主要操作。我們通過一些評估方法，找到這兩個里面哪一個模塊更好或更穩定，把它們留下來，作為種子，通過部分模型結構組合的方式生成新的子代，這是交叉過程。還有變異過程，分為邊變異和點變異。一個獨立的子代，想打斷這塊神經元之間的連接，或者想跳過幾層跟某個神經元連在一起，這屬于邊變異。也可能把其中某個神經元，比如 max pooling， 換成 dropout，這也是一種變異，但是這叫點變異。

當然，純 EA 的方法有兩個問題。它是一個啟發式搜索，所以沒有那么嚴格，這種情況下如果完全靠它來做，效果差異會很大，有的時候很好，有的時候不好。這時需要有一個更高級的大腦來指導他，說你這樣設計的效果更好。所以我們會用貝葉斯+強化學習+蒙特卡洛樹搜索（MTCS）三種方法來實時調整EA的演化參數。

這三種方法會去指引 EA 里的一些參數下一代生成時要發生哪些變化，比如隨機的比例由 30% 變成 27%，為什么變成 27% 是由這些它們說了算的，就像更高級的大腦。貝葉斯主要是分析數據的維度和模型的結果之間的分布情況，強化學習主要是判斷做了這些操作以后的成功率有多大，MTCS 也是判斷做了若干操作以后生成一個有效網絡的可能性有多大，從這三個方向來控制 EA 算法的參數。但是真正設計和生成是 EA 算法去做的。

我們把三種算法組合在了一起，使得效率變得很高。依靠這個方法，我們目前在Cifar10的數據集上，使用 8 個 GPU Days 就可以設計出一個準確率在 92% 左右的神經網絡出來。而目前大部分論文的測試結果在1000 - 3000個GPU Days。

基因庫里的基因都是你們自己不斷添加進去的？

宋煜：對，基因庫里基因的定義是我們自己添加進去的，其實基因庫本身的實現還是用的現在開源的框架來做的。如果是深度學習的神經元的話，我們可能會直接使用最基礎的 Tensorflow 里的神經元的實現，生成計算圖之后，計算過程會用它來做，只是它的屬性在我的基因庫里。

當有一些新的 loss 函數或者一些新的數學算法出去的時候，我們會把它加進去。一個全新的網絡結構，但是這個網絡結構只是在使用已經存在的神經元組合而成的情況下，我們是不會針對這樣的論文取修改基因庫的。因為這在AutoML看來是人為在一個或一組特定數據集上找到了一個最優解或者極優解，而從數學上來看，機器也應該可以達到這樣的效果，所以這樣的網絡并不會直接影響到基因庫。因為我們并不希望太多這種純應用領域的知識影響基因庫，更多的是想從底層的數學層面來改進基因庫。

而基因庫的知識積累是靠它自己在設計過程中學出來的，我們不會因為某個網絡效果特別好而強放進去，因為它可能也只是真實世界里的一個局部最優解而已，我沒有理由把一個局部最優解當成一個很好的教科書去教它，我更希望它自己去找到一個更好的全局最優解或者更逼近全局最優解空間的那個解。

機器能夠設計一個全新的模型出來嗎？

宋煜：這就是我們想做的一個事情。Google 目前實際商用的 AutoML 用的是遷移學習（Transfer Learing），實際上就是專家在后面已經設計了 100 個模型，有了數據以后，機器來評估哪個模型更合適，然后在這個模型上做變種，這是遷移學習的方法。而我們現在想做的事情是，在不知道模型該長什么樣的情況下，讓機器設計出來，所以我們只定義了最基本的算法單元，但這個單元里有粒度的問題，比如一個 CNN 算一個單元，一個 CNN 的一種 kernel 方式算一個單元，一種機器學習的算法算一個單元，也可以若干個 CNN 組成一個子圖算作一個單元，AutoML 在這個單元之上任意去組合 。

我們當時做 CIFAR-10 的標準分類模型時，碰到一件很有意思的事情，大部分人設計出來的模型最后會接一個 cross-entropy loss，這是很標準的專門做分類的 loss，要么就是二分類，就是 sigmoid loss。但機器設計的模型前面 CNN 層的組合方式不是我們已知的任何一個模型，而在最后一層它居然用了一個 cosin distance loss，很不常見的一種 loss方式，但是機器設計出來了，而且比 CaffeNet 的效果要好。這個模型以前沒有見過，這是一個很有意思的發現。

Google 也有論文出來，怎樣讓機器去設計 loss，但是他們走得更深，相當于只給數學公式，機器自己組合數學公式以后做出一個新的 loss 出來。Google 也提到像機器設計出來的 sin loss、cosin loss 的效果相當好。這不是從經驗知識出發的，普通人一定不會去想做這個事情，因為在數學里 cross-entropy 就是用來衡量各個概率之間分布以后的最大值在哪里的方法，而 sin、cosin 只是算距離的。從常識來講，這種設計至少一開始是沒有道理的，但是你說他不能做也不是的，我們也可以用距離來表示圖像的 Feature Map 之間像不像。這是我們看到的比較有意思的事情。

AutoML 是如何設計模型的？

人設計模型的流程和機器設計模型的流程有什么區別嗎？

宋煜：沒有本質區別。如果我們把數據準備這件事情放在一邊（因為今天的 AutoML 也解決不了這件事情，還是要靠人去準備），一旦數據準備好了以后，人設計流程一般分為下面幾個步驟：

第一步，做特征分析，就是分析什么樣的特征是比較重要的。因為數據可能有 1000 列，但 1000 列都放進去訓練，模型不一定收斂得很好，可能放 500 列或者 200 列就很好，因為去掉了一些不必要的噪聲。什么是噪聲？什么東西是真正有價值的東西？這就需要很多算法來做分析。還有一種可能是數據只有 20 列，維度太小了，那么我可以在這 20 列上做一些特征變換，進行“數據擴增”，它們都屬于特征提取的范疇。這是第一步，一般大家都會花接近 1 個月的時間來做這件事情。

第二步，選擇不同的模型進行試驗。如果經驗比較豐富，一上來就能夠選到比較好的模型，經驗不是那么豐富的人，選的模型的效果可能不是那么好，還要不停地換。一旦模型收斂得不錯了，還要做參數優化，微調一些參數，讓準確率達到要求，同時不出現過擬合等問題。

第三步是評估，就是數據分析領域標準的評估方式。

第四步，評估都沒問題以后才會上線。

中間這四步串起來，有經驗人需要 3 個月左右的時間，如果完全沒經驗，時間會更長。機器也是這個步驟，只不過這些步驟被自動化了。參數有沒有價值或者模型有沒有問題，要換一個什么樣的模型會更好，在這個過程里是靠個人的經驗、知識或者數學方法。機器在這里就不是靠經驗了，它完全是靠數學方法，由完整的數學推理的方式來證明。通過數據的統計分布和這個模型的性能以及參數分布，AutoML 會不斷評估最優解的分布區間并對這個區間再次采樣。

其實它嘗試得次數比人多得多，人在 3-6 個月的時間里也就試 4、5 種模型，但機器在 3 天里可以做 600 多個模型。它是通過六七百個模型的采樣估計出最優解的分布位置。機器嘗試這些模型可能不到 1 周的時間，而人來做可能超過 3 個月，這是最主要的區別。

相當于提升了模型設計過程的效率？

宋煜：對，縮短了時間。還有一點，人會碰到做不出來的情況，但機器反而可能找到一個解。比如數據維度特別大的時候，如果只是用一般的模型去做，很有可能發現模型不收斂。但用機器去做的時候，它有很多 stacking 或者 ensemble 的方法，可以提取一些更復雜的特征。比如我們現在看到一個圖像有“紅綠藍”，還有亮度、飽和度等特征，機器通過特征提取，可能已經變到完全不同的數值空間、頻率空間，這個空間是什么？至少人眼是感覺不出來，或者描述不出來，而機器在那個空間做了很多變化以后，會發現用這個空間的特征來做分析會效率更高。也就是完全依靠人的經驗或者感覺做不出來的模型，機器通過算力反而是能夠快速找到一個解。

AutoML 既可以設計機器學習模型，又可以設計深度學習模型，兩者的設計過程有什么不同嗎？

宋煜：深度神經網絡的復雜度要大得多，它的算子不一定比機器學習多很多，但問題在于機器學習一般不會太深，一般 4、5 個神經元可能就差不多了。深度神經網絡最大的問題是它可能很深。

我記得前年 IBM 跟一個做人臉識別的公司合作時，試圖做過 1000 層的神經網絡，一旦到了神經網絡的深度達到很深的量級以后就會出現一個大的問題——搜索空間太大，如果沒有一個高效的方法來指導模型設計的過程，可能跑個大半年也跑不出來結果。

Google 在 2017 年做的 CIFAR-10 自動設計是完全從零開始自動設計的方式，它當時只用了 7 個神經元，總共用了 3,000 多 GPU Days，然而數據量才 200 多兆。所以在深度神經網絡用 AutoML 最大的困難就是設計效率，設計效率如果低的話，其實是設計不出來模型，或者設計不出來比普通專家水平要高的模型。

全生命周期的 DarwinML 平臺

你們是怎么設計和搭建 DarwinML 平臺的？

宋煜：DarwinML 的核心是能夠自動化幫用戶去做設計，但它的外圍跟很多外面的平臺，像百度、IBM 的平臺很像。DarwinML 是一個全生命周期管理平臺，包括數據導入、模型管理、權重文件管理、模型評估、上線、推理服務等等，核心還是 AutoML。

如果你用其他工具，得自己拖拽或者寫代碼，然后把這個模型弄出來。但是用 DarwinML就只需要點一下，然后等 3 天回來看結果。

從系統架構來說其實是一樣的，都要考慮數據的接入，考慮多 GPU 的并行化，考慮集群的分布式問題。在系統架構設計上是很像的，唯一區別在于是人來設計還是機器來設計。

如何使用 DarwinML 來部署可上線運行的模型？有哪些門檻和條件？

宋煜：比如一家 LED 生產廠商，LED 每一層刷電路板的時候都會引入一個質量缺陷 ，以前它不知道缺陷是什么，但會把照片都存下來。假如今天它想用 AI 自動分辨這些缺陷，甚至在自動化工業線上能夠用起來。一般它會先把這些數據打上標簽，因為它有專業的業務人員，所以打標簽本身不會出錯。

一旦打完標簽之后，它就把數據導到這個平臺里去，這時它不需要管數據是否平衡。在實際生成中，生產線里由于產線的一些參數配制不合理，某一種缺陷會比較多，甚至占了統治地位，而其他的缺陷基本上很少發生，故障很少發生，它的量會很小。這種問題不需要客戶去考慮，客戶只要把這個數據導進來，我們的平臺會首先自動分析數據有沒有不均衡的問題，分布是什么樣子的，根據這些自動做一些相關的處理。

之后，用戶需要根據自身需求來選擇任務類型。我們今天能夠提供的大概有 8 種，以后會提供更多。目前 DarwinML 還沒有通俗到，直接用專業詞語描述目標，比如“產品質檢”，而是會讓你選擇想做一個分類問題，還是做一個目標檢測問題，還是做一個圖象語義分割的問題。如果我要做產品的質量檢測，一般是分類或者是目標識別任務，如果做質檢的同時還要算出問題的面積有多大，可能就是語義分割的問題了。

我們還有其他的，比如數值預測。客戶可能想做一個投資量化交易平臺，那就要選值預測；如果想做一個聊天機器人，可能要選 文本的seq2seq 系統。我們會有八種這樣的選擇給客戶。客戶選了其中一個之后，就什么也不用管了。

然后在模型自動設計的過程里，我們會告訴客戶幾件事情，一個是數據統計，數據規模是什么樣子的，我會做哪些數據操作。然后每一代模型設計出來情況是什么樣子的，當前最好的模型是什么樣子的。你可以看的到模型演變的過程，這些信息都會有。

當機器認為自己找到了一個合理的模型，比如達到客戶對準確率的要求，或者時限要求等硬性指標之后，機器就停了，然后它就會把當前最好的模型輸出出來，做一個完整的評估，并出一份報告。

這個報告會告訴你，模型的各項性能指標比如 F1，Precision, Recall, Confusion Matrix 以及模型性能等。其次是模型穩不穩定，這個很重要的，誰也不希望自己訓練出來看起來很好的一個模型，但實際上是過擬合了。如果客戶對結果滿意，我們就把這個模型導入到我們的 inference 平臺，然后就可以跟客戶生產系統做對接。如果不滿意，我會在原來的基礎上重新設計，比如客戶對模型的準確率滿意，但是這個模型太復雜了，消耗的硬件資源太多，那就需要對模型進行簡化。這是一個 feedback 的過程。

基本上客戶參與的就是前期的數據準備，數據導入以后他要做一個選擇，也就是他要完成解決的問題是什么，最后要分析一下這個模型他可不可以使用。

模型上線之后，還可以進行升級嗎？

宋煜：一旦模型上線使用以后，我們其實是需要客戶的 feedback。這個 feedback 就相對復雜一點，他得有一個方法告訴我，比如錯了多少，哪些錯了。這個時候就有兩種策略： 如果模型的退化在 1% 以內或者 5% 以內，那我們可能選擇重新訓練，然后很快把這個模型的準確率再提回去，再繼續發布使用。但是當產線發生改造以后，數據變化很大，很多地方就不太適用了。畢竟是機器設計的模型，它在設計的過程中是針對客戶的特定數據結構和數據分布來做的，所以它可能會發生失效的問題。這個時候，當用戶的 feedback 傳回來時，我們的系統會把新的數據混合到原來的數據里去，重新做一次采樣以后，然后重新設計模型。

只要你有更多的數據進來，理論上準確率就會繼續慢慢往上升，這是一個點。另外一個比較重要的點是，我們有基因庫的概念，這個基因庫除了記錄有哪些神經元以外，還會記錄基因的表達式里的屬性。這里的屬性是什么意思？一個神經元和另外一個神經元如果連在一起是否有效的概率，通俗來說類似于互相排斥或者互相吸引，但是對我來說，在某種數據分布的情況下，它們能連在一起的概率會更大，在某種數據分布的情況下，它們連在一起的概率會更小。

為什么要做這件事情？我們的基因庫是在不停演化的，它的演化過程并不受某一次數據的影響。這個基因庫的更新是根據這些不同的模型設計過程中的穩定性和泛化情況，然后做的統計，再存到基因庫里。

假設基因庫在不增加新的神經計算單元的情況下，客戶用這個基因，比如說三天就可以設計出一個好的模型，那到明年基因庫更新之后，它做同樣的模型設計可能只要兩天或者更短的時間。所以它實際上是另外一層大腦，它會學習怎樣設計效果會更好。而底下那層大腦的作用是，在限定的數據情況和模型結果下，它們怎么組合效果會更好。

我們希望把這個平臺部署到云端以后，它會越來越聰明，模型設計水平隨著時間的增長和使用人數的增長越來越高。比如它現在可以超過普通三年到五年的工程師的技術水平，但隨著時間積累，它甚至可以達到有十年經驗的工程師的技術水平，這都是有可能的。

你們現在有哪些客戶？

宋煜：目前主要的客戶是在金融和制造領域。金融領域的主要是做支付網關。支付網關可以看做是商家的淘寶，它會把 pos 機、線上線下數據都匯聚在一起來支付，包括銀行轉帳等都會通過支付網關來做。這種支付網關是我們現在的一些客戶，它們基本是全國第一第二的位置，我們主要是幫他們做風控。

在金融領域里，傳統技術用的比較多，專家系統或者規則系統是目前金融領域都在使用的，包括今天的反洗錢系統都是專家系統。不是說這個系統不好，而是當業務發生改變的時候，專家系統就失效了，需要重新去設計，這時就會很難，也不是說不可能，但周期會比較長。

我們跟他們合作的點是，他們這些人早就已經在做數據挖掘了，各種算法對他們的門檻沒有那么高。對他們來說，時效性更重要，比如怎樣快速找到新的欺詐行為。它們今天的方式還是線上專家系統去分析，然后告訴地推的銷售去復查，看看商家的實際經營范圍是什么，是通過這種方式查出來的。我們希望讓機器去學習，不用人去學，從大量的交易里不停地學，就能夠把這個問題解決。

實際上我們不太希望限制在某個行業里，我覺得 AI 之所以有價值，不是 AI 有多好，而是它跟互聯網一樣帶來另外一個變革——公平和透明。以前我們的醫療資源在大醫院那里，如果你要去看病，就是很難。專家系統也在少數專家或者大公司手里，即使你有數據，你想用就要花高昂的代價來買。AI帶來真正的好處，是它把以前集中掌握在專家手里的東西，變成讓任何一個企業在有數據的條件下就能用的東西，這是它最大的價值，因為它帶來了另外一種公平。

未來你只要有數據，明確知道用這個數據能解決什么問題，把這兩件事情搞定了以后，任何一個公司都能夠利用 AutoML 做自己的 AI 系統，不需要去學一個幾十年的大廠的經驗，這是我們做這個平臺的目的。

AutoML 未來的發展趨勢和限制

你們的 AutoML 從開始到現在有很大的進步嗎？

宋煜：老實說我們現在積累的時間沒有那么長，我不敢說這個大腦的進步有多少，但是看到在單次過程里頭進步是很明顯的，比如說我從第一代開始，一般來說準確率，整個全訓練的結果準確率也就是 60%、70%，但到了第十代或者第十七代左右，一般都能到80% 到 90%，這種進步是有的。但是它真正學出來的設計思想的影響有沒有這么大？這個還需要時間來檢驗。

目前已經有一些開源的 AutoML 項目，對你們有什么影響嗎？

宋煜：我們現在也看到了一些開源的工具，但實際上 AutoML 最重要的是效率，演化算法的效率是我們的核心價值所在，所以我們并不擔心一個 AutoML 的產品出來之后擠占市場份額。在我看來，開源的 AutoML 工具的出現，說明大家都意識到了做模型是勞動密集型的事情，大家希望都希望用機器去做。當大家都接受這個觀點之后，對我們反而是更有利的。這個時候，誰的效率更高，用戶就會選擇誰。

在目前的方法下，用機器去設計模型的局限性有哪些？

宋煜：其實可能最大還是效率問題。面對的復雜問題，機器設計模型的速度到底行不行？當數據集特別大時，需要很多 GPU，成本很高，這對于中小型企業來說是不可接受的，而且萬一要是設計得不好，可能就白費了。

第二個，今天的數據其實干凈程度沒有我們想象的那么好。在我看來AI真正的行業落地有兩個難點，第一是數據，第二才是模型。模型要靠人才來解決，在人才不夠的情況下我們有機器，但是數據不干凈的問題現在其實沒有特別好的解決方法。一名數據科學家可以用自己的數學知識去解決這個問題，但今天的 AutoML 還不太擅長做這件事情。我們也在試圖引用一些方法，但是我覺得現在的方法都還只停留在學術層面上，還無法實際落地。

第三個，還有一個可能的缺陷，就是模型可能會有過擬合，因為機器在設計過程中的目標就是準確率越高越好，但是在追求準確率的同時，可能會把模型變得很復雜，模型變得很復雜，就有可能學到了很多噪音，甚至學到了數據的分布，而這個數據分布是用戶給你的數據，其實只是他真實海量數據中的極小一部分，很有可能跟真實世界里的數據分布是很不一樣的。當機器把數據的某些分布特點當成了特點去學了以后，就很麻煩了，學出來的模型上線以后可能就會出現準確率驟降的情況。不過，機器在設計模型的過程中，我們也并沒有期望它能夠設計出來一個普遍試用的模型，而是更適合這類數據的模型，因此這中間需要一個平衡，而且一定要有嚴格的方法的來判定這個模型是不是真的適合上線。

未來 AutoML 的進化方向是什么？

宋煜：AutoML 現在有幾個大的主流方向，一種是遺傳學的表征方式來做，一種是強化學習的方式來做，還有元學習這種方式，其實這三種方式可能也很難說哪一個是最好的。我覺得這三個方向應該都是大家去努力的點，但是最重要的如何能真正落地，這個實際上是最難的。再一個就是效率，解決效率的問題一方面是靠計算力本身的發展，還有一個是效率的提升，在我看來最主要就是這兩塊。

三者可以互相借鑒嗎？

宋煜：如果試圖用一個方法解決所有的問題，我覺得會很難。但是一個問題可以分解成若干個小問題，然后每個小問題再用合適的方法做。比如強化學習，至少今天用它來做整個的模型演化的話，計算圖的狀態太多了，除非你算力很強大。但是模型設計合理不合理這件事情，用強化學習來做就很合適。模型計算圖的生成方向則完全可以交給 EA 去做，讓 EA 去搜索這個方向。而神經元和神經元之間的轉移狀態矩陣的更新，又可以用貝葉斯等傳統 SMBO 的方式去做。這樣的話把它分解開以后，其實是可以互相融合來用的。

調參師會被取代嗎？

AutoML 廣泛應用之后，普通的調參師工作就沒什么價值了嗎？

宋煜：也不能說沒有價值，還是看大家追求的方向。AutoML 不是替代現在的數據工程師，它的目標是輔助數據工程師把模型做得更快、更好。模型調優以及在原有的模型上改一個新模型，是勞動密集型的工作，今天的工程師如果只做這些，很快就會失去意義，因為這種工作是沒有價值的。

數據工程師真正的價值在未來有兩個點是今天的 AutoML 不能替代的：

一是找到新的數學方法，設計出新的 loss 函數，來更好地解決某一類問題。比如我們現在 NLP 里多輪對話的問題，到今天為止大家還在用一些傳統的方法比如 action template 的方式來解決對話束的問題。如果有人設計出一個好的 loss，能夠把前面的聊天過的記錄變成一個可以連續求導的問題，就可能直接從上下文的語料學習出對話的 Action 而不是靠根據行業特點來定義。所以，數據科學家的作用是找到更好的數學模型，把它放到深度神經網絡里，這是機器無法替代的。

還有一個方向是向上根據數據和業務設計出合理的使用 AI 的場景。很多公司想用人工智能做點事情，當你問它“你想做什么”的時候，它想的可能是平時聽到或者看到的一些很炫的東西，但那些東西對它的業務真正有幫助嗎？什么事情對它的生產業務是有價值的？一個是節省成本，二是提高效率，三是增加產值。在這三個點，一個傳統行業的公司能夠做什么，這是今天大部分 AI 公司都不可能給出答案的。因為 AI 公司沒有那么強的行業知識，這些只有真正傳統行業里的業務人員才知道，而這些傳統行業里的數據工程師，或者學了 AI 的人加入傳統公司以后，才有能力真正去理解什么樣的模型、什么樣的 target 是有價值的。

這兩點是機器現在不可替代的，真正勞動密集型的事情不妨交給機器去做。