機器學習是讓算法自動的從數據中找出一組規則，從而提取數據中對分類/聚類/決策有幫助的特征，隨著機器學習的發展，其中人工需要干預的部分越來越多，而AutoML則是對機器學習模型從構建到應用的全過程自動化，最終得出端對端的模型（end to end）。有了AutoML，機器學習就會從下圖的曲折變為上圖的一馬平川。

從流程先后順序來分，最初是數據準備，包括數據收集和清洗，之后是特征工程，其中包括特征選擇（決定哪些特征需要保留），特征提取（對特征進行降維，常用的方法例如PCA），特征組合（將多個特征合并/構建為一個新的特征）。

在之后的模型構建中，最關鍵的是模型選擇，之后超參數優化，可以采取很多方式，最簡單的做法是網格搜索，常用的方法包括用強化學習，進化算法，貝葉斯優化，以及梯度下降，來縮小搜索空間；最后，AutoML通過引入提前停止，降低模型的精度，參數共享來自動化模型評價的過程。

數據收集這項任務，不在是搜索與收集真實數據，還包括產生模擬數據，用來擴展訓練數據集，可以使用的新技術包括對抗神經網絡（點擊查看對應文章），還可以使用強化學習的框架，來優化用于控制生成數據的參數，從而使得生成的數據能更有效的助力模型的訓練。而數據清洗則是自動完成包括缺失值補全，離群點處理，特征歸一化，類別型特征的不同編碼等之前手動完成的工作。

模型的自動化選擇，傳統的方法是從傳統的模型，例如KNN，SVM，決策樹中選出一個，或多個組合起來效果最好的模型，而當前AutoML的研究熱點是N eural Architecture Search， 也就是不經過人工干預，模型自動生成一個對當前任務最有效的網絡結構，模型自動在自我生產的不同結構下搜索最好的操作組合序列。

搜索的結果如下圖所示：

其中應用到強化學習的部分如下圖所示：

這里的行為是以一定的概率選擇某個網絡結構，行為是在該結構下，訓練子網絡，使其在訓練集上達到預設的準確率，獎勵是該子網絡在測試數據集上的準確率與該網絡被選擇的概率的乘積，通過將子模型的泛化能力作為反饋，用于控制不同模型被選擇概率的RNN得以優化其梯度，以選出泛化能力最強的模型，同時通過始終保持一定概率選擇其他模型，處理explore VS exploit的權衡。

NAS算法作為當前AutoML最熱的研究領域，有很多變種，下圖展示了在CIFAR1000上，不同NAS方法的效果及訓練用時。相比于強化學習和進化算法，傳統方法的用時更少。為了找到合適的網絡架構，除了傳統的串行網絡，還有基于cell來做層級化網絡架構搜索的。下圖展示的是先從幾個最基本的操作，搜索得出一個一級的網絡組件，之后在自動化的搜索如何用一級組件搭建網絡。

模型選定后的調參過程，最常用的是網格搜索，也就是按照固定的間距，在搜索空間上打點，但下圖指出，網格搜索不一定好過隨機搜索，原因是對于重要參數，網格搜索采樣地點會不足，從而導致無法取到對模型效果相對較好的點，autoML會使用隨機抽樣，首先評價各個超參數的重要性，之后再對重要的參數進行微調。