1. 綜述

(1) 什么是特征選擇

特征選擇 ( Feature Selection )也稱特征子集選擇( Feature Subset Selection , FSS ) ，或屬性選擇( Attribute Selection ) ，是指從全部特征中選取一個特征子集，使構造出來的模型更好。

(2) 為什么要做特征選擇

在機器學習的實際應用中，特征數量往往較多，其中可能存在不相關的特征，特征之間也可能存在相互依賴，容易導致如下的后果：

特征個數越多，分析特征、訓練模型所需的時間就越長。

特征個數越多，容易引起“維度災難”，模型也會越復雜，其推廣能力會下降。

特征選擇能剔除不相關(irrelevant)或亢余(redundant )的特征，從而達到減少特征個數，提高模型精確度，減少運行時間的目的。另一方面，選取出真正相關的特征簡化了模型，使研究人員易于理解數據產生的過程。

2. 特征選擇過程

2.1 特征選擇的一般過程
特征選擇的一般過程可用圖1表示。首先從特征全集中產生出一個特征子集，然后用評價函數對該特征子集進行評價，評價的結果與停止準則進行比較，若評價結果比停止準則好就停止，否則就繼續產生下一組特征子集，繼續進行特征選擇。選出來的特征子集一般還要驗證其有效性。

綜上所述，特征選擇過程一般包括產生過程，評價函數，停止準則，驗證過程，這4個部分。

(1) 產生過程( Generation Procedure )
產生過程是搜索特征子集的過程，負責為評價函數提供特征子集。搜索特征子集的過程有多種，將在2.2小節展開介紹。

(2) 評價函數( Evaluation Function )
評價函數是評價一個特征子集好壞程度的一個準則。評價函數將在2.3小節展開介紹。

(3) 停止準則( Stopping Criterion )
停止準則是與評價函數相關的，一般是一個閾值，當評價函數值達到這個閾值后就可停止搜索。

(4) 驗證過程( Validation Procedure )
在驗證數據集上驗證選出來的特征子集的有效性。

?

圖1. 特征選擇的過程 ( M. Dash and H. Liu 1997 )

2.2 產生過程
產生過程是搜索特征子空間的過程。搜索的算法分為完全搜索(Complete)，啟發式搜索(Heuristic)，隨機搜索(Random) 3大類，如圖2所示。

?

圖2. 產生過程算法分類 ( M. Dash and H. Liu 1997 )

下面對常見的搜索算法進行簡單介紹。

2.2.1完全搜索
完全搜索分為窮舉搜索(Exhaustive)與非窮舉搜索(Non-Exhaustive)兩類。

(1) 廣度優先搜索( Breadth First Search )
算法描述：廣度優先遍歷特征子空間。
算法評價：枚舉了所有的特征組合，屬于窮舉搜索，時間復雜度是O(2n)，實用性不高。

(2)分支限界搜索( Branch and Bound )
算法描述：在窮舉搜索的基礎上加入分支限界。例如：若斷定某些分支不可能搜索出比當前找到的最優解更優的解，則可以剪掉這些分支。

(3) 定向搜索 (Beam Search )
算法描述：首先選擇N個得分最高的特征作為特征子集，將其加入一個限制最大長度的優先隊列，每次從隊列中取出得分最高的子集，然后窮舉向該子集加入1個特征后產生的所有特征集，將這些特征集加入隊列。

(4) 最優優先搜索 ( Best First Search )
算法描述：與定向搜索類似，唯一的不同點是不限制優先隊列的長度。