電子發燒友網>電子資料下載>人工智能>機器學習如何進行特征選擇

機器學習如何進行特征選擇

3836048 2020-05-20 | doc | 0.04 MB | 次下載 | 4積分

普通下载开通VIP 免费下载低至0.43元/天普通下載

資料介紹

　　1、特征選擇介紹

　　（1）特征選擇的定義

　　對當前學習任務有價值的屬性稱為是“相關特征”，沒有價值的屬性稱為是“無關特征”，從給定的特征集中選擇出相關特征子集的過程，就稱為是“特征選擇”。

　　其中還有一種特征稱為是“冗余特征”，這些特征指的是可以從其他特征中推演出來的特征。

　　（2）特征選擇的重要性

　　特征選擇是一個“數據預處理”過程，它的重要性體現在兩個方面：

　　1）減輕維度災難問題。

　　2）去除無關特征可以降低學習的難度。

AL t4518531396125696

　　2、子集搜索與評價

　　想要找一個最好的特征子集，最簡單最笨的方法就是把所有的特征排列組合，遍歷每一個子集從中選擇里面最好的一個，這種方法必然不可取。對這種方法的一種改進就是使用子集搜索與評價，它的思想就是先產生一個特征子集，然后對它進行評價，之后根據評價結果選擇下一個特征子集，再進行移動學習評價，……，直到無法找到更好的候選子集。

　　可以看出該算法是子集搜索與子集評價的一個迭代過程，下面分別對這兩部分進行介紹：

　　（1）子集搜索

　　子集搜索分為“前向”（forwardforward）搜索、“后向”（backwardbackward）搜索和“雙向”（bidirectional）搜索。

　　前向搜索就是從只一個特征開始，每次增加一個特征，直到某次的特征子集不如上一輪的子集為止。

　　后向搜索就是從完整的特征集合開始，每次去掉一個無關的特征，直到去掉一個特征就會使效果明顯下降為止。

　　雙向搜索就是將前兩種方法結合在一起，每一輪逐漸增加選定的相關特征（這些特征在后續迭代中不會被去掉），同時減少無關特征。