目前，聚類算法被廣泛應(yīng)用于用戶畫像、廣告推薦、新聞推送和圖像分割等等。聚類算法是機(jī)器學(xué)習(xí)中一種“數(shù)據(jù)探索”的分析方法，它幫助我們在大量的數(shù)據(jù)中探索和發(fā)現(xiàn)數(shù)據(jù)的結(jié)構(gòu)。那么機(jī)器學(xué)習(xí)中的聚類算法有哪幾種呢？下面我將為大家一一介紹常見的幾種聚類算法，分別是高斯聚類模型、基于密度的聚類算法、凝聚層次聚類和均值漂移算法。

1、高斯聚類模型

事實(shí)上，GMM 和 k-means 很像，不過 GMM 是學(xué)習(xí)出一些概率密度函數(shù)來，簡單地說，k-means 的結(jié)果是每個(gè)數(shù)據(jù)點(diǎn)被 assign 到其中某一個(gè) cluster 了，而 GMM 則給出這些數(shù)據(jù)點(diǎn)被 assign 到每個(gè) cluster 的概率，又稱作 soft assignment 。

2、基于密度的聚類算法

基于密度的聚類算法最大的優(yōu)點(diǎn)在于無需定義類的數(shù)量，其次可以識別出局外點(diǎn)和噪聲點(diǎn)、并且可以對任意形狀的數(shù)據(jù)進(jìn)行聚類。DBSCAN同樣是基于密度的聚類算法，但其原理卻與均值漂移大不相同：首先從沒有被遍歷的任一點(diǎn)開始，利用鄰域距離epsilon來獲取周圍點(diǎn)；如果鄰域內(nèi)點(diǎn)的數(shù)量滿足閾值則此點(diǎn)成為核心點(diǎn)并以此開始新一類的聚類；其鄰域內(nèi)的所有點(diǎn)也屬于同一類，將所有的鄰域內(nèi)點(diǎn)以epsilon為半徑進(jìn)行步驟二的計(jì)算；重復(fù)步驟二、三直到變量完所有核心點(diǎn)的鄰域點(diǎn)；此類聚類完成，同時(shí)又以任意未遍歷點(diǎn)開始步驟一到四直到所有數(shù)據(jù)點(diǎn)都被處理；最終每個(gè)數(shù)據(jù)點(diǎn)都有自己的歸屬類別或者屬于噪聲。

3、K均值聚類

這一最著名的聚類算法主要基于數(shù)據(jù)點(diǎn)之間的均值和與聚類中心的聚類迭代而成。它主要的優(yōu)點(diǎn)是十分的高效，由于只需要計(jì)算數(shù)據(jù)點(diǎn)與劇類中心的距離，其計(jì)算復(fù)雜度只有O（n）。其工作原理主要分為以下四步：首先我們需要預(yù)先給定聚類的數(shù)目同時(shí)隨機(jī)初始化聚類中心。我們可以初略的觀察數(shù)據(jù)并給出較為準(zhǔn)確的聚類數(shù)目；每一個(gè)數(shù)據(jù)點(diǎn)通過計(jì)算與聚類中心的距離了來分類到最鄰近的一類中；根據(jù)分類結(jié)果，利用分類后的數(shù)據(jù)點(diǎn)重新計(jì)算聚類中心；重復(fù)步驟二三直到聚類中心不再變化。

4、凝聚層次聚類

層次聚類法主要有自頂向下和自底向上兩種方式。其中自底向上的方式，最初將每個(gè)點(diǎn)看作是獨(dú)立的類別，隨后通過一步步的凝聚最后形成獨(dú)立的一大類，并包含所有的數(shù)據(jù)點(diǎn)。這會形成一個(gè)樹形結(jié)構(gòu)，并在這一過程中形成聚類。

5、均值漂移算法

這是一種基于滑動窗口的均值算法，用于尋找數(shù)據(jù)點(diǎn)中密度最大的區(qū)域。其目標(biāo)是找出每一個(gè)類的中心點(diǎn)，并通過計(jì)算滑窗內(nèi)點(diǎn)的均值更新滑窗的中心點(diǎn)。最終消除臨近重復(fù)值的影響并形成中心點(diǎn)，找到其對應(yīng)的類別。其工作原理主要是以下幾點(diǎn)：首先以隨機(jī)選取的點(diǎn)為圓心r為半徑做一個(gè)圓形的滑窗。其目標(biāo)是找出數(shù)據(jù)點(diǎn)中密度最高點(diǎn)并作為中心；在每個(gè)迭代后滑動窗口的中心將為想著較高密度的方向移動；連續(xù)移動，直到任何方向的移動都不能增加滑窗中點(diǎn)的數(shù)量，此時(shí)滑窗收斂；將上述步驟在多個(gè)滑窗上進(jìn)行以覆蓋所有的點(diǎn)。當(dāng)過個(gè)滑窗收斂重疊時(shí)，其經(jīng)過的點(diǎn)將會通過其滑窗聚類為一個(gè)類。

以上就是機(jī)器學(xué)習(xí)中常見的五種聚類算法，大家都了解了嗎？如果還想深入學(xué)習(xí)聚類算法的相關(guān)內(nèi)容，比如原理、算法效果的衡量標(biāo)準(zhǔn)以及基于Kmeans算法進(jìn)行改進(jìn)的優(yōu)化方法，可以上博學(xué)谷官網(wǎng)進(jìn)行有關(guān)課程的在線學(xué)習(xí)。希望大家通過課程可以學(xué)會使用聚類算法進(jìn)行數(shù)據(jù)分析，挖掘商業(yè)價(jià)值。