摘要：

摘要: 標(biāo)簽比例學(xué)習(xí)問題是一項(xiàng)僅使用樣本標(biāo)簽比例信息去構(gòu)建分類模型的挖掘任務(wù)，由于訓(xùn)練樣本不充分，現(xiàn)有方法將該問題視為單一任務(wù)，在文本分類中的表現(xiàn)并不理想?？紤]到遷移學(xué)習(xí)在一定程度上能解決訓(xùn)練數(shù)據(jù)不充分的問題，于是如何利用歷史數(shù)據(jù)(原任務(wù)數(shù)據(jù))幫助新產(chǎn)生的數(shù)據(jù)(目標(biāo)任務(wù)數(shù)據(jù))進(jìn)行分類顯得異常重要。本文提出了一種基于標(biāo)簽比例信息的遷移學(xué)習(xí)算法，將知識從原任務(wù)遷移到目標(biāo)任務(wù)，幫助目標(biāo)任務(wù)更好構(gòu)建分類器。為了獲得遷移學(xué)習(xí)模型，該方法將原始優(yōu)化問題轉(zhuǎn)換為凸優(yōu)化問題，然后解決對偶優(yōu)化問題為目標(biāo)任務(wù)建立準(zhǔn)確的分類器。實(shí)驗(yàn)結(jié)果表明，大部分條件下所提算法性能優(yōu)于傳統(tǒng)方法。

1. 引言

在傳統(tǒng)監(jiān)督學(xué)習(xí)的分類問題中，已知所有樣本的標(biāo)簽，分類器可以通過大量樣本屬性及其標(biāo)簽學(xué)習(xí)得到，進(jìn)而利用學(xué)習(xí)得到的分類器對未知標(biāo)簽的樣本進(jìn)行預(yù)測。但在實(shí)際應(yīng)用中，通過人工標(biāo)注獲取樣本標(biāo)簽需要較高成本，或者受限于隱私等客觀條件，有時無法獲取所有樣本的標(biāo)簽，而僅僅已知各類樣本的標(biāo)簽比例信息，比如在匿名投票中，只能知道反對票和贊成票的比例。因此，在已知樣本標(biāo)簽比例信息的前提下，以多個樣本組成的包為單位，基于包內(nèi)樣本和包的標(biāo)簽比例信息來訓(xùn)練從而獲取樣本層面的分類器，更加具有實(shí)用價值。

近年來，標(biāo)簽比例學(xué)習(xí) [1] [2] (Learning with Label Proportions, LLP)在數(shù)據(jù)挖掘引起了廣泛的關(guān)注，并成功應(yīng)用于現(xiàn)實(shí)生活中的許多領(lǐng)域，如欺詐識別、銀行重要客戶識別、垃圾郵件過濾、視頻事件檢測、收入預(yù)測、視覺特征建模等。在標(biāo)簽比例學(xué)習(xí)問題中，只知道每個包中屬于不同類別的樣本的比例，但是樣本的標(biāo)簽是未知的，它基于包層面的標(biāo)簽比例信息解決了樣本層面的分類問題。

遷移學(xué)習(xí)(Transfer Learning) [3] [4] 是可以將知識從原任務(wù)(Source task)遷移到目標(biāo)任務(wù)(Target task)的一種新的機(jī)器學(xué)習(xí)方法，其運(yùn)用已存有的知識對不同但相關(guān)領(lǐng)域問題進(jìn)行求解，遷移的知識可以幫助目標(biāo)任務(wù)建立遷移學(xué)習(xí)分類器以進(jìn)行預(yù)測。然而，大多數(shù)現(xiàn)有的方法都沒有考慮實(shí)踐中從原任務(wù)到目標(biāo)任務(wù)的知識遷移，將標(biāo)簽比例學(xué)習(xí)視為單一任務(wù)，無法解決遷移學(xué)習(xí)問題。

綜上所述，本文針對標(biāo)簽比例學(xué)習(xí)問題，為了訓(xùn)練得到更準(zhǔn)確的分類器，提出了一種基于標(biāo)簽比例信息的遷移學(xué)習(xí)算法(label proportion information-based transfer learning method, LPI-TL)，該方法可以利用遷移學(xué)習(xí)將知識從原任務(wù)遷移到目標(biāo)任務(wù)，幫助目標(biāo)任務(wù)構(gòu)建分類器。首先為了幫助目標(biāo)任務(wù)學(xué)習(xí)預(yù)測模型，本文提出了一種遷移學(xué)習(xí)模型，然后使用拉格朗日方法將方法的原始問題轉(zhuǎn)換為凸優(yōu)化問題并求解，最后獲得目標(biāo)任務(wù)的預(yù)測分類器。實(shí)驗(yàn)結(jié)果表明，本文方法在標(biāo)簽比例問題上能取得更好的性能。

本文主要貢獻(xiàn)如下：

1) 結(jié)合支持向量回歸算法提出了基于標(biāo)簽比例信息的遷移學(xué)習(xí)模型，該模型可以利用遷移學(xué)習(xí)將知識從原任務(wù)遷移到目標(biāo)任務(wù)。

2) 利用拉格朗日方法將原始目標(biāo)模型轉(zhuǎn)換為凸優(yōu)化問題，并獲得原任務(wù)和目標(biāo)任務(wù)的預(yù)測模型。

3) 在多個數(shù)據(jù)集上進(jìn)行廣泛實(shí)驗(yàn)，并與現(xiàn)有算法進(jìn)行對比，驗(yàn)證了提出算法的有效性。

2. 問題描述與相關(guān)工作

2.1. 問題描述

在標(biāo)簽比例學(xué)習(xí)問題中，一個包內(nèi)含有多個樣本，僅知道包中不同類別樣本的標(biāo)簽比例信息。本文定義包的標(biāo)簽比例為包中正樣本的比例。假設(shè)給定的原任務(wù)數(shù)據(jù)集為 D={x1,x2,?,xn}D={x1,x2,?,xn}，則每個樣本xi所對應(yīng)的標(biāo)簽yi未知，數(shù)據(jù)會被分為t1個互相獨(dú)立的包 (BsI,PsI),I=1,2,?,ti(BIs,PIs),I=1,2,?,ti，其中 BsIBIs 和 PsIPIs 分別表示原任務(wù)數(shù)據(jù)集的第I個包和包中正樣本的比例 PsI=∣∣{xi∈BsI:yi=1}∣∣/∣∣BsI∣∣PIs=|{xi∈BIs:yi=1}|/|BIs|，同理，目標(biāo)任務(wù)數(shù)據(jù)集用 (BtJ,PtJ),J=1,2,?,t2(BJt,PJt),J=1,2,?,t2 表示。

對于二元分類問題，標(biāo)簽比例學(xué)習(xí)任務(wù)是學(xué)習(xí)一個分類器將未知標(biāo)簽樣本分為正類或負(fù)類。如圖1所示：圖左邊的黑色橢圓表示包，黑色圓圈表示未標(biāo)記的樣本。在圖的右邊，加號“+”和減號“?”分別表示分類后的正樣本和負(fù)樣本，實(shí)線表示由標(biāo)簽比例和未標(biāo)記的樣本訓(xùn)練得到的分類器。

Figure 1. Two-class label proportions learning problem

圖1. 二分類標(biāo)簽比例學(xué)習(xí)問題

2.2. 相關(guān)工作

本目前，國內(nèi)外有多種標(biāo)簽比例學(xué)習(xí)分類方法的研究，主要分為概率模型和支持向量機(jī)模型兩類。

基于概率模型的分類方法。文獻(xiàn) [5] 假設(shè)給定類變量的預(yù)測變量之間具有條件獨(dú)立性，并采用了三種期望最大化算法來學(xué)習(xí)樸素貝葉斯模型。文獻(xiàn) [6] 通過估計條件類密度來估計后驗(yàn)概率，從貝葉斯角度提出一種新的學(xué)習(xí)框架，并且利用估計對數(shù)概率的網(wǎng)絡(luò)模型來求解分類問題的后驗(yàn)概率。文獻(xiàn) [7] 構(gòu)建了一個應(yīng)用于美國總統(tǒng)大選的概率方法，該方法使用基數(shù)勢在學(xué)習(xí)過程中對潛在變量進(jìn)行推理，并引入了一種新的消息傳遞算法，將基數(shù)勢擴(kuò)展到多變量概率模型。文獻(xiàn) [8] 開發(fā)模型并使用Twitter數(shù)據(jù)來估算美國總統(tǒng)大選期間政治情緒與人口統(tǒng)計之間的關(guān)系。

基于支持向量機(jī)(Support Vector Machine, SVM)的分類方法。文獻(xiàn) [9] 提出InvCal算法，該方法可以利用樣本的比例信息，反推出分類器，使得分類器預(yù)測出的樣本比例與實(shí)際比例相近。文獻(xiàn) [10] 提出了Alter-SVM算法并通過交替優(yōu)化的方法最小化損失函數(shù)。該方法在標(biāo)準(zhǔn)SVM模型的基礎(chǔ)上加入了比例損失的約束項(xiàng)，使得模型得到每個包的比例與實(shí)際比例盡可能接近。在文獻(xiàn) [10] 的基礎(chǔ)上，文獻(xiàn) [11] 提出了一種基于二支持向量機(jī)的分類模型，模型被轉(zhuǎn)換為兩個更小的二分類問題求解。文獻(xiàn) [12] 首先分析了比例學(xué)習(xí)問題中的結(jié)構(gòu)化信息，并利用數(shù)據(jù)點(diǎn)的幾何信息引入拉普拉斯項(xiàng)并且討論了如何將比例學(xué)習(xí)框架與拉普拉斯項(xiàng)結(jié)合。文獻(xiàn) [13] 提出了一種基于非平行支持向量機(jī)的解決方案并將分類器改進(jìn)為一對非平行分類超平面。

盡管對標(biāo)簽比例學(xué)習(xí)的研究已經(jīng)比較深入，然而大部分研究僅將該問題視為單一任務(wù)，沒有利用歷史數(shù)據(jù)彌補(bǔ)訓(xùn)練樣本不充分的不足，不能很好地體現(xiàn)出分類器的效果。不同于大部分已有的工作，本文從遷移學(xué)習(xí)角度出發(fā)，利用遷移學(xué)習(xí)可以在相似領(lǐng)域中幫助新領(lǐng)域目標(biāo)任務(wù)學(xué)習(xí)的特性，提出了一種基于標(biāo)簽比例信息的遷移學(xué)習(xí)方法，該方法基于支持向量回歸方法并結(jié)合樣本組成的包構(gòu)建模型，并給出了目標(biāo)方程從而解決了遷移學(xué)習(xí)方法運(yùn)用于標(biāo)簽比例學(xué)習(xí)分類的問題。

3. 標(biāo)簽比例學(xué)習(xí)算法

由于只通過標(biāo)簽比例信息無法直接訓(xùn)練分類函數(shù)，參考InvCal [9] 中利用標(biāo)簽比例信息反推出分類器的操作，提出的方法使用Platt尺度函數(shù) [14] 并反解求出y：

3.1. 目標(biāo)函數(shù)

除對于具有相關(guān)性的原任務(wù)數(shù)據(jù)集和目標(biāo)任務(wù)數(shù)據(jù)集，該算法使用f1和f2分別表示原任務(wù)和目標(biāo)任務(wù)分類器：

其中 w1=w0+v1w1=w0+v1， w2=w0+v2w2=w0+v2，w0表示分離超平面的權(quán)向量公共參數(shù)，v1和v2為增量參數(shù)，原任務(wù)和目標(biāo)任務(wù)越相似，則v1和v2越“小”，b1和b2是偏差。

本文對每個包中所有樣本求平均值得到一個平均數(shù)樣本來代表包，并利用支持向量回歸算法對所得到的平均數(shù)樣本求回歸方程，于是LLP問題轉(zhuǎn)換為求解如下目標(biāo)函數(shù)：

其中： ξtiξti 和 ξ?ti(t=1,2)ξti?(t=1,2) 為訓(xùn)練誤差， ε1iε1i 和 ε2mε2m 為可容忍損失，控制 εε 損失帶的大小;參數(shù) λ1λ1 和 λ2λ2 用來控制原任務(wù)和目標(biāo)任務(wù)權(quán)重，C1和C2是邊緣與經(jīng)驗(yàn)損失的權(quán)衡參數(shù)。

為了更好地理解遷移學(xué)習(xí)，圖2示意了知識遷移的基本思想。圖2中圓圈表示樣本，圓圈內(nèi)數(shù)字表示樣本所屬包的編號，每個包都有兩個未知標(biāo)簽的樣本，只知道包中正樣本的比例為50%;實(shí)線和虛線則分別表示分類器和間隔邊界。在圖的右邊，紅色圓圈表示目標(biāo)任務(wù)樣本，當(dāng)僅利用目標(biāo)任務(wù)樣本構(gòu)建分類。

Figure 2. Transfer knowledge from the source task to the target task

圖2. 原任務(wù)遷移知識到目標(biāo)任務(wù)

3.2. 對偶問題

由于目標(biāo)函數(shù)公式5為凸函數(shù)，引入拉格朗日乘子，公式5轉(zhuǎn)換為其對偶問題，等同為最小化下式：

具體算法求解過程如表1所示。

Table 1. LPI-TL Algorithm

表1. LPI-TL算法流程

3.3. 時間復(fù)雜度分析

對于提出的LPI-TL算法，假設(shè)求解標(biāo)準(zhǔn)SVM的時間復(fù)雜度為 O([數(shù)據(jù)量]2)Ο([數(shù)據(jù)量]2)，則在本文中解決公式6等同于求解一個數(shù)據(jù)量為M個原任務(wù)樣本和N個目標(biāo)任務(wù)樣本的標(biāo)準(zhǔn)SVM問題，則最終的時間復(fù)雜度為 O((M+N)2)Ο((M+N)2)。

4. 實(shí)驗(yàn)與分析

為驗(yàn)證所提出算法的有效性，本文設(shè)計了數(shù)據(jù)實(shí)驗(yàn)來驗(yàn)證所述方法，并采用Inv-Cal [8]，Alter-SVM [9] 和p-NPSVM [12] 作為對比方法。

4.1. 實(shí)驗(yàn)數(shù)據(jù)

論本文采用SRAA1和20 Newsgroups2數(shù)據(jù)集，這兩個數(shù)據(jù)集是用于文本分類、文本挖掘和信息檢索研究的國際標(biāo)準(zhǔn)數(shù)據(jù)集之一,并被廣泛用于遷移學(xué)習(xí)實(shí)驗(yàn)。SRAA數(shù)據(jù)集包含來自四個討論組的7327個UseNet文章，里面包含著模擬賽車，模擬航空，真實(shí)汽車，真實(shí)航空四個主題的數(shù)據(jù)。20 Newsgroups數(shù)據(jù)集收集了大約20,000左右的新聞組文檔，每個頂級類別下都有20個子類別，每個子類別都有1000個樣本。有一些新聞之間是相關(guān)的，比如Sci.elec vs. Sci.med;有一些新聞是不相關(guān)的，比如Sci.cryptvs.Alt.atheism。

由于上述兩個數(shù)據(jù)集不是專門為LLP問題設(shè)置，需要將文本數(shù)據(jù)集重新組織為適用于標(biāo)簽比例學(xué)習(xí)問題的數(shù)據(jù)集。采用文獻(xiàn) [15] [16] 處理上述數(shù)據(jù)集的方法，我們根據(jù)數(shù)據(jù)集的頂級類別重新組織LLP數(shù)據(jù)集。首先，我們從頂級類別(A)中選擇一個子類別a(1)作為正類別，因此將該子類別a(1)中的每個樣本視為正類樣本，其他頂級類別作為負(fù)類別。其次，對于原任務(wù)，我們從正子類別a(1)中隨機(jī)選擇多個樣本作為正樣本，并從其他類別中隨機(jī)選取相同數(shù)目的樣本作為負(fù)樣本，并將它們組成為原任務(wù)數(shù)據(jù)集。對目標(biāo)任務(wù)執(zhí)行相同的操作以形成正類樣本和負(fù)類樣本。為了使兩個任務(wù)相關(guān)，我們讓原任務(wù)和目標(biāo)任務(wù)的正類具有相同的頂級類別，例如原任務(wù)為a(1)，則目標(biāo)任務(wù)為a(2)。在不損失有效性的情況下，我們僅保留具有較高文檔頻率的單詞以減少維數(shù)，并且每個樣本均由特征表示。最后隨機(jī)選取同等比例的正樣本和負(fù)樣本生成5個數(shù)據(jù)集，如表2所示。

Table 2. The list of data sets

表2. 數(shù)據(jù)集列表

4.2. 實(shí)驗(yàn)設(shè)置

為減少包中樣本數(shù)量對實(shí)驗(yàn)結(jié)果的影響，本實(shí)驗(yàn)從每個數(shù)據(jù)集中分別隨機(jī)選擇20，40和60個樣本組成包，并分別對大小不同的包依次進(jìn)行實(shí)驗(yàn)，其中對四個算法的參數(shù)設(shè)置如下：

其中本文方法使用線性核函數(shù) K(x1,x2)=x1?x2K(x1,x2)=x1?x2，采用五折交叉驗(yàn)證法進(jìn)行實(shí)驗(yàn)。由于Inv-Cal，Alter-SVM和p-NPSVM為單一任務(wù)算法，對其只在目標(biāo)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，對提出的算法則使用原任務(wù)數(shù)據(jù)集和目標(biāo)任務(wù)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。

4.3. 實(shí)驗(yàn)結(jié)果分析

首先，利用本文提出的基于標(biāo)簽比例信息的遷移學(xué)習(xí)算法遷移原任務(wù)數(shù)據(jù)知識來對目標(biāo)任務(wù)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，并采用準(zhǔn)確率、精度、召回率和F1值等評價指標(biāo)與Inv-Cal，Alter-SVM和p-NPSVM對比。

五個數(shù)據(jù)集具體的平均測試準(zhǔn)確率和標(biāo)準(zhǔn)差實(shí)驗(yàn)結(jié)果如表3所示。表3表明，在數(shù)據(jù)集3包的大小為20以及數(shù)據(jù)集4包的大小為40和60中，本文提出算法比其他方法略低外，在其他實(shí)驗(yàn)結(jié)果中均能取得最高準(zhǔn)確率和較低的標(biāo)準(zhǔn)差。圖3展示了這四個算法的平均準(zhǔn)確率的柱狀圖，其中四個算法的平均準(zhǔn)確率分別為：62.44%、63.09%、63.38%和67.77%，可見提出的算法LPI-TL的平均準(zhǔn)確率高于Inv-Cal，Alter-SVM和p-NPSVM三個算法。這表明提出的方法在通過遷移原任務(wù)數(shù)據(jù)知識在分類準(zhǔn)確率上能取得較高且穩(wěn)定的性能。

另外，為了將其他算法與提出的LPI-TL方法進(jìn)一步比較，將對上面實(shí)驗(yàn)得到的準(zhǔn)確率做Wilcoxon符號秩和檢驗(yàn) [17] [18]。通常，如果測試值p值低于置信度0.05，則LPI-TL與所比較的方法之間存在顯著差異。對于每種方法，其與LPI-TL之間的測試結(jié)果列在表4中。從表中可以看出，每種方法對LPI-TL的p值均小于置信度0.05，這意味著在統(tǒng)計視角中，本文提出的算法LPI-TL比其他三個方法在準(zhǔn)確率上取得顯著性提高。

為了進(jìn)一步驗(yàn)證本文提出算法的性能，對5個數(shù)據(jù)集在包為20的情況下分別計算準(zhǔn)確率、召回率和F1值等指標(biāo)的平均值。實(shí)驗(yàn)結(jié)果如表5所示。從表中可以看出，LPI-TL算法平均召回率比Alter-SVM算

Table 3. Experimental accuracy and standard deviation Statistics

表3. 實(shí)驗(yàn)準(zhǔn)確率和標(biāo)準(zhǔn)差結(jié)果統(tǒng)計

Figure 3. The mean accuracy

圖3. 平均準(zhǔn)確率

Table 4. Wilcoxon signed ranks test.

表4. Wilcoxon符號秩和檢驗(yàn)

Table 5. Performance comparison of each algorithm

表5. 各個算法性能對比

法低，這是由于Alter-SVM算法找出更多的負(fù)樣本，所以召回率更高;相比之下，LPI-TL算法取得更大的精度和F1值?？傮w來看，本文提出的LPI-TL算法的結(jié)果比對比方法更佳。

5. 結(jié)束語

本文對基于標(biāo)簽比例信息的遷移學(xué)習(xí)進(jìn)行了研究，為了目標(biāo)任務(wù)能更有效的學(xué)習(xí)預(yù)測模型，本文提出了一種遷移學(xué)習(xí)的模型用于從標(biāo)簽比例信息中學(xué)習(xí)分類器，該方法能將知識從原任務(wù)遷移到目標(biāo)任務(wù)，并可以幫助目標(biāo)任務(wù)構(gòu)建分類器。本文實(shí)施了大量的實(shí)驗(yàn)去研究該方法的性能，實(shí)驗(yàn)表明該方法優(yōu)于現(xiàn)有的LLP方法。該方法的不足之處在于僅能處理二分類問題還無法處理多分類數(shù)據(jù)，將來希望將該方法應(yīng)用于多分類問題，這個問題值得后續(xù)進(jìn)一步研究。

審核編輯：湯梓紅