亚洲狼人天堂,驭灵师小说,无套啪啪

今天給大家介紹ICLR 2022最佳論文PICO: CONTRASTIVE LABEL DISAMBIGUATION FOR PARTIAL LABEL LEARNING，這篇文章解決的是Partial Label Learning（PLL）問題，即訓練數據中一個圖像不是一個確定的label，而是一組可能的label集合，需要預測出每個樣本的真實label。

下載地址：https://openreview.net/pdf?id=EhYjZy6e1gJ

1什么是Partial Label Learning（PLL)

有監督學習是最常見的一種機器學習問題，給定一個輸入樣本，預測該樣本的label是什么。Partial Label Learning（PLL）問題也是預測一個樣本對應的label，但是和有監督學習問題的差異是，PLL問題的訓練數據中，一個輸入樣本對應多個候選label，真正的label是候選label中的一個。

為什么會有PLL這樣的問題呢？因為在現實問題中，label來自于人工標注，而有的樣本人工標注比較困難，只標注一個label會造成噪聲較大的問題。例如下面的例子中，比較難區分這張狗對應的類別是哈士奇、雪橇犬還是薩摩耶，強行讓人工標注成一個確定的label容易在數據中引入噪聲。PLL放寬了這種限制，在標注的label中可以引入一些不確定性，給一個樣本賦予多個候選label，模型學習從這些label中預測ground-truth對應的那個label。

2PLL問題的難點

PLL的效果目前和有監督學習還有一定差距。PLL問題的難點在于標簽消歧，也就是從候選label集合中預測出樣本的真實label。業內一般的解法是學習樣本高質量的表示，然后根據在特征空間中距離近的樣本更可能屬于同一類別這個假設，實現標簽消歧。

然而，這種方法的問題在于，當label是一個不確定的集合而不是一個確定值時，這種不確定性也會對表示學習的過程造成負面影響。表示學習效果不好，又會對標簽消歧的效果造成負面影響。

為了解決這個問題，ICLR 2022的最佳論文提出了基于對比學習的PLL問題求解方法。利用對比學習提升表示學習的效果，再利用良好的表示對label進行消歧，消歧后的label又有助于進一步生成良好的樣本表征，形成良性循環，提升整體效果。

這篇文章提出的Partial label learning with COntrastive label disambiguation (PiCO) framework主要包括利用對比學習提升表示生成質量，以及基于聚類的label消歧兩個核心模塊。下面，我們走進這篇最佳論文，理解其背后的思想。

3PiCO核心點1—對比學習引入PLL

第一個核心點是為了提升PLL中的表示生成效果，作者將對比學習的方法引入到PLL問題中。對比學習在有監督問題上已經取得廣泛的應用，但是在PLL問題上目前還沒有相關研究。將對比學習應用到PLL的一個最主要的問題是正樣本對如何構造。在有監督學習中，每個樣本都有其對應的確定性label，天然可以構造出正樣本。而PLL問題中，每個樣本的label是不確定的，無法直接獲取正樣本對。

為了解決上述問題，本文提出利用分類器對樣本的預測結果作為樣本真實label（也就是偽標簽persudo label），根據這個label構造正樣本對。在得到正樣本對后，利用MoCo對比學習框架進行表示學習，將樣本的兩種view分別輸入兩個參數共享的Encoder，其中key側的Encoder使用動量更新的方式減小計算開銷。對比學習loss作為一個輔助任務和主任務聯合學習。對MoCo等對比學習框架不了解的同學，可以參考我之前的文章：對比學習中的4種經典訓練模式。利用對比學習，可以讓樣本在特征空間形成類簇，這也為后續的標簽消歧奠定了基礎。

4PiCO核心點2—標簽消歧

本文采用了一種類似EM算法的思路實現標簽消歧。首先，對于每個類別維護一個embedding向量u，它可以視為類的類簇中心。對于每個樣本的label，在PLL中也用一個N維向量表示s，N代表類別數量，表示了該樣本屬于每個類別的概率。接下來為了實現標簽消歧，在訓練過程中不斷更新s，更新方法是看樣本表示和哪個類別向量最近，就用滑動平均的方式對s的那一維進行更新，公式可以表示為：