一、簡介

由于大規(guī)模視覺語言預(yù)訓(xùn)練取得了令人矚目的進(jìn)展，最近的識別模型可以以驚人的高準(zhǔn)確度對任意對象進(jìn)行零樣本和開放式分類。然而，將這種成功轉(zhuǎn)化為語義分割并不容易，因?yàn)檫@種密集的預(yù)測任務(wù)不僅需要準(zhǔn)確的語義理解，還需要良好的形狀描繪，而現(xiàn)有的視覺語言模型是通過圖像級別的語言描述進(jìn)行訓(xùn)練的。為了彌合這一差距，我們在本研究中追求具有形狀感知能力的零樣本語義分割。受圖像分割文獻(xiàn)中經(jīng)典的譜方法的啟發(fā)，我們提出利用自監(jiān)督像素級特征構(gòu)建的拉普拉斯矩陣的特征向量來提升形狀感知分割性能。

盡管這種簡單而有效的算法完全不使用已知類別的掩模，但我們證明它的表現(xiàn)優(yōu)于一種最先進(jìn)的形狀感知范式，在訓(xùn)練期間對齊地面實(shí)況和預(yù)測邊緣。我們還深入研究了在不同數(shù)據(jù)集上使用不同的骨干網(wǎng)絡(luò)所實(shí)現(xiàn)的性能提升，并得出了一些有趣且有結(jié)論性的觀察：形狀感知分割性能的提升與目標(biāo)掩模的形狀緊密性和對應(yīng)語言嵌入的分布都密切相關(guān)。

二、網(wǎng)絡(luò)架構(gòu)



圖1 SAZS的總體框架

零樣本語義分割的目標(biāo)是將語義分割任務(wù)擴(kuò)展到訓(xùn)練數(shù)據(jù)集中未出現(xiàn)的類別。引入額外的先驗(yàn)信息的一種潛在方法是利用預(yù)訓(xùn)練的視覺-語言模型，但是大多數(shù)這些模型都集中于圖像級別的預(yù)測，無法轉(zhuǎn)移到密集預(yù)測任務(wù)。為此，我們提出了一種名為“形狀感知零樣本語義分割（SAZS）”的新方法。

該方法利用了預(yù)訓(xùn)練的CLIP[1]模型中包含的豐富的語言先驗(yàn)信息，在訓(xùn)練期間對齊地面實(shí)況和預(yù)測邊緣。同時，利用自監(jiān)督像素級特征構(gòu)建的拉普拉斯矩陣的特征向量來提升形狀感知分割性能，并將其與像素級別的預(yù)測相結(jié)合。 我們的方法的模型框架如圖1所示。

輸入圖像首先通過圖像編碼器轉(zhuǎn)換為像素級嵌入，然后與預(yù)訓(xùn)練的CLIP[1]模型的文本編碼器獲得的預(yù)先計(jì)算的文本嵌入對齊（圖1中的A部分）。同時，圖像編碼器中的額外頭部用于在補(bǔ)丁中預(yù)測邊界，并針對分割地面真值中獲得的地面真值邊緣進(jìn)行優(yōu)化（圖1中的B部分）。此外，在推斷過程中，我們通過譜分析分解圖像并將輸出的特征向量與類別不可知的分割結(jié)果相結(jié)合（圖1中的C部分）。

我們將訓(xùn)練集表示為，測試集表示為,其中和分別表示輸入圖像和相應(yīng)的真實(shí)語義掩碼。S表示 I中的K個潛在標(biāo)簽，而表示測試期間未見過的類別。

在我們的設(shè)置中，這兩個集合嚴(yán)格互斥（即）。 在針對的進(jìn)行推斷之前，模型使用來自S的真實(shí)標(biāo)簽在上進(jìn)行訓(xùn)練。 這意味著在訓(xùn)練過程中從未看到測試集中的類別，使得任務(wù)在零樣本設(shè)置下進(jìn)行。一旦模型訓(xùn)練得當(dāng)，它應(yīng)該能夠泛化到未見過的類別，并在開放世界中實(shí)現(xiàn)高效的目標(biāo)密集預(yù)測。

像素級別的視覺-語言對齊

我們采用擴(kuò)張殘差網(wǎng)絡(luò)（DRN[2]）和密集預(yù)測Transformer（DPT[3]）來將圖像編碼為像素級嵌入向量。同時，我們采用預(yù)訓(xùn)練的CLIP文本編碼器將來自S中K個類別的名稱映射到CLIP特征空間作為文本特征。其中，視覺特征和文本特征具有相同的維度D。

為了實(shí)現(xiàn)視覺-語言對齊，此前的工作[5]通過最小化像素和對應(yīng)語義類別之間的距離，同時最大化像素和其他類別之間的距離來實(shí)現(xiàn)。在像素級視覺和語言特征被嵌入同一特征空間的假設(shè)下，我們利用余弦相似度作為特征之間的量化距離度量，并提出對齊損失，它是所有像素上已見類別的交叉熵?fù)p失的總和：

其中，表示在位置上的像素視覺特征，表示第k個文本特征，表示像素 的類別的索引。

形狀約束

由于CLIP是在圖像級別任務(wù)上訓(xùn)練的，僅僅利用CLIP特征空間中的先驗(yàn)信息可能對密集預(yù)測任務(wù)不足夠。為了解決這個問題，我們引入邊界檢測作為一個約束任務(wù)。受到之前工作[6]的啟發(fā)，我們通過優(yōu)化真實(shí)邊緣和特征圖中的邊緣之間的仿射變換，使其趨近于單位矩陣。

具體來說，如圖1所示，我們提取視覺編碼器的中間特征，并將其劃分成塊。首先采用Sobel算子獲得邊緣對應(yīng)的真實(shí)標(biāo)簽。之后將特征塊輸入邊界頭進(jìn)行特征提取。我們利用訓(xùn)練好的形狀網(wǎng)絡(luò)（圖 1中的MLP）計(jì)算第i個特征塊的變換矩陣，該矩陣用于將處理后的特征塊與邊緣的真實(shí)注釋之間進(jìn)行仿射變換。我們使用形狀損失來優(yōu)化仿射變換矩陣與單位矩陣之間的差異： 其中T表示特征塊數(shù)量，表示Frobenius范數(shù)。

此外，我們還計(jì)算了整張?zhí)卣鲌D的預(yù)測邊緣掩碼與相應(yīng)的真實(shí)標(biāo)注之間的二元交叉熵?fù)p失 ，以進(jìn)一步優(yōu)化邊緣檢測的性能。經(jīng)過邊緣檢測任務(wù)的聯(lián)合訓(xùn)練，視覺編碼器能夠利用輸入圖像中的形狀先驗(yàn)信息。后面的實(shí)驗(yàn)結(jié)果表明，由和引入的形狀感知帶來了顯著的性能提升。

最終，在訓(xùn)練過程中需要優(yōu)化的總損失為： 其中，和是損失權(quán)重。

自監(jiān)督譜分解

由于此前譜分解工作[7]的啟發(fā)，我們利用無監(jiān)督譜分解的方式將輸入圖像的拉普拉斯矩陣分解為具有邊界信息的特征段，并在圖1中的融合模塊中將這些特征段與神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果融合。 關(guān)聯(lián)矩陣的推導(dǎo)是譜分解的關(guān)鍵。首先提取預(yù)訓(xùn)練的自監(jiān)督Transformer（DINO[4]）最后一層的注意力塊中的特征。像素，的關(guān)聯(lián)矩陣定義為： 雖然從DINO特征中的關(guān)聯(lián)矩陣富含語義信息，但缺少包括顏色相似性和空間距離在內(nèi)的低層次近鄰信息。

我們首先將輸入圖像轉(zhuǎn)換為HSV顏色空間：，其中是各自的HSV坐標(biāo)，是像素i的空間坐標(biāo)。然后，像素關(guān)聯(lián)矩陣被定義為： 這里的表示二范數(shù)。整體的關(guān)聯(lián)矩陣定義為這兩者的加權(quán)和：

推理過程

在進(jìn)行推理時，我們首先使用預(yù)訓(xùn)練的CLIP文本編碼器對類別的進(jìn)行編碼，并獲得包含C個類別的文本特征，其中每個類別都用一個D維嵌入表示。然后我們利用訓(xùn)練好的視覺編碼器獲取視覺特征圖。最終的邏輯回歸值是視覺特征和文本特征之間余弦相似性的計(jì)算結(jié)果。同時，我們使用預(yù)訓(xùn)練的DINO以無監(jiān)督的方式提取語義特征，并計(jì)算出前K個譜特征區(qū)段（我們的實(shí)現(xiàn)中）。 最終的預(yù)測結(jié)果是由融合模塊生成的，該模塊根據(jù)和之間的最大IoU（表示為）從預(yù)測集中進(jìn)行選擇：

三、實(shí)驗(yàn)結(jié)果

我們分別在語義分割數(shù)據(jù)集PASCAL-5i[8]和COCO-20i[9]上進(jìn)行了定量和定性實(shí)驗(yàn)，分別如下圖所示



表1：SAZS在PASCAL-5i和COCO-20i上的定量結(jié)果



表2：SAZS跨數(shù)據(jù)零樣本分割的定量結(jié)果（在PASCAL-5i上測試）

SAZS在PASCAL-5i和COCO-20i上的定性結(jié)果分別如下圖所示。第一列和最后一列是不同類別的輸入圖像和相應(yīng)的地面真實(shí)語義掩碼。第二列和第三列分別是 SAZS 沒有和有形狀感知的預(yù)測結(jié)果。*表示在訓(xùn)練階段未曾出現(xiàn)的類別.



形狀感知分割驗(yàn)證指標(biāo)IoU與目標(biāo)掩模的形狀緊密性和對應(yīng)語言嵌入的分布關(guān)系如下圖所示。



四、總結(jié)

本文提出了一種新穎的框架，用于實(shí)現(xiàn)形狀感知的零樣本語義分割（簡稱SAZS）。該框架利用大規(guī)模預(yù)訓(xùn)練視覺語言模型的特征空間中包含的豐富先驗(yàn)信息，同時通過在邊界檢測約束任務(wù)上進(jìn)行聯(lián)合訓(xùn)練。此外，采用自監(jiān)督譜分解來獲取圖像的特征向量，將其與網(wǎng)絡(luò)預(yù)測融合增強(qiáng)模型感知形狀的能力。相關(guān)性分析進(jìn)一步凸顯了形狀緊密度和語言嵌入分布對分割性能的影響。





審核編輯：劉清