稠密圖像分割問題一直在計算機視覺領(lǐng)域中備受關(guān)注。無論是在 Adobe 旗下的 Photoshop 等重要產(chǎn)品中，還是其他實際應(yīng)用場景中，分割模型的泛化和精度都被賦予了極高的期望。對于這些分割模型來說，需要在不同的圖像領(lǐng)域、新的物體類別以及各種圖像分辨率和質(zhì)量下都能夠保持魯棒性。為了解決這個問題，早在 SAM[6] 模型一年之前，一種不考慮類別的實體分割任務(wù) [1] 被提出，作為評估模型泛化能力的一種統(tǒng)一標準。

在本文中，High-Quality Entity Segmentation 對分割問題進行了全新的探索，從以下三個方面取得了顯著的改進：

1. 更優(yōu)的分割質(zhì)量：正如上圖所示，EntitySeg 在數(shù)值指標和視覺表現(xiàn)方面都相對于 SAM 有更大的優(yōu)勢。令人驚訝的是，這種優(yōu)勢是基于僅占訓練數(shù)據(jù)量千分之一的數(shù)據(jù)訓練取得的。

2. 更少的高質(zhì)量數(shù)據(jù)需求：相較于 SAM 使用的千萬級別的訓練數(shù)據(jù)集，EntitySeg 數(shù)據(jù)集僅含有 33,227 張圖像。盡管數(shù)據(jù)量相差千倍，但 EntitySeg 卻取得了可媲美的性能，這要歸功于其標注質(zhì)量，為模型提供了更高質(zhì)量的數(shù)據(jù)支持。

3. 更一致的輸出細粒度（基于實體標準）：從輸出的分割圖中，我們可以清晰地看到 SAM 輸出了不同粒度的結(jié)果，包括細節(jié)、部分和整體（如瓶子的蓋子、商標、瓶身）。然而，由于 SAM 需要對不同部分的人工干預(yù)處理，這對于自動化輸出分割的應(yīng)用而言并不理想。相比之下，EntitySeg 的輸出在粒度上更加一致，并且能夠輸出類別標簽，對于后續(xù)任務(wù)更加友好。

在闡述了這項工作對稠密分割技術(shù)的新突破后，接下來的內(nèi)容中介紹 EntitySeg 數(shù)據(jù)集的特點以及提出的算法 CropFormer。

代碼鏈接：

主頁鏈接：

根據(jù) Marr 計算機視覺教科書中的理論，人類的識別系統(tǒng)是無類別的。即使對于一些不熟悉的實體，我們也能夠根據(jù)相似性進行識別。因此，不考慮類別的實體分割更貼近人類識別系統(tǒng)，不僅可以作為一種更基礎(chǔ)的任務(wù)，還可以輔助于帶有類別分割任務(wù) [2]、開放詞匯分割任務(wù) [3] 甚至圖像編輯任務(wù) [4]。與全景分割任務(wù)相比，實體分割將“thing”和“stuff”這兩個大類進行了統(tǒng)一，更加符合人類最基本的識別方式。

EntitySeg數(shù)據(jù)集

此外，受限于提出年代的設(shè)備，COCO 等數(shù)據(jù)集的圖片域以及圖片分辨率也相對單一。因此基于現(xiàn)有數(shù)據(jù)集下訓練出的實體分割模型也并不能很好地體現(xiàn)實體分割任務(wù)所帶來的泛化能力。最后，原作者團隊在提出實體分割任務(wù)的概念后進一步貢獻了高質(zhì)量細粒度實體分割數(shù)據(jù)集 EntitySeg 及其對應(yīng)方法。EntitySeg 數(shù)據(jù)集是由 Adobe 公司 19 萬美元贊助標注完成，已經(jīng)開源貢獻給學術(shù)界使用。

項目主頁：

CropFormer算法框架

最后在補充材料中，作者展示了更多的 EntitySeg 數(shù)據(jù)集以及 CropFormer 的可視化結(jié)果。下圖為更多數(shù)據(jù)標注展示：

下圖為 CropFormer 模型測試結(jié)果：

參考文獻

[6] Segment Anything. ICCV 2023.