導語：

你是否想了解分布外檢測（OOD detection）的最前沿方法及其表現卻迷失在在數量繁多的論文中？你是否想自己解決OOD檢測問題卻苦于沒有一個統一的代碼庫/測試平臺來開發和測試性能？OpenOOD 1.5版本將解決如上困惑！

一、導讀

對于訓練好的圖像分類器，能讓其可靠地在開放世界中工作的一個關鍵能力便是檢測未知的、分布外的（out-of-distribution， OOD）樣本。例如我們利用一組貓狗照片訓練出了一個貓狗分類器。對于分布內的（in-distribution， ID）樣本，也就是這里的貓、狗圖片，我們自然期待分類器能夠準確地將它們識別到相應的類別中去。而對于分布外的OOD樣本，也就是除了貓狗之外的任何圖片（例如飛機、水果等等），我們希望模型能夠檢測出它們是未知的、新穎的物體/概念，因而無法將它們判別到分布內的貓或狗任何一類中。這個問題便是分布外檢測（OOD detection），其近年來吸引了廣泛的關注，新工作層出不窮。然而領域快速擴張的同時，追蹤、衡量領域的發展現狀卻由于種種原因成了一件難事。

原因1：不一致的測試OOD數據集。深度學習各個任務的快速發展都離不開統一的測試數據集（就像圖像分類有CIFAR，ImageNet，物體檢測有PASCAL VOC，COCO）。然而不幸的是OOD檢測領域一直以來都缺乏統一的、被廣泛采用的OOD數據集。這就造成了在上圖中，當我們回看已有工作的實驗設定時，會發現所用的OOD數據十分不一致（例如對于CIFAR-10是ID數據的情況，有些工作使用MNIST，SVHN作為OOD，有些工作使用CIFAR-100，Tiny ImageNet作為OOD）。在這樣的情況下，直接公平地比較全部方法面臨巨大困難。

原因2：令人困惑的術語。除了OOD檢測外，另外一些術語比如“開集識別”（Open-Set Recognition， OSR），“新類檢測”（Novelty Detection）也常常出現在文獻中。它們本質上都在關注同一個問題，僅在一些實驗設定的細節上有著微小差別。然而不同的術語會導致方法之間形成不必要的分支，例如OOD檢測和OSR就曾經被當作是兩個獨立的任務，而不同分支之間的方法（盡管在解決同一個問題）也很少被放在一起比較。

原因3：錯誤的操作。在許多工作中，研究者們往往直接使用OOD測試集中的樣本來調參甚至訓練模型。這樣的操作會對方法的OOD檢測能力做出高估。

以上的問題顯然是對領域的有序發展不利的，我們迫切需要一個統一的基準和平臺來測試評估現有以及未來的OOD檢測方法。OpenOOD 在這樣的挑戰下應運而生。其第一版邁出了重要的一步，然而有著規模小、可用性有待提升的問題。因此在OpenOOD全新版本v1.5中，我們進一步做了加強和升級，試圖打造一個全面、準確、易用的測試平臺供廣大研究者使用。總結來看，OpenOOD有著如下重要的特性和貢獻：

1.龐大、模塊化的代碼庫。該代碼庫將模型結構、數據預處理、后處理器、訓練、測試等等進行了解藕及模塊化，方便復用以及開發。目前OpenOOD實現了近40種最先進的針對圖像分類任務的OOD檢測方法。

2.可一鍵測試的評估器。如上圖所示，僅用幾行代碼，OpenOOD的評估器就可以在指定的ID數據集上給出所提供的分類器、后處理器的OOD檢測測試結果。相應的OOD數據是由評估器內部所確定并提供的，這保證了測試的一致性和公平性。該評估器也同時支持標準OOD檢測（standard OOD detection）和全譜OOD檢測（full-spectrum OOD detection）兩種場景（后文會有更多介紹）。

3.在線排行榜。利用OpenOOD，我們在CIFAR-10，CIFAR-100， ImageNet-200，ImageNet-1K四個ID數據集上比較了近40種OOD檢測方法的性能，并將結果制作成了公開排行榜。希望能夠幫助大家隨時了解領域內最有效、最有潛力的方法。

4.實驗結果中的新發現。根據OpenOOD全面的實驗結果，我們在論文中提供了許多新發現。例如，盡管看起來與OOD檢測關系不大，但數據增強（data augmentation）實際上能有效提升OOD檢測的性能，且這方面提升與具體OOD檢測手段帶來的提升是正交、互補的。另外，我們發現已有方法在全譜OOD檢測上的表現并不盡如人意，這也將是未來領域內一個重要的待解決問題。

二、問題描述

這一部分會簡略、通俗地描述標準與全譜OOD檢測的目標。對于更詳細、正式的描述，歡迎大家閱讀我們的論文。

首先討論一些背景。在我們所考慮的圖像分類場景下，分布內（ID）數據是由相應的分類任務所定義的。例如對于CIFAR-10分類，ID分布就對應著它的10個語義類別。OOD的概念是相對于ID形成的：ID語義類別之外的、與ID類別不同的任何語義類別所對應的圖片都是分布外OOD圖片。與此同時，我們需要討論如下兩種類型的分布偏移（distributional shift）。

Semantic Shift：深層語義層面上的分布變化，對應上圖橫軸。例如訓練時語義類別是貓、狗，測試時語義類別是飛機、水果。

Covariate Shift：表層統計層面上的分布變化（而語義不變），對應上圖縱軸。例如訓練時是貓、狗的干凈自然照片，測試時是加了噪聲或手繪的貓、狗圖片。

有了上述背景，再結合上圖就可以很好理解標準以及全譜OOD檢測。

標準OOD檢測

目標（1）：在ID分布上訓練一個分類器，使其能夠準確對ID數據進行分類。這里假設測試ID數據與訓練ID數據不存在covariate shift。

目標（2）：基于訓練好的分類器，設計OOD檢測方法使其能夠對任意樣本進行ID/OOD的二分類區分。在上圖中對應的是將（a）和（c） + （d）區分開來。

全譜OOD檢測

目標（1）：與標準OOD檢測類似，但區別在于考慮了covariate shift，也就是無論測試ID圖片相比訓練圖片是否有covariate shift，分類器都需要精準分類到相應的ID類別中（例如貓狗分類器不僅應該準確分類“干凈”貓狗圖片，還應當能泛化到帶噪、模糊的貓狗圖片上）。

目標（2）：同樣考慮covariate-shifted ID樣本，需要將其與正常（沒有covariate shift）的ID樣本一同與OOD樣本判別開來。對應上圖中區分（a） + （b）和（c） + （d）。

為什么全譜OOD檢測很重要？熟悉的小伙伴可能已經發現，全譜OOD檢測中的目標（1）實際上對應著另一個很重要的研究課題——分布外泛化（OOD generalization）。需要澄清一下，OOD泛化中的OOD指的是存在covariate shift的樣本，而OOD檢測中的OOD指的是存在semantic shift的樣本。這兩種偏移（shift）都是現實世界中十分常見的，然而現有的OOD 泛化和標準OOD檢測都僅僅只考慮了其中一種而忽略了另一種。與之相反，全譜OOD檢測在同一場景下將兩種偏移自然地考慮在了一起，更準確地反映了我們對于一個理想分類器在開放世界中表現的預期。

三、實驗結果及新發現

在1.5版本中，OpenOOD對近40種方法在6個基準（benchmark）數據集（4個針對標準OOD檢測，2個針對全譜OOD檢測）上做了統一、全面的測試。論文中對所實現的方法及數據集都進行了描述，歡迎大家查閱。全部實驗也都可以在OpenOOD的代碼庫中復現。這里我們直接討論從對比結果中得到的發現。

發現1：沒有贏家通吃（no single winner）。在上表中，不難發現并沒有任何一個方法能夠在全部基準數據集上持續地給出突出表現。例如后處理的方法（post-hoc inference methods）ReAct和ASH在大數據集ImageNet上表現優異，但在CIFAR上相比其他方法并沒有優勢。與之相反，一些在訓練中加入約束的方法（training methods），例如RotPred和LogitNorm，在小數據集上要優于后處理方法，但在ImageNet上并不突出。

發現2：數據增強有效（data augmentations help）。如上表所示，盡管數據增強并不是專門為OOD檢測所設計的，但它們卻能有效提升OOD檢測的表現。更令人驚喜的是，數據增強帶來的提升與具體OOD后處理方法帶來的提升是互相放大的。這里以AugMix為例，當它與最簡單的MSP后處理器結合時，在ImageNet-1K near-OOD檢測率上達到了77.49%，僅比不適用數據增強的交叉熵損失（corss-entropy loss）訓練的檢測率77.38%高1.47%。然而當AugMix與更先進的ASH后處理器結合時，相應的檢測率比交叉熵基線高了3.99%，并達到了我們測試中最高的82.16%。這樣的結果顯示了數據增強與后處理器的結合對于未來進一步提升OOD檢測能力是非常有潛力的。

發現3：全譜OOD檢測對現有方法提出了挑戰（full-spectrum detection poses challenge for current detectors）。從上圖中可以清晰的看出，當場景從標準OOD檢測切換為全譜OOD檢測時（也即在測試ID數據中加入了covariate-shifted ID圖片），絕大多數方法的性能都表現出了顯著的退化（大于10%的檢測率的下降）。這代表著當前方法傾向于將實際語義未發生變化的covariate-shifted ID圖片標記為OOD。該行為與人類的感知（同時也是全譜OOD檢測的目標）是相悖的：假設一個人類標記員在標記貓狗圖片，此時給他/她出示帶噪、模糊的貓狗圖片，他/她應當仍會識別出那是貓/狗，是分布內ID數據而不是未知的分布外OOD數據。總的來看，目前方法無法有效地解決全譜OOD檢測，而我們相信這將是未來領域內的一大重要問題。

此外還有許多發現沒有列在這里，例如數據增強對于全譜OOD檢測仍舊有效等等。再次歡迎大家閱讀我們的論文。

四、展望

我們希望OpenOOD的代碼庫、測試器、排行榜、基準數據集以及詳實的測試結果能夠匯集各路研究人員的力量一起來推動領域發展。十分期待大家使用OpenOOD進行OOD檢測的開發、測試。我們也歡迎任意形式的對OpenOOD的貢獻，包括但不限于提出反饋，將最新的方法添加到OpenOOD代碼庫和排行榜中，擴展未來版本OpenOOD等等。