目標(biāo)檢測作為視覺領(lǐng)域的重要任務(wù)，近年來在研究人員的共同努力下取得了豐碩的成果，包括一系列算法、數(shù)據(jù)、開源工具等等。為了向?qū)W術(shù)屆和工業(yè)界提供更多完善靈活的工具和模塊化部件，多個(gè)大學(xué)和機(jī)構(gòu)的研究人員聯(lián)合提出了目標(biāo)檢測工具箱Open MMLab Detection，將有效促進(jìn)目標(biāo)檢測領(lǐng)域的應(yīng)用和新方法研究發(fā)展。

MMDetection工具箱主要有如下特點(diǎn)：

首先是模塊化的設(shè)計(jì)：研究人員將目標(biāo)檢測的網(wǎng)絡(luò)架構(gòu)分解成不同的原件，并構(gòu)建了多樣化的模塊似的用戶可以根據(jù)需要構(gòu)建個(gè)性化的檢測架構(gòu)；

支持多樣化的模型架構(gòu)：包括單階段，雙階段和多階段的檢測架構(gòu)都可以通過這一工具箱輕松構(gòu)建；

高性能計(jì)算：所有的基礎(chǔ)元件和模塊都進(jìn)行了GPU實(shí)現(xiàn)，可以實(shí)現(xiàn)最先進(jìn)的訓(xùn)練速度；

優(yōu)異的目標(biāo)檢測性能：這一工具箱由2018年COCO目標(biāo)檢測團(tuán)隊(duì)MMDet主導(dǎo)開發(fā)，并不斷在前沿表現(xiàn)的基礎(chǔ)上提升著模型性能。

工具箱的主要架構(gòu)

研究人員將目標(biāo)檢測架構(gòu)拆解成了多個(gè)通用部分，并將每一部分標(biāo)準(zhǔn)化和模塊化。

單階段和量階段檢測器的元件分解圖

主干網(wǎng)絡(luò)(backlbone)：其作用是從圖像中抽取特征，將圖像從像素空間轉(zhuǎn)換到高維的特征空間中去，例如VGG和ResNet-50等都是常用的主干網(wǎng)絡(luò);

銜接部分(Neck)：用于連接主干網(wǎng)絡(luò)與頭部結(jié)構(gòu)，它的作用是重新配置或者優(yōu)化由主干網(wǎng)絡(luò)生成的初始特征圖，特征金字塔網(wǎng)絡(luò)就是一種典型的銜接部件；

密集連接頭(DenseHead)：用于在特征圖上進(jìn)行密集的位置相關(guān)操作，包括AnchorHead、AnchorFreeHead等，其中RPN、Retina、FCOS等Head是具有代表性的操作；

ROI抽取器：用于從單個(gè)或多個(gè)特征圖中抽取出每個(gè)RoI對(duì)應(yīng)的特征，例如SingleRoIExtractor.

感興趣區(qū)域頭(RoIHead)：將RoI特征作為輸出并計(jì)算出對(duì)應(yīng)的任務(wù)結(jié)果，包括bbox的位置、分類或者分割的預(yù)測結(jié)果。

通過這些通用模塊，工程人員或研究人員可以構(gòu)建出自己的檢測器，并在此基礎(chǔ)上進(jìn)行更深入地開發(fā)和探索。

標(biāo)準(zhǔn)的訓(xùn)練流程

同時(shí)在這一工具箱中將訓(xùn)練過程總結(jié)成了一個(gè)標(biāo)準(zhǔn)的、適用于多種視覺任務(wù)的通用流程。其中訓(xùn)練和驗(yàn)證流程可以循環(huán)進(jìn)行，在每個(gè)周期將在模型上運(yùn)行多次前傳和反傳操作。

為了讓流程為便捷和個(gè)性化，研究人員定義了最小流程單位；同時(shí)也支持多種用戶自定義操作和時(shí)間節(jié)點(diǎn)，并可以利用鉤子觸發(fā)對(duì)應(yīng)的時(shí)間節(jié)點(diǎn)及對(duì)應(yīng)操作。

涵蓋豐富的模塊和架構(gòu)

下表展示了目前MMDetection中包含具有代表性的模型架構(gòu)，包括了單階段、兩段和多級(jí)的多種目標(biāo)檢測及分割方法。

這一工具箱支持的檢測模型完整列表如下，數(shù)量上遠(yuǎn)遠(yuǎn)超過了其他現(xiàn)有目標(biāo)檢測代碼庫：

此外還包括了各種先進(jìn)的模塊方法實(shí)現(xiàn)：

為了比較這一工具包中各個(gè)模塊的性能，研究人員在模型性能、速度和內(nèi)存的方面進(jìn)行了比較。同時(shí)也在不同GPU及GPU節(jié)點(diǎn)上對(duì)代表性模型的表現(xiàn)進(jìn)行測評(píng)。結(jié)果如下圖所示：

與先前的三個(gè)目標(biāo)檢測工具箱進(jìn)行了性能、速度和內(nèi)存開銷方面的對(duì)比

下圖展示了典型模型在不同GPU和多個(gè)分布式架構(gòu)上的拓展能力：

此外研究人員還對(duì)歸一化、損失函數(shù)、訓(xùn)練規(guī)模以及各種超參數(shù)進(jìn)行了詳細(xì)的分析和對(duì)比，如果想要了解更多細(xì)節(jié)請參看：

https://arxiv.org/pdf/1906.07155.pdf

如果在學(xué)習(xí)研發(fā)中需要使用工具箱，代碼和部署工具可以在這里找到，其中包含了200多個(gè)網(wǎng)絡(luò)模型和模塊工具：

https://github.com/open-mmlab/mmdetection

ref:http://mmlab.ie.cuhk.edu.hk/index.htmlhttps://github.com/open-mmlab/mmdetection/tree/master/mmdethttps://arxiv.org/pdf/1906.07155.pdfhttps://github.com/NVIDIA/apex

picture from:https://dribbble.com/shots/5075555-Toolbox

https://dribbble.com/shots/3000321-Toolbox