美國國家標準與技術(shù)研究院(NIST)剛剛公布了有工業(yè)界“黃金標準”之稱的全球人臉識別算法測試(FRVT)結(jié)果,依圖科技以千萬分之一誤報下的識別準確率超過99%,繼續(xù)保持全球人臉識別競賽冠軍,中國公司商湯科技摘得第三名和第四名。
根據(jù)最新公布的全球權(quán)威人臉識別供應(yīng)商測試 FRVT 結(jié)果,曠視、商湯和依圖這三家視覺獨角獸首次在公開場合同臺競技,最終由依圖拿下第一。
FRVT 是美國國家標準技術(shù)局(NIST)定期舉辦的人臉識別供應(yīng)商測試(Face Recognition Vendor Test),旨在衡量人臉識別算法的最先進水平。由于訓(xùn)練集不公開,數(shù)據(jù)集不能憑借過擬合測試集達到更好的成績,再加上結(jié)果受商業(yè)因素影響較小,F(xiàn)RVT 素來被視為工業(yè)界“黃金標準”。
根據(jù)報告,排在第一名的是依圖科技今年10月提交的算法,也是參賽團隊中在千萬分之一誤報指標下,唯一將漏報率降到1%以下的團隊。在相同漏報率的情況下,商湯科技(Sense time-001)的誤報率是依圖(yitu-002)的30-50倍,在誤報率指標相同的情況下,依圖的漏報率是商湯的30%-45%。
在這份官方公布的報告中,中國人工智能公司實力展現(xiàn),依圖科技(yitu)、商湯科技(sensetime)、曠視科技(megvii)囊括了前十中的五席,加上排名第五的中國科學(xué)院深圳先進技術(shù)研究院(siat),中國團隊已經(jīng)超過半數(shù),并穩(wěn)穩(wěn)“霸屏”前五,領(lǐng)跑全球人臉識別算法。
曠視商湯依圖首次同臺公開競技,依圖拿下第一
美國國家標準與技術(shù)研究院(National Institute of Standards and Technology,NIST)直屬美國商務(wù)部,主要任務(wù)是建立國家計量基準與標準,提供為美國工業(yè)和國防服務(wù)的測試技術(shù),參加標準化技術(shù)委員會制定標準等。NIST指導(dǎo)下的人臉識別算法測試,數(shù)據(jù)均來自真實業(yè)務(wù)場景,意味著測試結(jié)果代表該技術(shù)在實戰(zhàn)場景中的表現(xiàn)。
FRVT通過上百億次樣本比對,對算法精度的評估可以到達百萬分之一,也是當(dāng)今全球規(guī)模最大、標準最嚴、競爭最激烈、最權(quán)威的人臉識別算法比賽。由于競賽評測標準的嚴謹性、一致性和全面性,F(xiàn)RVT十多年來一直被業(yè)界作為人臉識別算法性能的“黃金標準”。
FRVT人臉識別測試集數(shù)據(jù)量很大,包含簽證照片(visa)、逮捕照片(mugshot)、網(wǎng)絡(luò)攝像頭照片(webcam)、人臉自拍(selfie)和無約束環(huán)境下人臉圖像(wild)等幾大種類,F(xiàn)RVT會在每次結(jié)果報告中給出特定閾值下單項測試集的排名。
FRVT人臉識別測試集有多種測試集組成,數(shù)據(jù)量大且均來自實際場景,代表了算法在實戰(zhàn)場景中的表現(xiàn)。制圖:新智元
截至目前,全球頂級大廠都參加過這項競賽,包括老牌大廠荷蘭公司Gemalto,法國公司Morpho,日本公司Panasonic,俄羅斯公司Vocord,以及中國的??低?/u>、平安科技等。
最新一次的FRVT測評結(jié)果是2018年10月中旬提交,本次共有39個廠家參與,相比4個月前多了7家,分別是Anke、比特大陸(Bitmain)、大華股份(Dahua)、商湯科技(Sensetime)、Saffe、Tech5,以及文安智能(Vion)。
由此,這次測評也成為商湯、曠視、依圖三家視覺獨角獸首次在公開場合下的實力較量,算法比拼可謂激烈。
從專業(yè)角度講,沒有哪種人臉識別算法可以在任何場景下都做到性能最優(yōu),這也是每家公司提交多個算法的原因之一。
但是,從下圖中可以看出,依圖人臉識別算法在Visa(≤0.000001和≤0.0001,受限和不受限)場景下位均居第一,Mugshot也位于前十,表現(xiàn)優(yōu)異。
FRVT官網(wǎng)最新Leaderboard:左起第三列開始,數(shù)字右上角的角標代表算法在特定閾值下單項測試集的排名,可以看出 yitu-002 在 Visa 和 Mugshot 兩個場景中性能優(yōu)異,因此綜合排名第一。
值得一提,yitu-001是依圖科技2018年6月評測提交的算法,時隔多月仍然處在前十之列。
人臉識別算法性能一年內(nèi)提升80%,中國初創(chuàng)公司展現(xiàn)世界一流實力
在1:1人臉識別領(lǐng)域,業(yè)界通常以誤識率(False Match Rate,F(xiàn)MR)、漏報率(False Non-match Rate,NMR)作為衡量算法能力的主要指標。
簡單說,“誤識”就是把不應(yīng)該匹配的人臉當(dāng)做成功匹配,“漏報”則是應(yīng)該成功匹配的沒有查找出來。
一般來說,在誤識率相同的情況下,識別準確率越高,漏報率越低,都意味著算法的性能越好。
2018年10月中旬FRVT測評,Visa測試集上誤識和漏報相關(guān)(ROC)曲線。排在第一名的是依圖科技今年10月提交的算法(最下方的紫紅色線條),也是參賽團隊中在千萬分之一誤報指標下,唯一將漏報率降到1%以下的團隊。來源:FRVT
2018年11月16日發(fā)布的報告顯示,由依圖代表的全球人臉識別算法最高水平,可以做到在千萬分之一誤報率下,漏報率降低于1%,這意味著千萬分位誤報下的識別準確率已經(jīng)超過99%。相比于去年同期,全球人臉識別性能提升了80%。
在安防場景中,萬路甚至十萬路攝像頭視頻的人臉搜索、歸檔對算法有極高要求,在這些場景下,假定每路人流為萬,要在萬路視頻中,搜索性能相當(dāng)于要求算法百億、千億規(guī)模上的可識別率。這時候,識別率99%和99.99%的不同算法,以及以這些算法為基礎(chǔ)的產(chǎn)品端體驗差異,就會被同比例放大。
因此,千萬分位誤報下的識別準確率超過99%,意味著更多核心關(guān)鍵的安防場景被解鎖。
另外值得關(guān)注的是,在最新成績排行上排名前十位的公司幾乎都是創(chuàng)業(yè)公司,而且多數(shù)來自中國。全球老牌企業(yè)在人臉識別算法技術(shù)上的迭代速度,相比較創(chuàng)業(yè)公司已經(jīng)呈現(xiàn)落后趨勢。
-
人工智能
+關(guān)注
關(guān)注
1791文章
47208瀏覽量
238290 -
人臉識別
+關(guān)注
關(guān)注
76文章
4011瀏覽量
81866 -
數(shù)據(jù)集
+關(guān)注
關(guān)注
4文章
1208瀏覽量
24690
原文標題:中國團隊“霸屏”全球權(quán)威人臉識別競賽,依圖奪冠!
文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論