一、“超強煤礦大腦”應用背景及意義

煤礦行業是我國國民經濟的支柱產業，在全國能源結構和一次能源消費中占有重要比例，2020年我國的一次能源消耗其中煤炭占比達到 57%。目前，由于國家宏觀政策產業結構調整和技術進步，我國煤礦安全生產事故總量逐年下降，安全生產整體形勢總體穩定好轉，但是與歐美等采煤先進的發達國家相比，在煤礦事故發生總數量以及死亡人數上仍然差距十分明顯。據數據統計，中國的煤炭開采中的死亡人數超過全世界煤礦死亡人數總和的 3 倍多，我國依舊是全球發生煤炭事故死亡情況最嚴峻的國家。煤礦井下是一個環境多變復雜，工作環節較多，作業人員數量較多，設備龐大集中的綜合性危險系數較大的產業，每時每刻都可能出現安全隱患，容易發生安全事故。通過從大量的煤礦死亡事故統計中可以發現，80%以上的死亡事故都是由于作業人員的不安全行為所導致的。大量的數據顯示，人的違規行為會受到人因，環境，設備、組織等較多因素（如圖 1 所示）的影響，其中，井下工作人員的安全行為能力不足是引起違規行為發生的最根本原因。如果想要更好地減少煤礦事故的發生，保證煤炭產業的安全發展，就必須在當前的技術能力以及政策的情況下，從本源出發，減少違規行為的產生。

圖 1煤礦事故致因分析圖

目前現代化高產高效礦井安裝了視頻監控系統，在地面設置了調度指揮中心，采取安全管理值班人員實時盯著各重點位置，及時消除隱患。但井下點多面廣環節多，難以長時間保持警覺，調度人員不可能 24 小時實時監控，無法進行及時獲取相關隱患信息。所以，需要研制一套“超強煤礦大腦”視頻智能識別設備替代監控人員，實時發現各種事故隱患，立即進行預警和發出控制信息，避免重大事故的發生。

通過本項目的實施，將人工智能技術和計算機視覺技術有機融入煤礦安全生產各個環節，能夠減少井下作業員工違章行為數量，及時發現設備和環境事故隱患，提高煤礦安全生產的智能化管理水平，適應國家安監總局對提高煤礦自動化應用程度的要求和我國煤礦安全高效生產的發展趨勢。因此，“超強煤礦大腦”視頻智能識別設備的應用具有重要意義。

二，國內外研究現狀

縱觀國內外出現的基于視覺的圖像目標檢測識別的技術和方法，大體可歸結為兩大類，一類是傳統手動提取特征的機器學習方法，采用人工設計方法提取特征，進行訓練學習，把訓練后的特征送入分類模型，進行行為和圖像識別（如圖2所示）。特征提取算法主要有Harris、HOG、SIFT、LBP、SURF、DPM、FAST等，分類算法有 SVM 算法［33］、Adaboost 算法等。這些方法需要設計人員具有一定的設計技巧，雖然運行速度較快，但提取特征不完整、魯棒性差以及無法提取深度特征信息。

圖2 傳統行為目標檢測識別流程

另一類是基于深度學習的行為識別和圖像識別方法，常見的有基于CNN卷積神經網絡的RCNN、Fast-RCNN、Faster-RCNN以及基于回歸的單階段SDD、YOLO等方法。

所有的深度學習識別方法都是基于多層卷積神經網絡， 卷積神經網絡是一種具有深度結構的前饋人工神經網絡，對輸入信息實現非線性表征，一般CNN包含多個卷積層、池化層、全連接層，每個網絡層完成不同的任務，且每種網絡層具體層數據網絡需求確定，各網絡層相互配合完成特征提取。一般的CNN結構如圖3所示

圖3 卷積神經網絡結構

RCNN目標檢測識別方法，RCNN系列目標識別算法均是基于RCNN改進而來的，RCNN目標識別方法是首個可以應用于工業級別的解決方案。它的提出改變了目標檢測領域的主要研究思路，之后的FAST RCNN、 FASTER-RCNN等算法都沿襲了RCNN的思想。RCNN算法思路流程如圖4所示。

圖4 RCNN算法思路流程

因為RCNN系列目標檢測算法，均需要經過候選框選取與CNN特征提取兩步，所以時間復雜度高，無法實時檢測目標。有人提議能不能舍棄矩形候選框提取分支，直接基于候選框回歸從圖像中檢測出目標的類別以及位置，這時，YOLO，SSD算法出現了。

YOLO目標檢測識別方法

基于回歸的目標檢測算法中，YOLO和SSD是典型代表，將候選框選取、特征提取和分類全部在一個無分支的卷積神經網絡中完成，簡化了網絡結構并加快了檢測速度，目標檢測算法邁入了可以實時應用的時代。本小節中對YOLO算法V3版本進行介紹。

YOLO整體流程十分簡單，如圖5所示。將待檢測的圖片，縮放成448 x 448大小的圖像，將整張圖縮放后的圖像送入YOLO算法中構建的卷積神經網絡中完成特征提取、目標分類以及bounding box回歸操作。最終同時得到矩形預測框的位置以及框內目標分類的概率分布。

圖5 YOLO目標識別檢測流程圖

雖然經過YOLO算法改進，提升了識別速度和準確率，但和實際工業應用需求還是具有一定距離。尤其在煤礦監控視頻流中，使用這些方法無法在識別精度和速度上滿足要求。

基于煤礦監控視頻流進行違章行為識別、設備環境隱患識別，由于視頻流數據量較大，加上煤礦井下環境嘈雜、煤塵水霧影響、光照度低和照明亮度變化較大，成功案例較少。從基于視頻的人體行為識別研究來看，主要有傳統人體行為識別技術和基于深度學習的人體行為識別技術。

傳統行為識別算法的核心也是基于特征工程的，處理輸入視頻數據時包含基于手工構造特征進行特征提取、特征處理、特征分類三個流程。傳統行為識別算法流程如圖6 所示。傳統行為識別算法中，最具有代表性的算法就是iDT算法，它是傳統行為識別算法中識別效果最好的方法，由DT算法上改進得來。DT算法基本思路是利用光流場來獲取運動軌跡，之后沿著運動軌跡提取四種特征：HOG、 MBH、 HOG、trajectory，采集特征后進行特征編碼，再用編碼結果訓練分類器SVM用于特征分類。iDT在DT的基礎上加入相鄰兩幀的光流對比和關鍵點匹配算法SURF，在一定程度上降低了攝像機運動對行為識別結果的影響。基于視頻圖像的傳統識別算法直接使用視頻幀序列進行檢測和學習，其缺點是在環境變化較大時魯棒性較差。

基于深度學習的行為識別算法使用CNN來挖掘行為特征信息，根據算法的輸入數據格式分類，第一種為基于人體骨骼節點的行為識別，第二種為基于視頻圖像的行為識別?；谌梭w骨骼的識別算法依賴于準確的骨骼提取，且受光照這些環境因素影響較小，目前己經有kinect攝像頭等技術可以準確快速地提取人體骨架節點信息。但是這些算法需要專用的提取深度信息的專用攝像頭。

通過前面國內外研究現狀可以看出，現有方法直接用于煤礦監控視頻流智能分析和識別存在魯棒性差、算法復雜、識別準確性和速度無法滿足煤礦安全生產實際需求，但是這些方法為進一步研究煤礦視頻智能識別提供了良好的基礎。

三，“超強煤礦大腦”主要原理與關鍵技術

（1）建立煤礦安全隱患危險源數據集；

從前面分析可以看出，任何基于視頻的智能識別分析系統，離不開大量數據集的建立，針對每個需要監控識別的重要工作場所，采集大量含有安全隱患的視頻和圖像數據，進行標準，為通用模型建立提供數據基礎，并能為國內外同類研究提供相應的支撐；

（2）基于深度學習和Open pose算法，研究適合煤礦安全生產實際的違章行為、設備故障檢測識別和環境危險因素識別算法；

在之前研究的基礎上，提出適應于煤礦監控視頻的安全隱患識別算法，能夠滿足煤礦安全生產實際需求，在準確性和速度方面由于現有方法。

（3）利用煤礦安全隱患危險源數據集和煤礦安全違章行為、設備環境隱患識別算法，在工業實驗礦井訓練能夠滿足需求的識別模型；

（4）研制煤礦視頻識別統一平臺設備，集成煤礦已有海量數據，進行識別、報警和設備聯動。

四，“超強煤礦大腦”功能

隱患識別

對各種物的不安全狀態、設備的異常情況進行實時識別，比如可實現皮帶跑偏、堆煤、撕裂、皮帶上的大煤塊、錨桿的識別及報警，必要時緊急停車，可避免由于大塊煤、錨桿造成的設備損壞、堆煤等事故?？勺R別工作面支架護幫不到位、風窗風門沒有關閉、岔道紅綠燈不亮等安全隱患，并進行廣播告警。

l 人員違章違規行為識別

實現井下人員各種常見違章違規行為的視頻自動識別、圖像抓拍、聲音預警、實時自動統計分析，防止各類人員傷亡事故發生。比如違章乘坐皮帶、礦車、在軌道上行走、工作期間疲勞操作、打瞌睡、乘車時工具伸出車外，進入危險地點、在危險地點、場所行走、乘車站點擁擠等。

l 環境的不安全因素

實現巷道、工作面、掘進頭等場所變形、偏幫、冒頂、落石、地鼓等環境不安全因素的實時識別檢測，當超過規定數值時，及時記錄報警，方便相關人員及時采取措施進行維修維護。

五，“超強煤礦大腦”通過多種技術手段提高煤礦安全生產的智能化管理水平。

涉及算法：

AI神經網絡的深度學習算法、視頻結構化技術、人臉識別算法、人臉比對算法、人體識別算法、物體識別算法、活體算法、3D畫面矯正算法、移動偵測算法、圖像比對算法、物體軌跡算法、人體跟蹤算法等。

部分算法功能展示

【定義】在煤炭皮帶運輸機運送物料時皮帶跑偏，皮帶向左或向右跑偏。

【場景】煤炭落料無規律的偏向輸送帶的任意一邊，使皮帶的重力作用不均，導致皮帶兩邊的張力不同，從而造成皮帶跑偏。

【定義】當煤炭皮帶運輸機運送物料時出現超過規定煤炭的大塊，則定義為大煤塊檢測。也可以擴展檢測采用傳送帶運送的常見顆粒物（比如煤炭、砂石、糧食等）超過規定的大小。

【場景】煤炭皮帶運輸機，適用V形或梯形截面傳送帶也可以定制其它形狀的傳送帶，適用于采礦、糧倉、酒廠制造等場景

【定義】當煤炭皮帶運輸機運送物料時出現錨桿，則立即錨桿檢測預警。

【場景】煤炭皮帶運輸機，適用V形或梯形截面傳送帶也可以定制其它形狀的傳送帶，適用于采礦。

【定義】風門長時間敞開或關閉不嚴，立即預警。

【場景】風門長時間敞開或關閉不嚴，就會破壞礦井通風系統，造成風流紊亂，使有害氣體聚集，給礦井安全帶來危險隱患，瓦斯突出逆流波。煤礦風窗風門沒有關閉，可以預警，自定義設置時間。

【定義】當監控攝像機檢測到有人攜帶超長工具，超大工具乘坐猴車則定義攜帶工具預警。

【場景】礦井工人上下班時間，乘坐猴車。

【定義】警戒區域有人越位闖入，或有人越位乘車。

【場景】礦井危險禁區，或超越乘坐車的范圍。

【定義】人數達到系統設定人數，且在較短的時間內人數達到上限立即報警。

【場景】該功能主要應用于礦井有些場景需要控制人數，用于檢測關鍵點位人數。以防人數過多發生安全隱患。

【定義】當有人在值班室，坐在椅子上的活躍度極低，甚至一動不動，則有可能是在睡覺，系統定義為睡崗

【場景】值班崗位

【定義】當應該要有人值班的崗位，長時間沒有人的情況下，則定義為缺崗

【場景】值班崗位

【定義】診斷攝像機狀態是否正常、異常、離線（被遮擋，被切斷電源，被剪斷線路）

【場景】任何監控場景

【企業介紹】

微視圖靈以人工智能、物聯傳感技術為核心，利用自主知識產權的深度學習架構、機器視覺、深耕行為分析算法技術研發， 結合人臉識別、人體識別、物體識別等人工智能算法、致力于為用戶提供全球領先的人工智能產品和行業解決方案。

核心技術團隊來自中科院，清華大學，電子科技大學等知名學府。 專注于計算機視覺和深度學習，布局城市安防，打通AI在智慧司法、智慧校園、智慧養老、智慧交通、智慧醫院、智慧社區等幾大垂直場景的應用。（歡迎合作：0755-8981 5448）

［作者簡介］

王德永，教授，高級工程師。主要研究方向為礦山信息化、視頻行為識別等，先后主持或參與國家社科基金和省部級教學項目、省級自然科學科研項目 10 多項，主持項目獲河南省科技進步三等獎1項、河南省第六屆高等學校教學成果二等獎1項，主持和參與國家精品課程 1 門，省級（教指委）精品課程 5 門，省級精品資源共享課程 2 門，主編參編公開出版發行的工學結合教材開發15本；公開發表論文 23篇，其中 EI 收錄 10 篇。