摘要:
從海量的裝備試驗數據中,利用大數據挖掘思想建立裝備大數據分析處理與智能信息服務,是開展裝備數據工程建設的關鍵技術之一。分析了裝備試驗數據的特點,結合大數據處理分析思想,提出了一種裝備大數據模型,以海軍裝備試驗為例,進一步分析了模型的特點,為裝備數據工程的建設提供了一種技術路線參考。
0
引言
在裝備試驗工作過程中,積累了大量的歷史數據資源,真實記錄了裝備試驗、訓練、演練的第一手資料數據,隨著數據采集手段的不斷拓展和綜合試驗演練類任務的深入推進,試驗數據積累量將呈指數級增長。
這些數據資源是反映裝備性能、可靠性,評價裝備體系能力水平,研究裝備發展路徑的重要依據。但是,由于建設初期信息技術尚不發達,受網絡、計算、存儲及數據處理技術等因素限制,早期缺乏統一的系統規劃設計,目前大量武器裝備試驗數據分散存儲在不同試驗終端,缺乏統一管理和分析應用機制,大量隱含在數據中的有價值信息沒有得到有效地挖掘與開發[1-2]。
在信息技術領域,大數據平臺技術生態鏈取得了飛速發展,出現了Hadoop、HBase、Storm、Spark等眾多的開源的大數據分布式存儲、并行計算處理框架。大數據計算技術解決了海量數據的收集、存儲、計算、分析的問題。大數據技術已經在醫療、金融、交通、教育、環保、輿情監管等眾多民用領域取得了實際應用,驅動了相關領域的業務模式的創新發展,取得了良好的經濟社會效益。在軍事裝備領域,航天、風洞等領域試驗數據得到了一定應用,但其本質還停留在傳統的數據挖據領域,尚未形成對大數據技術的應用成果。
本文結合裝備試驗數據管理需求,研究提出了一種基于裝備試驗大數據的裝備大數據模型,該模型可以指導如何抽取利用裝備試驗的歷史資料數據,利用大數據處理技術挖掘建立裝備決策分析模型知識庫,并基于知識庫提供裝備管理智能化決策支持服務,從而提高裝備數據資源的處理分析利用率,將數據資源轉化為智能化的決策分析服務。
1
裝備試驗數據的特點
裝備試驗數據一般涵蓋裝備試驗過程中產生的所有數據,長期以來,試驗部門積累了PB級的歷史試驗數據資源,包括紙質報告、電子文檔、膠片、電子照片、音視頻數據、雷測數據、遙測數據等,分散在不同的試驗終端單位,缺乏統一的數據組織與管理規范平臺。這些試驗數據資料具有以下特點:
(1)試驗數據種類繁多。隨著裝備試驗范圍的拓展,試驗數據包括的范圍也越來越廣,在試驗大類方面包括:各型裝備的性能試驗數據,作戰試驗相關的裝備能力效能評估數據,裝備體系推演數據等;針對單項試驗則包括:裝備、氣象、地理水文環境、人員保障、業務流程等數據。
(2)資料數據的形式多樣化,結構化的數據庫數據,又有非結構化的文本、圖像、影像資料,還有半結構化的資料數據;此外,還存在海量的未數字化文檔等。
(3)潛在價值高,價值相對穩定。與商業數據不同,隨著時間的的推移,歷史數據細節不再重要,武器裝備試驗數據對于裝備全壽命管理周期有效期很長,可以長達十幾年,數據價值隨時間變化不敏感。
(4)數據不斷增長。隨著后期體系級裝備試驗和貼近實戰的裝備作戰試驗的深入展開,試驗數據資源量將承指數級迅猛發展。將有越來越多的試驗數據需要管理、分析和利用,傳統的數據倉庫方式的數據中心方案將很難滿足未來發展的需要,需要建立分布式的基于大數據的數據中心平臺。
2
裝備試驗數據的管理需求分析
對裝備試驗數據的管理需求主要包括以下4個方面:
(1)數據建模需求:當前海量的試驗數據資源的價值處于沉睡狀態,由于其底數不清,格式各異,尚不能對其進行較為深入地應用分析,因此對海量試驗數據資源進行建模,形成有效的管理、治理手段是當前需要解決的首要問題。
(2)試驗任務評估需求:基于試驗任務的試驗數據,可以評估本次試驗任務的實際效果;基于同類裝備的歷次試驗任務,可以進行裝備的技術發展演化畫像分析,輔助進行裝備技術改進點的挖掘分析決策。
(3)多裝備體系化試驗評估需求:通過對裝備、環境、保障、任務協同等多專業類別的融合挖掘,基于試驗數據形成可視化的試驗進程態勢,輔助進行體系效能的綜合評估。
(4)裝備健康管理需求:基于裝備試驗數據建立裝備的健康管理模型,基于模型可以預測裝備的剩余壽命,根據裝備實際狀態制訂精準的按需的維護保障計劃。
3
裝備試驗大數據數據模型—ETBDIS
裝備試驗大數據的根本目標是為裝備試驗活動提供智能信息服務和管理決策,并能夠為后期裝備使用、裝備維護保障和裝備技術發展提供支撐,所以裝備試驗大數據模型首先需要考慮數據平臺的服務內容,具體包括:裝備畫像,裝備建模,裝備健康管理,裝備體系化評估等。例如:如圖1所示,通過裝備大數據進行裝備畫像,可以對裝備的質量、性能、適用的環境、維護保障、健康狀況與剩余壽命、技術發展過程等進行定量定性的分析。
本文面向裝備試驗數據建設的根本目標,構建設計了一個裝備試驗大數據模型ETBDIS(Equipment Test Big Data Intelligent Service)。
3.1
ETBDIS模型
ETBDIS模型包括試驗數據層、數據預處理層、數據資源體系層、大數據知識挖掘層、裝備智能服務層等(如圖2所示),各層的主要功能如下。
試驗數據層。試驗數據按照資料數據的類型主要分為文本、圖像、測試測量數據等。
數據預處理層。根據數據類型選擇相應的數據預處理方法,比如文本類數據,可以進行實體提取、摘要提取、關鍵詞提取等處理,提取出其中的裝備、質量、性能、專業技術、事件等實體數據,以便后續進行實體關聯、事件關聯挖掘分析使用;測試測量數據則需要相應的專用數據處理軟件,對數據進行初步的分析和預處理。
數據資源體系層。對原始數據經過相應預處理后,得到經過分類、標注的結構化數據,進而構成可以處理分析利用的裝備大數據資源。包括:裝備的質量、性能、環境、技術等維度的數據主題,基于這些結構化的數據資源可以通過大數據挖掘、機器學習等方法提取相應的裝備知識庫。
大數據知識挖掘層。對于裝備數據資源中的數據主題,可以通過相應的機器學習方法進行動力學模型建模、分類規則挖掘、模式挖掘、特征提取、多實體關系知識挖掘等處理,從數據中學習建立關于裝備的各類知識庫。
裝備智能服務層。基于數據挖掘構建的裝備知識庫,可以提供相應的基于裝備試驗大數據的智能信息服務。如:裝備畫像,裝備健康管理決策,裝備試驗任務評估,不同環境體系下的裝備試驗仿真推演態勢分析等。
3.2
基于ETBDIS的海軍裝備試驗數據管理特點分析
結合海軍裝備試驗業務實際,ETBDIS模型的主要特點如下:
(1)模型采用分層的架構,可以通過標準規范接口,實現系統內的不同層間的數據通信;各層內是模塊化結構,可以采用微服務的方式,進行靈活的層內模塊集成。對于海軍裝備試驗數據而言,首先是通過對試驗文書資料、攝錄像等圖像資料和測量測試等數據資料完成對試驗數據的統一管理,測試測量數據根據試驗項目的不同可能用到不同的采集分析工具,數據解碼方式也不盡相同,為此形成對試驗數據的分布采集框架。
(2)服務驅動。面向裝備大數據智能信息服務需求。由于海軍裝備試驗數據涉及裝備門類多,在數據層基礎上通過預處理形成統一的試驗數據體系,形成各類型主題庫,建立試驗數據間的基礎關系,進而達到服務于裝備畫像、裝備試驗評估、裝備健康管理、不同環境體系下裝備的試驗評估等裝備管理,既保障了數據中心的根本建設目標,又較好低保障了數據采集處理的必要性。
(3)開放的架構。裝備試驗數據涉及多個利益相關方,既包括各組織裝備試驗的實體部門也包括裝備論證、研制、使用方,因此,各參試單位需按照數據標準、接口標準,在平臺上實現各自專業領域的數據的存儲,管理、服務,采用開放的基礎架構,實現按專業的合理分工和統一的平臺上實現大數據融合處理分析。
(4)數據深度融合處理。裝備試驗涉及海量圖片、文檔等海量非結構化處理的處理。例如在海軍裝備試驗過程中涉及各類試驗相關會議文檔、試驗音視頻等,進而建立了質量、性能、保障維護、技術發展等多維度的數據資源,從而達到可以利用機器學習、數據挖掘等知識庫構構建過程,提高了數據處理深度的目的。
4
結論
裝備試驗工作積累了大量的裝備相關的資料數據,本文以整合各單位的試驗資料數據,建立裝備試驗數據資源體系,提供裝備數據智能信息服務為目標,研究給出了一個裝備試驗大數據模型。該模型具有分層開放的架構,各參試單位可以按照該模型在統一的平臺上,進行試驗數據的采集處理分析,實現跨部門多專業數據的融合,利用裝備數據資源平臺,進行相應的知識構建與智能信息服務,并以海軍裝備試驗數據管理為例分析了模型的主要特點,進一步展示了模型的可用性。在未來研究中,將選幾個典型裝備進行模型平臺的分步構建示范應用。
-
數據采集
+關注
關注
38文章
6053瀏覽量
113622 -
大數據
+關注
關注
64文章
8882瀏覽量
137397
原文標題:【學術論文】面向試驗數據的裝備大數據模型
文章出處:【微信號:ChinaAET,微信公眾號:電子技術應用ChinaAET】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論