目前隨著高性能計算、生命科學、地質遙感、遙感測繪、數據分析、數據挖掘、蛋白質折疊、基因工程、醫療影像等快速發展，當今社會朝著信息化發展，依托網絡信息技術和無處不在的傳感器、微處理器，每一個人、每一個部門、每一種行業都會以數據的形式被儲存，我們已經處于一個“大數據”的時代。

在大數據處理平臺的建設以及基于平臺的日志分析過程中，會遇到如下問題：

擴展性

當日志數據量達到一定限度之后，無論是日志數據存儲、分析、查詢，都會受到極大的限制，系統的橫向擴展性的能力將是系統建設的重要考量之一。

價格

系統的橫向擴展，必然會帶來軟件、硬件成本的增加，以及后期升級、維護、擴展成本的投入也是系統擴展面臨的挑戰。

性能

日志數據急劇膨脹動輒達到幾十?TB、甚至上百?TB，面對如此海量的數據， 若要進行高效?SQL?的計算、分析，為業務提供有效的指導，必須要滿足業務允許的時間要求。

平臺的易用性

數據處理平臺易用性也是系統建設的關鍵問題，能否提供一個簡單、方便為上層應用使用的平臺，或者可以將現有應用方便遷移到新建設的大數據平臺也是面臨的挑戰。平臺的易用性將直接影響到平臺的建設、應用的建設將直接影響工作成本。

在建立分析模型的過程中，需要對參數進行合理的配置組合，同時也需要隨著業務的發展不斷完善。藍海大腦通過多年的努力，成功研制出機柜冷板式、浸沒式兩種液冷散熱解決方案，具有高性能、高密度、擴展性強、低碳綠色節能等特點。液冷機柜支持4~8臺液冷服務器，每臺液冷服務器支持1~16塊 GPU顯卡，適用于深度學習訓練及推理、生命科學、醫藥研發、虛擬仿真等場景，液冷解決方案覆蓋服務器、水冷工作站、數據中心等多種產品形態。藍海大腦大數據平臺主要包括智能分析工具和數據智能開發兩部分。智能分析工具作為數據資源和應用開發的中間環節，為算法模型、知識、服務等資源的集成和管理提供支持。數據智能開發基于智能分析工具，開展大數據融合挖掘典型應用。

?

智能分析工具

智能分析工具作為連接數據資源和應用開發的紐帶，是實現時空信息服務資源、信息共享和服務統籌的基礎。面向多領域環境圖像識別、自然語言處理等人工智能開發應用需求，主要通過支撐工具集框架、模型算法開發、數據語義提取和標注、樣本數據庫制作、智能圖像識別分析算法集、綜合檢索服務、智能推薦工具集、自然語言處理分析工具集，完成智能分析服務、工具集、算法集、模型集的構建，為信息融合和應用開發提供平臺工具支持，形成智能分析處理開發和應用服務。
?

智能分析工具建設具體包括以下內容:

智能分析框架

采用微服務架構，支持常用的模型計算框架。通過模型管理、模型部署、模型二次開發、模型評估、通用算法和自定義算法等功能模塊，形成一個靈活性強、可靠性高、兼容性好、響應能力快的智能模型服務支撐框架。

算法開發

采用互聯網通用的大數據挖掘、建模和預測技術。通過構建模型算法開發工具、資源組件拼接、參數配置和優化、模型算法迭代學習和通用分析算法集五大功能模塊，形成大數據計算分析模型的一站式構建、共享、訓練、部署和監控，實現各級人員快速自主的大數據計算分析目的。

樣本制作與管理

根據典型特征識別、重點目標識別和綜合檢索模型學習對大量樣本標注輸入的需求，通過樣本制作與管理、典型特征識別與變化檢測的樣本庫、重點目標識別與變化監測的樣本庫、語料標注樣本庫提供樣本標注工具，從而形成對多源異構樣本的有效組織、管理和維護，解決典型特征識別、重點目標識別和綜合檢索模型學習的樣本缺乏和制作時間長的問題。

智能圖像識別分析

采用智能圖像處理技術和機器學習方法。通過典型地物智能提取與變化檢測、重點目標智能提取與變化檢測、專題圖制備、多源DSM通用提取與檢測四種分析算法，形成典型地物自動提取與變化監測能力，解決了人工提取典型地物與變化監測工作量大、時間長的問題。

自然語言處理與分析

為環境、測繪、氣象、導航、地理、地質等領域的數據提供快速、準確、大規模、自動化的自然語言處理工具。通過句子語義理解模塊、信息分類聚類模塊、關鍵詞觀點提取模塊和實體專業領域識別模塊。

綜合檢索

采用智能全文檢索技術，提供時空大數據索引庫、時空大數據關聯詞庫、智能綜合檢索工具、空間數據全局搜索引擎和智能問答，形成時空大數據綜合檢索能力。

智能推薦

采用成熟推薦技術的發展和應用成果，分析研究不同用戶的興趣、愛好和行為，利用智能推薦算法進行時空數據的智能推薦，提高時空數據的精準、主動智能服務功能，解決快速增長的時空數據利用率低、時效性差的問題。

知識圖譜構建

采用自然語言處理、機器學習、深度學習、關系網絡分析、圖計算等技術?；谧匀徽Z言處理等支撐工具，構建時空大數據知識圖譜平臺。通過模型構建、知識提取、知識融合、知識推理等過程。支持典型領域和方向的時空大數據知識圖譜構建，支持時空大數據智能推薦等應用。

數據智能

數據智能開發面向數據和人工智能的應用保障需求?；诮y一的數據服務和工具集，構建大數據智能開發框架，開發重點目標智能識別與監測分析、典型特征智能提取與融合、基于大數據的時空環境分析、時空環境知識圖譜等四大數據融合挖掘典型應用，豐富和提升成果數據，實現時空環境大數據服務體系能力形成，為大數據服務體系智能數據輸出提供前端應用接口，提供建設中的網絡信息。

數據智能開發建設內容包含以下內容：

數據智能開發框架

采用基于微服務的架構設計，支持使用統一的數據支持工具，為桌面端和Web數據應用開發提供統一支持。

重點目標智能識別、監控和分析子系統

采用大數據、人工智能、機器學習等技術。并基于多源時空數據和大數服務系統的支撐工具集和數據開發框架，通過對重點目標的智能識別定位、重點目標的監控分析、目標的立體觀測，形成對重點目標的快速識別定位、廣域全時監控和立體監控的能力，達到全面了解目標的能力。判斷目標的潛力及時發現和查明預警信息，準確分析時空環境，實時掌握時空態勢，從而達到準確高效保障時空環境的目的。

典型地物智能提取與融合子系統

采用深度學習技術。通過樣本數據庫制作和模型算法研發，構建典型地物智能提取與融合應用子系統，形成典型地物識別與監測、專題數據制作等能力?？山鉀Q地面地物識別慢、自動化程度低、智能動態監測程度低、響應不及時等問題，為復雜行動提供多種專題數據和基于多因素的綜合分析評估。

基于大數據的時空環境分析子系統

以機器學習自動獲取遙感信息、多光譜遙感影像等關鍵技術為基礎，構建了時空環境現狀數據準備、環境態勢時空演變分析與預測等典型應用場景模塊。

時空知識圖譜構建子系統

采用自然語言處理、機器學習、深度學習、關系網絡分析、圖計算等技術。通過只是提取、數據語義提取和標注、本體庫構建地圖表達等流程，實現空間數據與文本、圖片、互聯網信息等非空間數據的關聯、交流和可視化表達，構建典型目標知識圖譜，為其他應用系統提供聯合分析能力，解決數據利用率低、關聯分析弱的問題。

?

藍海大腦大數據平臺硬件搭建

藍海大腦深度學習大數據平臺是由藍海大腦推出的一款面向多源空間數據生產的數據處理平臺，該平臺集成存儲、計算和數據處理軟件，旨在為大數據時代的行業用戶提供一個低成本的數據處理平臺，利用其高效、易操作、低成本、多層次擴展和快速部署等顯著優勢，在測繪、農業、林業、水利、環保等領域提升用戶圖像處理能力，減少投資成本，高效應對大數據挑戰，促成業務突破和轉型。

主要技術指標

可 靠 性：平均故障間隔時間MTBF≥15000 h

工作溫度：5～40 ℃

工作濕度：35 %～80 %

存儲溫度：－40～55 ℃

存儲濕度：20 %～90 %

聲? ? ? ?噪：≤35dB

產品特點：

基于統一的整體架構，采用先進成熟可靠的技術與軟硬件平臺，保證基礎數據平臺易擴展、易升級、易操作、易維護等特性?；跇I界熱門，且領先的 Spark 技術，極速提高平臺的整體計算性能。

隨著新的業務需求的不斷產生，支持基礎數據模型、應用分析模型、前端應用的擴展性；支持在統一系統架構中服務器、存儲、I/O 設備等的可擴展性。?

制定并實施基礎數據平臺高可用性方案、運行管理監控制度、運行維護制度、故障處理預案等，保證系統在多用戶、多節點等復雜環境下的可靠性。?

高效性包含兩方面內容，一方面系統需要在規定時間內完成數據寫入操作，并將數據寫入對數據分析的影響降到最低；另一方面系統需要實現規劃要求的數據查詢和統計分析速度。

數據質量貫穿基礎數據平臺系統建設的每個環節，基礎數據平臺系統通過合理的數據質量管理解決方案保證數據質量。?

具有超強影像處理能力，每天（24小時）可處理多達500景對（全色和多光譜）高分一號影像數據；

廣泛適用于基礎測繪、農業、林業、水利、環保等領域，適合常規模式下測繪產品生產和應急模式下快速影像圖生成。

針對大數據原始技術存在的問題，藍海大腦大數據平臺從企業應用角度出發，對 Apache Hadoop 進行了系列技術開發，形成了適應企業級應用的一站式大數據平臺——藍海大腦，從而使這一理論框架更能滿足各類企業用戶的要求：

超大數據的分布式存儲、流數據實時計算要求

滿足大數據的高并發、低延遲查詢請求

分布式應用系統異常故障時，業務切換

系統線性擴展時，無需增加開發工作，實現無成本擴展

有良好的人機接口靈活多樣的展現方式，需要對最終用戶提供適當的培訓就可以方便地使用新的分析工具，從而減少 IT 人員的工作量，同時加強了集群監管的時效性。

系統要有統一的管理平臺, 管理基礎數據平臺系統的各個環節，能對系統進行相應的性能管理和日志監控。?

按國家標準、行業標準、安全規范等實現數據安全管理。?