軟件提供商Elastic舉辦了Elastic 中國開發者大會2016,吸引業界超過350名技術專家到來交流,當中包括來自蘇寧、百度、奇虎360、大眾點評、斗魚、趨勢科技、折800、58到家、瀚思安信的技術專家。
這個首次由Elastic在中國舉辦的開發者大會主要圍繞 Elastic 的開源產品: Elasticsearch、Logstash、Kibana和 Beats,探討在搜索、數據實時分析、日志分析、安全等領域的實踐與應用。基于開源的Elastic Stack已于全球獲得超過7,500萬次的累積下載,當中客戶包括聯想、華為等有名企業。
大會上,首先由Elastic的工程師介紹Elastic Stack的演變過程,以及最新的Elastic Stack 5.0的功能。來自各大企業的專家也分享了他們在不同領域作為用戶的經驗回饋。
蘇寧利用Kibana和Elastic Stack搭建云跡實時日志分析產品,提供應用、web、防火墻、中間件等日志的實時檢索、統計分析、告警,為蘇寧1000+系統提供日志的實時檢索分析服務。蘇寧監控研發中心技術副總監彭燕卿先生表示:「實時分析日志是程序員定位問題非常重要的環節,Elastic Stack對提升日志的安全性及效率致關重要。」
此外,Elastic Stack在電子銀行的安全應用亦非常奏效。隨著手持設備的不斷普及,越來越多人在日常生活中選擇使用便利的電子銀行,黑客亦如此,總是緊盯這塊蛋糕。以“數據驅動安全”為愿景,致力于利用大數據幫助企業解決龐雜、分立的信息安全問題的為名的瀚思(Hansight), 其技術總監李學輝先生表示:「不管哪家銀行,只要在做網上銀行系統,就得面對每天來自世界各地的惡意訪問,雖然金融體系有很完善的安全管控機制,但總會有一些惡意的訪問成功登入系統,并且其中一些造成儲戶損失。銀行可利用Elastic Stack通過大數據分析的途徑來發現潛在的惡意訪問,從而進一步采取行動,避免不必要的損失。」
Elasticsearch在移動病毒偵測領域亦非常有用。目前移動應用越來越普及,與此同時,大量惡意程式散布于互聯網之中,企業需要構建一個病毒分析和檢測的平臺對大量樣本進行分析和檢測來保護終端用戶以免受病毒的侵擾。趨勢科技高級研發工程師李嘯先生說:「我們利用Elasticsearch分析移動病毒的特征,并設計基于elasticsearch的病毒特征庫,寫下特定指令來監控和檢測病毒。」
Elasticsearch同時亦加快SparkSQL的查詢速度。 SparkSQL對查詢的SQL,需要掃描全部的數據,然后獲取滿足查詢條件的記錄。如果在海量的數據中,命中的記錄個數比較小,查詢的時間主要在讀取數據。奇虎360李振煒先生指出:「奇虎360對于每一個SQL查詢,提取出索引字段的查詢條件,然后通過Elasticsearch得到滿足條件的記錄的路徑,Spark直接讀取記錄,實現了海量數據的查詢,秒級響應。」
談到搜索服務,斗魚大數據工程師白凡先生亦和議道:「我們在斗魚主站、魚吧、點播系統、移動端等搜索項目中均應用了Elasticsearch,已成為公司的核心服務。」
最后,百度大數據部高級工程師高攀先生也分享其公司如果利用Elasticsearch增加權限管理系統、支持跨機房數據同步、支持多租戶資源隔離和解決數據一致性問題。
總括而言,出席這次開發者大會的技術人才也認為開源為業界趨勢,而ElasticStack亦為一個在不同領域應用很不錯的選擇。值得討論的是,單靠開源軟件是否足夠,還是需要一些配套以發揮開源軟件的所有潛能。
用戶評論(0)