來源：黑科技數據

概要：從微觀視角細分領域分析大數據行業。

今天帶大家從微觀視角細分領域分析大數據行業。

“大數據分析、可視化及BI領域

雖然這三個領域在功能及應用范圍上各有千秋，但實質上可以說是相輔相成：通過大數據的基礎分析工具，研究人員可以獲得數據內部的邏輯及結果表現，但通常這些結果過于復雜并缺乏合理的表達形式，使數據科學家及企業的管理者無法快速領會并對經營活動進行調整。

因此大數據的可視化方案應運而生，多數可視化方案都作為數據分析工具的延伸而存在，但也有少部分公司另辟蹊徑，采用非傳統方式將數據的可視化更加貼近需求。BI則是大數據分析和可視化與業務場景的結合，作為企業內部管理工具，使企業的價值有了極大的增長，成為了大數據應用領域重要的一環。

大數據分析領域，在朝向易用、簡單化發展

大部分大數據分析企業的現狀，可以說是將數據的分析、可視化及數據的采集、治理、集成進行了一體化，以大數據的分析平臺形式存在。例如Fractal Analytics除了具備數據分析功能外，還提供自動化數據清理及驗證服務，能夠返回標準化的結構化數據; Voyager Labs則能夠實時采集、分析遍布世界各地的數十億個數據點，幫助用戶進行預測。

上述典型公司主要面向大型企業進行定制化全流程服務，客單價有時高達千萬美元級別，例如Fractal Analytics的客戶就包括飛利浦、金佰利等大型公司，其高昂的價格及服務令小型企業望塵莫及。

但隨著大數據技術的逐漸普及，SaaS化的大數據分析服務將是一個明確的發展方向，而其使用門檻也將大幅降低，從而將大數據分析的能力逐步賦予給中小企業，以真正的實現其基礎資源的價值。同時確保企業數據安全的數據脫敏、數據保護市場也會隨著SaaS化的到來而逐步拓展出新的市場空間。

目前大數據技術簡化、低成本、易用的趨勢已經在部分公司的產品策略上有所體現，例如大數據分析公司Domino的產品讓數據科學家只需專注于自己的分析工作，而不用關注軟硬件基礎設施的建立及維護，Datameer更進一步開發出的產品屏蔽了復雜的大數據分析底層技術，通過類似電子表格的可視化數據分析用戶界面，讓企業的員工能夠快速上手使用，RapidMiner Studio可零代碼操作客戶端，實現機器學習、數據挖掘、文本挖掘、預測性分析等功能。

在大數據分析能力普及的同時，提升數據分析性能、優化數據分析結果的技術研發也在快速進展中。例如SigOpt通過自主開發的貝葉斯優化(Bayesian Optimization)算法來調整模型的參數，獲得了比常見的網格搜索(grid searching technique)解決方案更快、更穩定、更易于使用的結果，目前SigOpt 的產品不僅可以讓用戶測試不同變量，還能夠提供下一步的測試建議，以幫助用戶持續優化改善數據分析結果。

令人感到欣喜的是，在大數據分析領域還存在著一些顛覆了傳統數據分析理論，采用獨特方式方法進行數據分析的公司。這類公司的技術對傳統數據分析方法進行了很好的補充，在特定領域有著成功的應用。

這類公司中的典型之一是由三位全球頂尖的數學家創立的Ayasdi，它利用拓撲數據分析技術和上百種機器學習的算法來處理復雜的數據集，不僅可以有效地捕捉高維數據空間的拓撲信息，而且擅長發現一些用傳統方法無法發現的小分類，這種方法目前在基因與癌癥研究領域大顯身手，例如一位醫生利用Ayasdi的數據分析技術發現了乳腺癌的14個變種，如今Ayasdi已經在金融服務和醫療保健行業中獲得了相當數量的客戶。

可視化技術，逐步實現了自動化、智能化

大數據可視化是連接數據分析結果與人腦的最好途徑，因此可視化技術的高低也成為了左右大數據企業獲客能力的重要因素。目前可視化的發展方向同大數據分析一致，都是朝著簡單、自動化、智能的方向在努力。

典型企業如Alteryx是一個提供一站式數據分析平臺的初創公司，旨在讓用戶在同一個平臺上完成數據輸入、建模以及數據圖形化等操作，將數據運算與精美的圖像完美地嫁接在一起，并能夠和SAS和R語言一樣進行數據的統計和分析。

通過可視化幫助用戶實現真正的管理能力提升也是重要的功能之一，德國大數據公司Celonis通過流程挖掘技術，從日常記錄中提取數據、發現關鍵因素，并最終揭示公司在業務中的執行情況，能夠幫助客戶公司提高30%的工作效率。

發展到如今，可視化技術已經不局限于傳統的分析結果展示，而是能夠直接轉換文本、圖片等非結構化的數據并直觀展現，例如Quid利用機器智能讀取大量文本，然后將該數據轉換為交互式視覺地圖，以節約過去通常會耗費在閱讀檢索中的大量時間。Origami幫助營銷人員將CRM、社交媒體、郵件營銷和調查報告等跨平臺的數據整合并進行有效分析，使其簡單化、直觀化、視覺化，人人都能夠高效實用。

同時數據分析及可視化對硬件應用的革新也在進行中，開發GPU關系數據庫服務的Kinetica獲得了5000萬美元A輪融資，采用同一技術路線的MapD也已經能夠做到比傳統計算內核快100倍的速度對大數據進行查詢與可視化。

BI技術擺脫"雞肋",實時便捷普惠政企效率提升

BI技術的發展已經有了較長的歷史，但由于技術因素此前一直被限制于企業內部采集與應用，實際發揮的效果有限并且使用率不高。如今在數據采集與應用范圍普及與大數據分析、可視化技術的推動下，通過數據儀表板、智能決策等方式提升企業運營效率利器的BI再次獲得了資本市場的青睞，Tableau作為BI的代表性企業已經順利IPO目前市值超過48億美元，另一家代表性企業DOMO估值也達到20億美元，成長速度遠超傳統商業軟件公司。

相比于可視化技術，BI更偏重于實際的應用，通過模板化、SaaS化及去代碼等方式，BI應用范圍不再局限于數據科學家及企業高管，可預見未來企業內部每個員工都可以通過BI工具獲知自己及所處部門的各項數據，并能夠有針對性的改進工作方式與方向。

已經累計融資1.77億美元的Looker令用戶能夠使用自然語言進行查詢，降低了查詢大型數據集的門檻;GoodData為企業提供大數據分析SaaS服務，其所有的數據分析服務實現了100%云化，企業可以將公司已有數據導入GoodData的云平臺，再對數據做跟蹤、切分、可視化、分析等處理。

BI領域一個有意思的應用案例是Qlik公司的產品受到了中國海關總署的高度贊揚。海關總署每天都需要進行龐大的數據分析， Qlik則通過圖形化數據展示，使海關管理人員不再受平臺和時間的限制，能夠多視角長跨度的分析，實現了對于現有海量數據的業務的快速展示，極大地促進了稽查效果。

“企業大數據檢索、產品大數據分析、大數據咨詢預測、大數據平臺及機器學習領域

企業大數據檢索能夠充分挖掘并釋放企業數據的潛力;產品的大數據分析使用戶行為成為了產品設計與運營環節的重要參考因素;大數據技術與咨詢業務的結合則對咨詢行業形成了很大的影響，數據技術導向的咨詢業務將極有可能成為未來行業的主流選擇;大數據服務支撐平臺類企業則為大數據技術的普及和實用化做了很大的貢獻，是大數據技術生態中不可或缺的一環;最后是機器學習，作為大數據分析的底層技術方法也逐漸開始得到廣泛應用。

首先將企業大數據檢索、產品大數據分析、大數據咨詢預測、大數據平臺和機器學習這五個領域的典型企業列舉如下，接下來將分版塊進行詳細介紹。

企業大數據檢索

移動互聯網的普及與SaaS服務的興起令企業沉淀的數據量呈指數級上升，但目前對企業數據價值的挖掘僅僅停留在較淺層面，真正的大數據分析能力還尚未應用。因此如何做好企業內部數據信息價值的發掘成為了關鍵的第一步。

提升企業數據挖掘檢索能力，并將檢索的技術門檻降低的典型企業有Algolia，目前其產品具備關鍵字輸入智能容錯功能，并提供搜索排名配置，能夠讓普通員工也能按需要找到自己所需的數據信息。同時Algolia還為移動設備提供了離線搜索引擎，其C++ SDK可以嵌入到應用服務器端，這樣即便沒有網絡連接應用也能提供搜索功能，適用范圍很廣。

而在SaaS化服務興起的同時，企業采用多種軟件導致內部數據不聯通而形成了數據孤島。根據互聯網女皇Mary Meeker的分析，不同行業的公司平均使用SaaS服務的數量從最低25個至高達91個，需要跨平臺數據檢索分析服務。Maana開發的數據搜索和發現平臺Maana Knowledge Graph，其長處便是收集來自多個系統或者”孤島”的數據，并將其轉換為運營建議，可廣泛應用于多個行業。

產品大數據分析

產品大數據分析相對其他應用來說關注度稍低，但其能夠發揮的功能并不少。通過收集用戶的瀏覽、點擊、購買等行為，不單從宏觀上能夠察覺用戶群體的喜好變化提前應對，微觀上還能夠構建用戶畫像，從而做到定制的產品推薦與營銷，能夠有效的提升用戶的消費水平與滿意程度。

Mixpanel便是一家提供類似產品的公司，其讓企業用戶跟蹤用戶的使用習慣提供實時分析，其產品有用戶動態分析(Trends)、行為漏斗模型(Funnels)、用戶活躍度(Cohorts)及單用戶行為分析(People)等幾個模塊，全面的覆蓋了可能發生的用戶行為與場景。

大數據咨詢預測

如今大數據技術的發展為事件分析和預測提供了可能，并且準確度和處理速度已經具備了很大競爭力，傳統咨詢公司的處境類似于現在面對AI威脅的華爾街分析師，或許不久之后就將會被替代。因此隨著逐漸出現大數據咨詢公司的同時，傳統咨詢企業也紛紛與大數據技術公司合作，甚至成立了自己的數據業務部門。

Opera Solutions便是一家依托大數據分析的咨詢公司，其創始人是咨詢行業資深人士，曾創辦了商業咨詢公司Mitchell Madison和Zeborg。

目前Opera致力于金融領域的數據分析類咨詢，通過建模、定量分析給客戶提供建議，解決客戶的商業問題。例如其計算機系統可以一次性采集數十億條數據，包含從房產和汽車價格到經紀賬戶和供應鏈的實時數據等，通過分析從中獲得有關消費者、市場和整個經濟體系將如何行動的信號或見解。其客戶包含了咨詢機構及花旗銀行等公司，最近還為摩根士丹利提供了幫助經紀人團隊給其客戶提供投資建議的業務。

新技術、機器學習與咨詢預測行業的結合，相比于僅使用大數據分析技術能夠獲得更好的效果，也成為了行業內的一個小熱點。例如基于社會物理學原理的Endor能夠依托少量數據生成統一的人類行為數據集，并比傳統海量數據分析方式更早的做出模式識別與判斷。在甄別facebook上受ISIS控制的賬號的實驗中，根據已知少量ISIS賬號特性，Endor高效分辨出了新的ISIS疑似賬號并且準確度令人滿意。

大數據服務支撐平臺

目前圍繞著大數據技術與大數據產業生態鏈發展的，還有許多是平臺服務型的公司，這類公司具備一定的技術水平，但主要通過服務大數據技術公司及科研人員而存在，是技術生態中不可或缺的一環。

Dataiku創建了一個云平臺，旨在使數據科學家和普通員工更容易獲得公司收集的大數據，并通過機器學習庫縮短了專家以及數據分析師所需要的時間。

Algorithmia的平臺上提供包括機器學習、語義分析、文本分析等通用性算法，一旦用戶找到想用的算法，只需添加幾行簡單的算法查詢代碼到應用中，Algorithmia的服務器就會與應用連接，避免了開發者的重復勞動。

目前部分向開發者社區業務發展過渡的平臺型企業，因其資源已經得到行業巨頭的青睞，被Google收購的Kaggle便是一例，通過舉辦數據科學周邊的線上競賽，Kaggle吸引了大量數據科學家、機器學習開發者的參與，為各類現實中的商業難題尋找基于數據的算法解決方案。同時Kaggle為其社區提供了一整套服務，包括知名的招聘服務以及代碼分享工具Kernels。

機器學習

機器學習，是模式識別、統計學習、數據挖掘的技術手段，也是計算機視覺、語音識別、自然語言處理等領域的底層技術，在附件的介紹中大家可以看到，微軟Azure、Google云平臺及AWS都推出了自己的機器學習產品，而眾多的機器學習創業公司則通過提供有特色的技術或服務進行差異化競爭。

已累計獲得了7900萬美元融資的Attivio專注于利用機器學習技術通過文本進行情緒分析，提供有監督的機器學習與無監督機器學習兩種技術，幫助企業通過識別企業語料庫中的文檔進行情緒建模與分析。思科通過Attivio的智能系統令銷售人員能夠在與客戶合作時依據對方的情緒、消費能力等數據推薦合適產品，從而節省了數百萬的銷售運營費用，同時節約了銷售團隊15-25%的時間。

DataRobot的業務是搜索了數百萬種可能的算法組合，并進行預處理、特征計算、轉換和調整參數，為用戶的數據集和預測目標提供最佳模型，使用戶無需數據科學專業背景也能在幾分鐘內構建優秀模型，例如銀行利用Datarobot能夠自動構建非常準確的預測模型，識別欺詐性金融交易從而避免損失。