運營商構建大數據能力的實踐探索
大小：0.07 MB 人氣： 2017-10-13 需要積分：1
標簽：大數據(136231)
2015年12月10-12日，由中國計算機學會（CCF）主辦，CCF大數據專家委員會承辦，中國科學院計算技術研究所、北京中科天璣科技有限公司與CSDN共同協辦，以“數據安全、深度分析、行業應用”為主題的 2015中國大數據技術大會 （Big Data Technology Conference 2015，BDTC 2015）在北京新云南皇冠假日酒店盛大開幕。2015中國大數據技術大會首日全體會議中，中國移動蘇州研發中心總經理助理兼CTO孫少陵在主題演講中表示傳統企業在大數據轉型過程中，通常要經歷BI升級為大數據平臺、組織架構轉型和內部數據整合、主動數據采集三個階段，目前中國移動已完成第一階段，第二階段已開展，第三階段已初露萌芽。
中國移動蘇州研發中心總經理助理兼CTO 孫少陵
他結合實踐案例，分享了中國移動在大數據領域的探索成果并總結了運營商大數據系統設計思路：
集中化的數據管理。全網數據跨省、跨地域數據的高效存儲和統一管理。多樣化的服務模式。與應用解耦，提供靈活的數據服務。精細化的資源管理。實現多租戶支持，最大程度地提高資源使用效率。高效的任務調度。同一平臺高效提供多種類型應用的支持。
以下為演講實錄
孫少陵：大家下午好！今天大家話題的氣氛都是比較積極向上的，大數據現在這么熱，為什么會有冷思考？在目前互聯網尤其移動互聯網的條件之下，我們中國移動現在也算是個傳統行業，傳統行業在發展大數據轉型過程中面臨確實有很多困惑，所有的公司都認為中國移動是個富有數據的公司。
在大數據這個時代，對中國移動給予了非常高的期待，但我們在運作的時候，不管是內部應用，還是在外部變現，現在都遇到很多困惑的問題。其實也是借這么個機會，希望能夠拋磚引玉，大家一起共同思考。
我的演講分兩個部分，第一是傳統行業在大數據時代轉型方面的思考，第二是中國移動在大數據方面的實踐和探索。
傳統行業在大數據的思考
大數據現在繼續成為行業熱點，不管從國家政策方面，還是從產業發展的角度，都對大數據抱有非常高的期望。大家從今天上午發布的十大熱點能夠看得出來，
大數據處于上升的階段。今年有個變化，在Gartner新技術炒作曲線里面發現沒有大數據了，這個我跟Gartner探討過，Gartner并不是說在新技術里面大數據已經不重要了，是大數據變得更寬泛，這個東西已經慢慢嵌入到各行各業各類應用，所以今年專門有個大數據自身的炒作曲線，比如有大數據的安全和隱私的炒作曲線，所以并不是說大數據已經變得不那么熱了，而是說它更熱了，現在很多分報告去探討大數據在各行各業各領域的應用，包括供應鏈、物聯網、金融、醫療等。像麥肯錫等對大數據提出了很高的預期，包括未來它在各行業中的產值，以及未來人才需求方面。
在大數據時代我們實現轉型，面臨很多問題和挑戰，互聯網公司是把大數據作為互聯網+的利器，互聯網公司利用手里數據的優勢實現業務拓展，如果有了這種商品交易的數據，它可以做銀行、做支付。傳統行業能不能+互聯網？在現有的領域中，通過大數據助力實現轉型，這是實現行業困局的突破。
開展大數據有下面幾個典型的問題：
第一，技術能力不足。在傳統行業，IT一直作為后端的部門，IT一般不是直接跟它業務直接相關，它經常被IT作為后端的支撐手段，大量通過外包或采購方式實現，所以在自身軟件開發和大數據平臺運維、大數據新技術應用、大數據分析挖掘方面能力相當有限。從前面幾位專家介紹我們能夠感受到，現在大數據沒有達到易用性是普通的非IT人員就可以很容易操作的，它各個環節需要非常專業的IT支撐能力。
第二，數據條塊的分割。因為傳統的業務單位都是根據它的業務去組織它的組織架構，所以不可避免造成很多數據分散在它不同的系統當中。比如對中國移動來說，我們現在IT支撐系統分BOM三個域，解決計費、用戶注冊數據、經營分析，O域主要是網絡運維，網絡采集的數據，M域是內部的ERP等辦公類數據，這三個域分布在三個不同部門，三個系統分別建設。目前這個數據間有壁壘，而且這個數據標準也不統一，就算簡單的把三個域合成一起，也很難帶來數據融合以后“1+1大于2”的效果，這方面也限制傳統行業對大數據的應用。
第三，組織架構不匹配。因為我們現在不同的數據分散在不同的部門，沒有個專門的機構去管理這些數據，對這些數據進行統一的標準，對這些數據進行維護，所以目前我們數據的使用都在自己的條塊之內。
第四，思維模式的轉變。傳統行業某種意義上來說，在利用大數據方面還處在摸索階段，技術和業務知識方面可能并不是主要的問題，關鍵是意識的問題。今天上午王堅先生提到一個問題，他認為數據不是采集的，但我有不同的看法。我認為傳統行業開始主動的收集數據，重視它行業中各種各樣的數據，甚至在它業務系統、業務流程設計時，把數據采集作為一個很重要的工作納入進去，這個公司某種意義上才可以說是實現了大數據的初步思維模式轉變，傳統行業是沒有這方面的意識。如果把業務系統的設計、業務流程的設計，跟數據的采集分析有機融合在一起，我認為這個真正是未來傳統行業實現互聯網+轉型的很重要步驟。我們看互聯網公司現在在走什么樣的路，它的業務流程通過引入大數據，實現了業務的智能化和自動化，這是未來互聯網+和工業4.0要達到的目標。所以思維轉變對傳統行業有效利用大數據實現業務轉型起到非常重要的作用。
傳統行業大數據發展路徑一般分三個階段：
第一，技術升級，我們可以把它形象比喻成“BIPLUS”，傳統行業都有BI，不管是做決策支持，還是做市場營銷支持，一般都是用IOE的架構去實現的。在第一階段技術升級的時候，傳統行業一般會隨著技術發展的趨勢引入像Hadoop、Spark、MPP數據倉庫等等新技術，這個階段大家主要關心新技術對傳統技術替代過程中怎么提高效率和降低成本。目前大部分傳統行業是用混搭的方式，因為現在部門業務線條是孤立的，所以往往它內部會形成多個數據倉庫系統，出現不同的Spark、不同的Hadoop集群。
第二，數據融合和組織架構調整的階段。在數據應用的過程當中，大家發現現在技術手段具備了，現在有Spark和Hadoop，可以分析存儲大量的數據，但是發現數據源存儲在不同的數據系統里面，這時候有整合的需求存在。這種整合必然帶來組織架構的調整，原來業務按條塊分割、系統按條塊分割去建設，沒有統一的團隊去整理和維護這些數據的話，這種數據整合肯定無法實現。
第三，思維模式的變化。思維模式的變化就是把大數據作為企業的一個思維習慣，所有的經營活動都考慮數據的收集和采集，都考慮未來業務流程中如何利用這些數據去優化、去發現問題，所以收集數據會變成這個階段業務設計的一個重要考慮。隨著數據對于業務優化效果的體現，會出現數據饑渴。這個階段也許有的公司會出現盲目的收集數據，數據會大量的飛速增長，同時大數據和業務系統深度整合，同時研發、運營一體化實現快速迭代，使業務更加智能化和自動化。實際上對傳統行業來說，思維轉變是實現互聯網+轉型的一個關鍵。
中國移動大數據探索實踐與思考
中國移動是一個富有大數據的公司，現在我們的組織架構也是個典型的傳統行業，不光是我們在公司內部有不同的線條，比如做業務支撐的，做網絡維護的，做市場營銷的，同時我們也是一個分區域的公司，我們現在有31家省公司，現在還有18家的專業公司。
數字類型可以看一些數字，比如我們有超過8.2億用戶，100萬機站，經營分析系統里有10B以上的數據，每分鐘有大量用戶的呼叫等等，實際上所有這些動作每天都在產生大量的數據。之前我們這個公司有個測算，就是中國移動到底有多少數據，我要把這些數據集中在一起會有個什么效果。網絡部最后做了個測算，我們一個大的省公司比如廣東公司一天數據可能幾百P，第二，如果把這些數據集中在一點，比如都傳到哈爾濱或者呼和浩特的集中數據中心，需要重構一個中國移動的CMNET，就是我們Internet的骨干網。所以某種意義上來說，一方面可以看到這個數據量非常大，另外一方面我們可以看到這個投資也是非常驚人的。
目前中國移動數據主要用于網絡優化、業務創新、精準營銷、決策支持，這個跟其他很多公司使用大數據的方式和方法都一樣。中國移動在大數據的探索方面，我個人自我評價的話，覺得是初步完成了第一階段，現在在部分省公司開始做第二階段，集團也在開始考慮做第二個階段，第三個階段只能說現在有些萌芽：
第一階段，公司在2011年、2012年時就在激烈的討論，就是Hadoop這種新型技術到底適用不適用中國移動，我們傳統部門有很多質疑的聲音，他們認為MPP數據倉庫出現了，現在傳統的業務尤其話音等等這樣的業務，應該用比較穩定的商業系統。我們作為一個研發單位，積極推進Hadoop、Spark、流計算等等新技術，最終的結果是到了去年、今年這個質疑不存在了，大家開始穩步建設，在系統當中不斷引入新技術，同時開始業務中大數據的工作。
第二階段，現在有些省公司把數據進行集中化，有的建個部門，有的在部門下面專門建個團隊，實現三個域數據的融合。
第三個階段，這里想結合個案例，說一下我們為什么認為傳統行業要改變思維模式，那么我們第三階段到底都做了些什么。這里我們以福建移動為例，最近福建移動做了件事情，他們把傳統的網絡性能管理系統做了重新的開發，這個網絡性能管理系統目前在公司內部的效果非常突出，遠遠好于其他單位用傳統方式去做的。這里有哪些不同于傳統的網管系統的特點？
福建公司是最找實現BOM三個域整合，福建公司業務支撐系統部下面專門設計了大數據中心，BMO三個域的數據現在都放在它那統一進行管理，它現在也是部署了好幾個Hadoop集群，進行數據的管理和維護。剛才說性能管理系統，它實際上是網絡部在這個平臺上的應用，因為它實現了三域數據的融合，所以給我們這個性能管理系統帶來了一個進行創新的物質基礎。我們的網絡部根據它業務上的經驗，把原來傳統的網管系統只關注網絡這個環節拓展開來，變成端到端的去關注整個網絡的運行情況。
除了原來傳統的網絡，現在包括小區、用戶、終端、包括我們開設的業務平臺，所以定義“五元”、“五階”概念，“五階”是業務流程，也就是說我們打通一通電話或者連接上網過程中有五個步驟，這五個步驟中產生所有數據挖掘收集過來，并且進行建模，在某種意義上是數據融合帶來的好處。
在它的運維方式上實現了突破，這個突破體現在什么地方？第一，因為它有不同維度的數據，所以他們提出來一個“空間置換法”，也就是說它原來有很多故障的發現和排除，某種意義上來說它是端到端的一點點去找故障的方式。現在它可以做橫向比較，比如某個業務訪問有問題，那么它看一下同類業務平臺，比如你是個視頻類的，那么其他視頻類的業務是不是有問題，通過類似于這樣的方法逐點去排除，最后很快的定位到底故障在哪。第二種方式，他們提出來叫“主動運維”，主動運維跟我們傳統運維的觀念產生很大的變化，傳統運維的運維系統是只監不控，也就是說我在運維的過程中不會調整我的網絡，但是他們在發現問題以后會去調整它的業務流量、流向等等，做這樣一些工作，去看調整之前和之后的變化，通過這種方式去發現問題，甚至發現一些還沒有出現但潛在存在的問題，所以他們叫“主動運維”。
他們還培養了一個小的團隊，這個小團隊的人熟悉Hadoop和Spark等等編程，這些人是業務方面的專家，他可以通過業務方面的知識，快速利用這些新的技術去解決問題，研發和運營實現了一體化，所以他能夠比較快速的把他的想法變成可以用的東西。剛才說的這幾點是我感覺出來的，就是一個傳統行業大數據帶來思維的變化，它應該有這樣的一些反映。
中國移動大數據發展路徑，公司內部也慢慢意識到大數據對我們來說非常重要，所以公司首先成立了蘇州研發中心，第一，蘇州研發中心首先是個研發單位，第二，它的定位是云計算、大數據、IT支撐系統這三大部分。目前我們現在已經有超過500人，研發人員占85%以上，我們的職責，一方面為公司內部提供新的技術和產品，比如Hadoop、Spark等等，我們都維護自己的定制版本，同時，在此基礎上我們做定制化等新工作，讓我們新的技術在現在的應用中更容易讓非IT背景的人員使用。
現在公司提倡所有的省公司鼓勵員工去做開發，就是大家培養一個開發的能力。作為傳統行業，我們發現有很多能力是缺失的，在云計算和大數據時代，我們的一線員工不會開發，不會去應用這些新的基礎，在很多工作推進的時候都會有問題。所以像今年中國移動也有自主開發大賽，它的條件就是所有的這些應用都是我們員工自己寫代碼做的，同時，像今年我們的科技進步獎評獎之類的，要求也必須是自主研發，所以大家可以看到傳統行業也在轉變。
在數據管理、大數據的開放方面，我們一方面積極的去建立公司內部的數據管控體系，首先知道內部的數據的家底是什么，要摸清楚，第二是數據的標準化，未來對數據質量有管控。
前面很多專家提到了，盡管大家對大數據未來的商業預期非常大，但實際上現在看起來效果并沒有那么明顯，有很多公司過來找中國移動，說像咱們交通行業可以一塊做點什么，也有一些比如像客戶的營銷等等方面，說我需要你中國移動的數據，甚至有很多金融的行業認證方面也需要你的一些數據。但我感覺現在都沒有找到一個解決用戶痛點的應用，也就是說這個東西好多都不是剛需，頂多是解決一個點。目前我們在推進大數據過程中，一方面積極，第二方面比較慎重，所以我們非常關注大數據這個系統它的建設和應用怎么去高效和低成本。
在整個大數據系統設計思路上來說，我們按這四個方面去考慮：
第一，集中化數據管理，因為我們目前的數據是分散存放，它的資源利用率非常低，數據冗余很高，同時不利于多域數據融合和交叉使用，所以集中的數據管理，對結構化和非結構化進行統一管理，對跨省的數據也統一管理，同時有效描述這個數據，讓非這個業務領域人通過這個描述很容易理解，同時知道怎么用。同時，數據安全和數據質量方面也非常重要。
第二，多樣化服務模式。現在數據它本身的管理、維護、和數據的應用對人的能力要求是不一樣的。未來集中化的數據維護和數據管理團隊更應該是IT背景，怎么把這個數據有效管好，并且做初步的預處理等等。但是真正的應用一定要放給業務人員，因為懂業務的人才能最好地應用這個數據。這里問題在于中間的界面，我們覺得未來數據一定要服務化，有三種模式，第一種，DaaS，數據就是服務，舉例來說，某個單位它需要數據，作為數據管理的團隊，我按你的要求把不同數據整合成個寬表給你，這就是DaaS的服務。第二種，PaaS，尤其外部數據服務的時候，有些數據沒有辦法離開數據平臺，王堅博士也說他們的數據盡管做了很多脫敏，但是給了第三方以后，開發者能夠從中發現很多有隱私的信息，所以實際上只有數據維度夠多，盡管你去掉了你認為是隱私的數據，最后還是能把用戶非常機密的信息挖掘出來。在這種條件之下我們來提供平臺，提供各種各樣數據分析挖掘的工具，你在我的平臺上用我的數據運行出你需要的結果，這是就PaaS，第三種是SaaS，比如出報告可以通過這種模式。同時，這個平臺應該高度的資助化和自動化，用戶在平臺上很容易獲取他要的數據集，把多個數據集整合在一起，申請他相應需要的服務，比如Hadoop、Spark或高級工具，最終實現它業務想要的結果。
第三，精細化的資源管理。這要實現多租戶支持，通過虛擬化的技術。我們現在非常關注容器技術，因為我們未來大數據系統必定是多任務并行運行的環境，在這種并行運行的環境我們必須對它資源進行有效的處理，把這個任務有效的調度，最大限度使用我這個平臺。所以我們要求未來一定要是個支持多租戶的環境。同時，冷熱數據要進行分級存儲，對一些不需要的數據，要把它放在低成本的存儲系統里，同時，對于這個系統要有一個系統老化的管理，就是有些長期不用的數據，或者這個數據需求很小，在系統內部應該把它剔除掉。同時，網絡壓縮節省帶寬。
第四，高效的任務調度。我們要執行并行計算框架，比如Spark是我們非常關心的新技術，Spark的確在高性能、要求實施性高這樣一些內存類的計算里面非常有優勢。但是我們還有一些面向離線批處理的，還有一些流式等等，各種各樣計算模式在平臺中都要去支持，適應各種不同的業務類型。同時，要支持標準SQL，給客戶更好的UI，支持傳統數據處理、數據挖掘、數據工程師所習慣用的接口和工具。當然，我們希望在可視化上做工作，比如數據挖掘、ETL、流式處理的工具都可以實現拖拉拽，把常用的模型算法固化在里面，這樣對業務人員來說，他簡單配置就可以達到要形成的數據挖掘和分析的業務流程。
這是按照我們剛才的設想去做的一個系統架構圖，蘇州研發中心現在基本實現這個系統，當然，很多地方還在不斷優化，其實有很多問題，像安全問題，像源數據管理等等這樣的問題，我們希望跟業界共同探索，因為在業界是比較新的，需要不斷探索的技術領域。
在應用方面，我們跟上午聯通領導講到的比較類似，我們主要的應用，一方面包括網絡優化，二是市場營銷，三是客戶體驗，同時我們現在開始探索一些外部大數據變現的服務。在這個過程當中中國移動不斷對大數據應用進行深入探索，包括像我們的垃圾短信，這是大數據應用的新領域，像騷擾電話一直困擾中國移動，怎么用大數據方法自動識別，如果我們用傳統手工的方式去解決的話，這個工作量太大。
下面從幾個案例分析來講，一方面跟大家分享中國移動和中國移動蘇州研發中心到底在做什么，第二方面是我們大數據目前有幾種比較典型的商業模式在去做。第一個，不良信息治理，中國移動很多年一直在做，每年315我們都很緊張，因為有幾年的315晚會上都點名我們的垃圾短信，其實中國移動在這方面投入很多工作，原來的方式都通過用戶行為識別、模式匹配，比如發垃圾短信的發送特點、頻率、時段以及號碼群體等等，這些都能夠體現出來他是個惡意用戶，他發的短信可能是垃圾短信，所以原來傳統方式是我們用行為匹配、用戶行為特征方式進行垃圾短信排除，但是這種做下來，每天有幾十萬上百萬無法識別的短信要到我們后臺人工去做。
中國移動在河南那邊有個安全的操作中心，他們很多人在人工去做這方面的事情，所以帶來一個需求，就是我怎么樣通過大數據的方式再進一步把無法識別的垃圾短信搜集出來，然后節省人工的工作量。蘇州研發中心配合集團公司的信息安全中心在做這個事情，它用了一些自然語言處理的方法，去對內容進行分析，發現比如什么樣字段的組合在垃圾短信方面概率很高。當然，現在效果并不是很理解，比原來基礎之上再進一步濾掉百分之三四十垃圾短信的數據，但是剩下那些還需要人工去做。所以我們也在考慮結合文本的深度挖掘，未來結合語義的理解，就是我們怎么判斷垃圾短信，希望機器用同樣的方式進一步提高排查率，降低我們對人工方面的支出。
第二個案例是服裝行業的大數據解決方案，這是我們的一個數據挖掘工具，跟江蘇的時尚云公司，以及印度塔塔公司合作，由塔塔作為集成方，我們提供數據挖掘平臺，給服裝時尚云提供服務。服裝時尚云的數據是來自于比如政府，來自于它互聯網的收集，還有一些其他企業的渠道。它想做一個B2B的大數據服務，給一些服裝廠家提供市場需求、市場營銷方面的信息支持，同時它去分析一下比如原材料，還有時尚領域顏色、面料等元素的發展趨勢，這個它用得也是非常好，中國移動蘇州研發中心只提供個平臺。這個階段大家大數據的商業模式大部分是做軟件，我們從2015年工信部電信研究院發布的一個報告可以看得出來，現在大數據產業大概百分之三四十是軟件，所以現在這個商業模式是目前比較成熟的。
第三個案例是一個制造業的企業，就是三一重工，它比我們更是傳統行業，它的業務領域跟IT的距離更遠，我們在交流的過程中，他希望我們幫他托管數據，去做數據的分析，在未來工業大數據怎么去優化工業提供一些幫助。他最初的訴求是，他數據原來存在Oracle數據庫里面，這個Oracle數據庫在處理大量數據時能力是不足的，比如政府希望三一重工調一下全國挖掘機開工的數據，這個數據某種意義上代表前一段時間中國房地產市場到底怎么樣，國家政府一直打個問號，統計局的數據有很多不可信，它希望從這方面拿到第一手的數據，但是三一重工現有的平臺無法處理這個東西。我們在自己的云計算平臺上，給它搭建這樣一個大數據系統，它把數據托管過來，未來我們能幫它做初步的數據統計。當然，后續我們還在探索如何進一步的去更緊密的合作，比如我幫他做挖掘機的運行狀況的統計和分析，比如油耗的分析和預警等等，通過大數據和傳統業務的結合，真正讓他實現業務的升級，這也是往工業4.0或者互聯網+前進的一步。在這種商業模式過程中，首先我是平臺的出租方，我們提供云計算的基礎設施，數據存儲和托管的基礎平臺，同時，在這個基礎之上我們去探索，如何利用我們的專業知識幫助它提高在業務方面的優化，這也是我們在探討的商業模式。
?
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%