近來,“大數據時代”的來臨己成為媒體關注的熱門話題。大數據也似乎在一夜之間闖入了任何一個關于互聯網未來的討論,成為一個炙手可熱無所不包的概念。最近剛結束的大連2013夏季達沃斯世界經濟論壇還為“大數據時代” 的來臨作了專題討論。無論人們對此持有何種觀點,但下列結論是共同的:“大數據時代”的來臨己成為不爭的事實,大數據作為一種新的資源,己對人們生活、企業商業活動以及政府公共管理帶來了深遠的變革。
大數據時代的來臨,帶給我們眾多的沖擊,每個人都應當與時俱進、不斷提升,放棄殘缺的守舊思想,大膽接受新的挑戰。
什么是大數據?
國際數據公司定義了大數據的四大特征:海量的數據規模(vast)、快速的數據流轉和動態的數據體系(velocity)、多樣的數據類型(variety)和巨大的數據價值(value)。僅從海量的數據規模來看,全球IP流量達到1EB所需的時間,在2001年需要1年,在2013年僅需1天,到2016年則僅需半天。全球新產生的數據年增40%,全球信息總量每兩年就可翻番。
而根據2012年互聯網絡數據中心發布的《數字宇宙2020》報告,2011年全球數據總量已達到1.87ZB(1ZB=10萬億億字節),如果把這些數據刻成DVD,排起來的長度相當于從地球到月亮之間一個來回的距離,并且數據以每兩年翻一番的速度飛快增長。預計到2020年,全球數據總量將達到35~40ZB,10年間將增長20倍以上。
需要強調的是:所謂大數據并不僅僅是指海量數據,而更多的是指這些數據都是非結構化的、殘缺的、無法用傳統的方法進行處理的數據。也正是因為應用了大數據技術,美國谷歌公司才能比政府的公共衛生部門早兩周時間預告2009 年甲型H1N1流感的暴發。
大數據的產生以及特點
當今世界大數據時代己經來臨。什么是大數據?就像當今世界涌現出來的能描述大變局的概念一樣,大都率先出現在歐美社會,進而傳播到全世界。“大數據” 的概念出現與流行也是如此。
顧名思義,大數據就是大量的數據或者說海量的數據。現代社會從1941年誕生第一臺電子計算機以來,信息技術得到空前迅猛地發展。這種發展的內在驅動力是將陽光下所有的事物都“數據化”。 目前,伴隨著互聯網Web2.0、物聯網、手機、GPS和光電感應器等技術和硬件出現,數據如井噴一樣大量涌現。有資料顯示,1998年全球***平均每月使用流量是1MB(兆字節),2000年是10MB,2008年是1GB(1GB等于1024MB),2014年將是10GB。我國***數居世界之首,3G手機擁有者達4.2億,每天產生的數據量居世界前列。
當然,僅僅從量的角度來理解大數據是遠遠不夠的。麥肯錫全球研究所報告《大數據:創新、競爭和生產力的下一個前沿》對“大數據”的含義進行了界定:大數據是指大小超出了傳統數據庫軟件工具的抓取、存儲、管理和分析能力的數據群。對于這樣一個定義,我們還可以從大數據4V特點加以理解。所謂4V(Volume 、Variety、 Velocity 、Value)是由描述大數據特性的四個英文詞的字首字母所形成的:
一是數據量巨大(Volume),數據已從 TB 級別躍升至 PB 級別;
二是數據類型多樣化(Variety),有網絡數據、企事業單位數據、政府數據,網絡數據又有媒體數據(比如社交網絡、博客、微博等)、日志數據(比如搜索引擎,大家上網等等都會留下很多足跡)、還有富媒體數據(視頻、音頻等等),類型紛繁,已無規律可循,其中非結構化數據所占比例逐年增大;
三是密度低而價值大(Value),以視頻為例,在連續不間斷監控過程中,可能有用的數據也許只有一兩秒,即所謂密度低,是對大量的數據通過“沙里淘金” 的數據挖掘,可是里面又藏著巨大的價值;
四是處理速度快(Velocity),及時分析對某些應用才更有意義,及時處理已經成為趨勢之一,業內的“一秒定律”認為,各種處理必須在1秒鐘內完成高速實時處理。
從大數據的本質上來說,“大數據”所代表的是當今社會所獨有的一種新型的能力,通過對海量數據進行分析,獲得有巨大價值的產品和服務,獲取更深刻的洞察力。在大數據時代,數據已經成為一種新的經濟資產類別,就像貨幣或黃金一樣。
二、“大數據” 對當今社會帶來的巨大變革
(一) 大數據將豐富甚或根本上改變人類探索未知世界的方式、思維方法與人的行為方式
在小數據和模擬數據時代,人們總是強調“為什么” 來認識世界。物理、化學等自然科學里,科學家要在實驗室通過反復試驗來檢驗理論或定律為什么是正確的;天文學、經濟學等學科則根據理論來推測現象,或根據歷史數據來驗證。只有理論與數掂驗證一致,才算揭示了現象背后的因果關系,才算回答“為什么”。
在大數據時代,人們更多強調的是“是什么” 的問題,也就是尋找事物背后的相關關系。譬如說,研究人員利用大數據,不是試圖弄懂發動機拋錨或藥物副作用消失的確切原因,研究人員可以收集和分析大量有關此類事件的信息及一切相關素材,找出可能有助于預測未來事件發生的規律。加拿大的研究人員正在開發一種大數據手段,以便能在明顯癥狀出現之前發現早產嬰兒體內的感染。通過把包括心率、血壓、呼吸和血氧水平等16種生命體征轉化成每秒1000多個數據點的信息流,他們已經能夠找到極其輕微的變化與較為嚴重的問題之間的相關性。也就是研究人員與醫生關注相關關系勝過因果關系。
在大數據時代,人的行為方式也將發展某種程度的變化。以往一般都是先想好要解決什么問題,再去獲取相應的信息;而到了大數據時代,思維方式就變成了先盡可能多地占有信息,遇到問題時再從這海量信息中去“挖掘”解決方案。這兩者的區別就像普通相機與光場相機(light field)的區別。據美國科技博客網站Venturebeat的報道,2012年3月,美國硅谷創業公司Lytro開發的光場相機正式上市。與普通相機不同,光場相機可以在拍攝完照片之后再對焦,具體生成的照片聚焦在什么位置,可以在拍攝完成之后根據需要再決定。
(二)大數據正在極大地改變企業經營的方方面面,一場新的商業革命已經來臨
第一,大數據正在改變企業的營銷手段。企業的傳統營銷手段是集中推銷和各種廣告宣傳,更原始的辦法是用大量的勞動力發傳單推銷產品。比如說我們今天在公交車站拿到的各種各樣***推銷廣告就是如此。而在大數據的時代,企業可以充分利用大數據進行精準高效與低成本營銷。著名的亞馬遜公司在此方面做出了開拓性償試。當你在網上挑選某一類圖書時,亞馬遜除了不能像在書店實體翻書以外,其它方面服務與書店無異。重要是,亞馬遜通過大數據能時實知曉購書者的偏好,精準推薦相關圖書,方便消費者選購,擴大銷售量。由于它的創新和獨特營銷模式,亞馬遜己成為全球商品品種最多的網上零售商和全球第二大互聯網公司。 第二,大數據將為企業拓展廣闊的新型服務與渠道。例如,日本先進工業技術研究所的科學家通過在汽車座椅下部安裝壓力傳感器,把人體屁股特征轉化成數據,然后把數據進行量化后做成能識別車主的防盜系統。有了這個系統后,如果架駛員不是車主,系統就會要求司機輸入密碼,如密碼不對,汽車會自動熄火。這種能把一個人的坐姿數據化后,則預示著一些切實可行的服務和一個前途光明的產業。比如說,通過匯集數據,利用故事發生之前的坐姿變化情況,分析出坐姿和行駛安全之間的關系。同時,通過匯集數據,可以發現汽車被盜以及盜賊身份。
第三,在大數據時代,企業管理決策越來越受到大數據的分析和預測功能的影響。以美國網飛公司(Netflix)成功推出全球首部網絡劇《紙牌屋》為例。網飛公司是世界上最大一家在線影片租賃提供商,并非傳統的影視制作公司,為什么能首次推出一部作品就能獲得第65屆艾美獎最佳導演和最佳選角兩項大獎呢?個中原因是大數據在公司決策過程中起了關鍵性作用。無論是《紙牌屋》劇本的挑選,還是導演、演員的選定,網飛公司都是根據其龐大的用戶數據庫作為科學決策的依據,依靠數據分析抓住觀眾的喜好。《紙牌屋》推出之后,迅速成為美國各大社交網站的熱門話題,其明星效應使得該劇的口碑、點播率大獲成功。《紙牌屋》進入***后,首先在美劇迷中掀起交流高潮,繼而由美劇迷在網絡中發起的分享行為進行擴散。所有這些都是對傳統影視公司商業模式的一種顛覆,也成就一個網站主導、數據先行的商業傳奇故事。
(三)大數據對公共部門的服務與管理也將帶來極大的變革
實事表明,大數據在政府和公共服務領域的應用,可有效推動政務工作開展,提高政府部門的決策水平、服務效率和社會管理水平,產生巨大社會價值。2009年,谷歌公司通過把 5000萬條美國人最頻繁檢索的詞條和美國疾控中心在2003年至2008年間季節性流感傳播時期的數據進行比較,成功預測了當年甲型H1N1流感的爆發及其傳播源頭,遠早于疾控中心官方。
還有,大數據能夠提高安全保障能力。大數據在國防、反恐、安全等領域的應用,將對各部門搜集到的各類信息進行自動分類、整理、分析,有效解決情報、監視和偵察系統不足等問題,提高國家安全保障能力。2013年4月15日,美國馬薩諸塞州波士頓發生了***世界的馬拉松爆炸案,相關調查機構通過采集案發現場附近10TB左右的數據(其中包括移動通信基站上的電話通訊記錄,附近商店、加油站、報攤的監控錄像,以及志愿者提供的圖片和影像資料),從而迅速鎖定并令犯罪嫌疑人現形。
另外,通過收集數據,進行車流量的統計,再進一步對這些數據進行分析就能夠將交通信息可視化,對同時段不同區域擁堵原因做出分析,這種分析為如何規劃道路,是拓寬還是改道提供了參考的標準。大數據的應用一方面通過預警疏散交通壓力,一方面為合理規劃提供參考,雙管齊下,交通難題的解決就輕松不少。
最值得一提的是,聯合國(微博)已經推出了名為“全球脈動”(Global Pulse)的新項目,希望利用“大數據”來促進全球經濟發展。聯合國將進行所謂的“情緒分析”,使用自然語言解密軟件來對社交網站和文本消息中的信息作出分析,用來幫助預測某個給定地區的失業率、支出削減或是疾病爆發等現象,其目標在于利用數字化的早期預警信號來提前指導援助項目,以阻止重新陷入貧困等困境。
三、大數據帶來的挑戰與啟示
(一)大數據將使地球上所有人的隱私權受到挑戰
隨著互聯網、移動互聯網快速發展和3G手機的普及,我們每個人幾乎每時每刻都在產生數據,而這些數據不再私有、不再神秘。也就是說只要我們上網和使用手機,我們的相關數據在毫無知曉的狀態下被一些大數據公司收集。有人說iPhong就像一個“移動間諜” 是有道理的,因為它在用戶不知情的情況下收集位置和無線數據后傳回蘋果公司,其它谷歌安卓系統和微軟windows系統手機也都是一樣的。當數據形成資源體現價值時,地球人所面臨的共同問題是如何保護自己的隱私權。
這一棘手的問題,在具有強調集體輕個人的傳統的***,個人的隱私將會受到更大的威脅;即使是在具有完備法律保護隱私權的西方,面對大數據時代的到來,也顛覆了當下隱私權保護法以個人為中心的思想。特別是數據價值與作何用途,既使是收集者也無法事前告知,這是因為海量數據經過大數據挖掘,就會產生許多意想不到的新用途。因此,如何完善隱私權的法律體系與提高保護個人隱私權的倫理道德水平,成為了在大數據時代下夯實保護人類尊嚴和個人***的基石。
(二)***應盡早確立大力發展大數據的戰略地位
2012年瑞士達沃斯論壇上發布的《大數據大影響》報告稱,數據已成為一種新的經濟資產類別,就像貨幣或黃金一樣。美國在大數據發展與應用方面已經形成較為普遍的共識,奧巴馬政府已把“大數據”上升到國家戰略層面。2012年3月29日,奧巴馬政府宣布啟動《大數據研究和發展計劃》,同時組建“大數據高級指導小組”,涉及美國國家科學基金、國家衛生研究院、能源部、國防部等6個***部門,宣布將啟動2億美元的投資計劃,提高從大量數據中訪問、組織、收集發現信息的工具和技術水平,這使得美國成為全球首個將大數據從商業行為上升到國家意志和國家戰略的國家。奧巴馬政府認為,大數據是“未來的新石油”,一個國家擁有數據的規模、活性及解釋運用的能力將成為綜合國力的重要組成部分,未來對數據的占有和控制甚至將成為繼陸權、海權、空權之外國家的另一個核心資產。
英國政府從2011年11月就發布了對公開數據進行研究的戰略政策,英國的目標不只是要成為世界首個完全公布政府數據的國家,英國還應該成為一個國際榜樣,去探索那些公開數據在商業創新和刺激經濟增長方面的潛力。2012年5月英國政府建立世界上上首個開放式數據研究所ODI(The Open Data Institute ),標志著英國政府研究和利用開放式數據方面的一次里程碑式發展。 我國要發展好、應用好大數據,應把大數據產業上升到戰略高度,強化全民數據意識,樹立以數據提高效率、提升精細化和智能化水平的意識,從國家層面推動大數據的收集、分析和應用。2012年5月,我國召開第424次香山科學會議,這是我國第一個以大數據為主題的重大科學工作會議目前已有跡象表明,大數據將成為國家優先發展戰略。
(三)大數據時代要求政府開放數據,提供公開透明與更優質的公共服務
大數據發展的障礙,在于數據的流動性和可獲得性。在開放數據的歷史潮流中,美國是走在最前列的國家。2009年1月,奧巴馬總統入主白宮后,第一件事就是要求***各部門通過“一站式”政府數據下載網站(www.data.gov)向社會公開各類非保密的數據庫。2010年,美國國會通過更新法案,進一步提高了數據采集精度和上報頻度。截至目前,data.gov上有超過40萬種各類原始數據文件,涵蓋了農業、氣象、金融、就業、人口等近五十個門類,匯集了數千個應用程序和軟件工具。數據的集中、開放、共享及對數據的應用支持,極大地方便了美國各界對大數據的利用。2010年9月23日,奧巴馬總統在***發言,其目的是把“建立前所末有開放政府”的理念推進到國際社會。2011年9月20日,美國、挪威、墨西哥等八個國家在紐約集會,宣布成本“開放政府聯盟”(OGP),并發布了《開放政府宣言》。
截至目前己有60個國家和地區加入了該聯盟。迄今***仍沒有加入,這種狀況與我國已是世界第二大經濟體的地位是極不相稱的。開放政府不僅是融入國際大趨勢的需要,也是解決政府改革相對滯后與國內尖銳矛盾的有效途徑。當前我國政府面臨著政務公開、決策科學***、公信力低下和官員***等諸多深層的問題,在大數據時代已經到來的今天,政府只有通過開放數據,才能有效解這些深層次矛盾。
(四) 大數據時代呼喚弘揚人類社會的數據文化
所謂數據文化,就是尊重事實、推崇理性、強調精確的文化。由于文化傳統、經濟發展滯后與現實的政治等因素,導致***數據的公信力弱、質量低,數據定義的一致性差等一些無容否認的事實。2008年經濟學諾貝爾獎得主克魯格曼曾抱怨,他能看得懂日本經濟數據,卻看不懂***數據,言下之意是質疑***數據的可信度。面對大數據時代的來臨,政府應該首先垂范發揮主導作用,并在公共領域推行數據治國的理念。
盡管我們有深入群眾、實地考察的工作傳統,但在公共決策過程中,我們還要依靠系統的數據進行科學決策,而不是憑個人經驗和長官意志。也就是說,政府在決策過程中,要系統收集數據,依靠數據進行科學決策,杜絕主觀主義和***的作風。與此同時,政府應加大數據治國的輿論宣傳,將數據的知識納入公務員的常規培訓體系之中,力爭在全社會形成“用數據來說話、用數據來管理、用數據來決策、用數據來創新”的文化氛圍和時代特點。
(五) 大數據時代創新型人才是競爭取勝的關鍵
大數據技術的戰略意義不在于掌握龐大的數據信息,而在于對這些含有意義的數據進行專業化處理。因此,處理大數據的創新型復合人才是企業、國家在競爭中制勝的關鍵。據蓋特納咨詢公司預測,大數據將為全球帶來440萬個IT新崗位和上千萬個非IT崗位。麥肯錫公司預測美國到2018年需要深度數據分析人才44萬—49萬,缺口14萬—19萬人;需要既熟悉本單位需求又了解大數據技術與應用的管理者150萬,這方面的人才缺口更大。
***人口世界第一,不僅擁有巨大海量的大數據,而且是人才大國,但能理解與應用大數據的創新人才更是稀缺資源。與美歐相比較,***在這兩方面都有相當大的差距。盡管美國這樣的科技人才大國強國也存在著大數據專業人才稀缺的問題,但我們應清醒認識到,美國具有完備的思想市場與世界最發達的教育體系。一方面美國可以吸引全世界最優秀學生前來求學,另一方面也能吸引歐盟、俄羅斯、印度和***等國的大批數學家和統計學家去美國工作。因此,美國在創新型人才方面具有巨大優勢。反觀***,我們在思想市場和教育體制兩方面都差強人意,特別是我國中小學應試教育體制嚴重落后于大數據時代的需要,因為這種教育體制只能培養與機械工業相適應的應用型科技人才和熟練工人,不能大批地培養出具有開拓精神的創新型人才。面臨大數據時代帶來的機遇與挑戰,我們有理相信,加快***的教育和人才培養模式的改革加快培養適應大數據時代需要的創新型人才,是實現中華民族復興大業的重要基礎。
評論
查看更多