BAT雖然在數據量上占據優勢，但卻在豐富性上受到局限，甚至并不具備垂直領域UGC所具備的大數據能力。中小企業則可以充分利用自己在垂直領域里深耕的優勢，將數據的豐富性提升上來，從而獲得差異性的優勢。

大數據以大為本 數據挖掘技術能否“算命”？

　　大數據的門檻

　　“如果你只有一堆人的電話號碼，這可能沒多大意義。但像攜程的數據，比如所有人提前預訂、搜索、瀏覽、點評的信息等，這就是有價值的。但更深層的核心是，你能不能在某個產品上使用到這些數據，而且確實有幫助。”眾薈數據智能事業部總經理焦宇說。

　　美團云大數據平臺負責人對此表示認同，“首先要弄清楚擁有的數據是否有價值，是否有人愿意為其買單。另外則是源數據的豐富度，是否能夠為數據價值的發揮帶來補充和完善”。

　　顯然，數據收集的目的并不單單是把數據集中起來，最終還是要在實際運營中發揮作用。擁有數據只是開端，如何深入分析、洞察數據彼此之間的關聯，才是大數據應用的關鍵，這也是眾多手握大數據企業的分水嶺。

　　不過，在這個過程中，有一個不容忽視的問題，那就是數據的質量問題。“錯誤的輸入，換來的必然是錯誤的輸出”，螞蜂窩大數據技術總監韓鑫在接受采訪時就特別指出了這個問題。

　　“真正決定數據挖掘成敗的是數據本身的質量，對于算法的合理使用和優化反而是次要的。由于大數據的興起，我們很容易獲得龐雜的數據；然而單純地指望從高深的算法中去獲得我們想要的信息而忽視數據本身的質量，往往只能是空中樓閣。”

　　對大數據而言，表面上看數據是越多越好，因為更多的數據可以產生更能擬合真實情況的場景，但同時更多的數據也產生了更多的噪音——所以單純的數據的量的增加并不能提高計算的精準度。

　　因而擁有高質量的數據，要遠比握有一堆龐雜的數據更有價值：這樣既能減少數據挖掘的難度，也有利于提高數據挖掘的精度。但是，這就是大數據的核心門檻嗎？

　　韓鑫認為：“建立完整的大數據體系還需要兩個重要的因素，業務的豐富程度和數據思維的融入。”

　　焦宇從自己的實踐經驗出發，談了自己的看法：“對一個特別好的產品經理來講，大數據的門檻首先是要理解這個東西到底是什么；第二建模能力要強。從這兩方面說，人才相對都是稀缺的。比如有些公司是有大數據的，但要找到很牛的人來做這件事情，雖然理論上講是可以隨時找到的，但事實上卻很難。”

　　“第一個是大數據。第二個方面，有人把數據比喻成‘石油’，有石油寶藏還得有機器、工具把它挖出來，這個工具就是機器學習。第三方面是計算能力的進步。工具再強，沒有非常強的計算能力，還是跑不動的。”滴滴研究院院長何曉飛則給出了這樣的答案。
?

　　數據挖掘的難點

　　數據挖掘，不像收集數據填幾張表，問幾個問題就能輕松實現。它的專業性相對較高，運用的知識、技術難度也明顯加大。因而大多數的數據挖掘基本是由專業人士或專業團隊來做的。

　　另外，建模的成功與否，對數據呈現的結果也有非常重要的影響。模型不同，結果也往往會出現差異。

　　“任何人都能搭出來一個模型，只要搭出模型就能有結果，但這個結果是不是反映真實世界？因為數據之間的關系，并不是直接的線性關系，因此模型可以非常復雜。所以你先得知道你要解決的是個什么問題：從統計上來講，是哪種類型的問題，它有什么樣的特性，你在數據上的采集有什么局限？然后再找到跟這個問題最接近的模型。”焦宇說。

　　“數據挖掘的難點在于，主要數據收集和最終應用之間的相互關聯卻又矛盾的關系，這類似于‘先有雞還是先有蛋’的問題。兩者之間相互影響相互補充，導致其相對其他類別的程序開發而言，是更為漫長而又復雜的過程。” 韓鑫說道。

　　無論是焦宇所說的模型，還是韓鑫所說的算法，其實都在強調一個重點：根據實際情況變化對模型和算法做出相應的調整。沒有固定的規則，只有時時更新的數據和不斷變化的情況，所以運用的規則也要因時調整。

　　美團云大數據平臺負責人則認為，如何拿到“規范的數據”才是真正的難點所在：“新美大每天產生p級別的數據，包括大量的商戶、用戶和交互數據；每天通過hadoop、hive、spark、storm等大數據工具進行批量和實時的清洗，才得以形成規范的數據。”

　　然而，也許最難的一點還是在于那個最實際的問題。技術快速發展，提供了像應用統計方法、事例推理、決策樹、規則推理、模糊集、神經網絡、遺傳算法等諸多方法來處理信息，這既降低了數據挖掘的難點，同時也提高了數據挖掘的效率和精準度——但所有的這些，都需要不菲的資金。

　　許多人可能都聽說過那些使用大數據的輝煌案例：Facebook每天要存儲大約100TB的用戶數據；NASA每天要處理約24TB的數據。那么處理這些數據所需的成本是多少呢？

　　按照亞馬遜Redshift的定價，NASA需要為45天數據存儲服務支付超過100萬美元。而根據國外的一項調查，大多數企業的CIO稱他們的預算支付不起大數據部署的成本，數據存儲和處理的成本實在太高。
?