Apache Kylin是Hadoop大數據平臺上的一個開源OLAP引擎。它采用多維立方體預計算技術，可以將大數據的SQL查詢速度提升到亞秒級別。相對于之前的分鐘乃至小時級別的查詢速度，亞秒級別速度是百倍到千倍的提升，該引擎為超大規模數據集上的交互式大數據分析打開了大門。

　　Apache Kylin也是中國人主導的、唯一的Apache頂級開源項目，在開源社區有世界級的影響力。

　　今天，大數據領域的發展如火如荼，各種新技術層出不窮，整個生態欣欣向榮。作為大數據領域最重要的技術——Apache Hadoop，從誕生至今已有10周年。它最初只是致力于簡單的分布式存儲，然后在其之上實現大規模并行計算，到如今它已在實時分析、多維分析、交互式分析、機器學習甚至人工智能等方面都有著長足的發展。

　　2013年年初，eBay內部使用的傳統數據倉庫及商業智能平臺應用碰到了瓶頸，即傳統的架構只支持垂直擴展，通過在一臺機器上增加CPU和內存等資源來提升數據處理能力，相對于數據指數級的增長，單機擴展很快就達到了極限。另一方面，Hadoop大數據平臺雖然能存儲和批量處理大規模數據，但與BI平臺的連接技術依然不成熟，無法提供高效的交互式查詢。于是尋找更好的方案便成為了當務之急。正好在2013年年中的時候eBay公司啟動了一個大數據項目，其中的一塊內容就是BI on Hadoop的預研。當時eBay中國卓越中心組建了一支很小的團隊，他們在分析和測試了多種開源和商業解決方案之后，發現沒有一種方案能夠完全滿足當時的需求，即在超大規模數據集上提供秒級的查詢性能，并能基于Hadoop與BI平臺無縫整合等。在研究了多種可能性之后，最終eBay 的Apache Kylin核心團隊決定自己實現一套OLAP on Hadoop的解決方案，以彌補業界的這個空白。與此同時，eBay公司也非常鼓勵開源各個項目，回饋社區，eBay的Apache Kylin核心團隊在向負責整個技術平臺的高級副總裁做匯報的時候，得到的一個反饋就是“要從第一天就做好開源的準備”。

　　Kylin的使命是超高速的大數據OLAP（Online Analytical Processing），也就是要讓大數據分析像使用數據庫一樣簡單迅速，用戶的查詢請求可以在秒內返回，交互式數據分析將以前所未有的速度釋放大數據里潛藏的知識和信息，讓我們在面對未來的挑戰時占得先機。

　　為什么要使用Apache Kylin

　　自從10年前Hadoop誕生以來，大數據的存儲和批處理問題均得到了妥善解決，而如何高速地分析數據也就成為了下一個挑戰。于是各式各樣的“SQLon Hadoop”技術應運而生，其中以Hive為代表，Impala、Presto、 Phoenix、Drill、SparkSQL等緊隨其后。它們的主要技術是“大規模并行處理”（Massive Parallel Processing，MPP）和“列式存儲”（Columnar Storage）。大規模并行處理可以調動多臺機器一起進行并行計算，用線性增加的資源來換取計算時間的線性下降。列式存儲則將記錄按列存放，這樣做不僅可以在訪問時只讀取需要的列，還可以利用存儲設備擅長連續讀取的特點，大大提高讀取的速率。這兩項關鍵技術使得Hadoop上的SQL查詢速度從小時提高到了分鐘。

　　然而分鐘級別的查詢響應仍然離交互式分析的現實需求還很遠。分析師敲入查詢指令，按下回車，還需要去倒杯咖啡，靜靜地等待查詢結果。得到結果之后才能根據情況調整查詢，再做下一輪分析。如此反復，一個具體的場景分析常常需要幾小時甚至幾天才能完成，效率低下。

　　這是因為大規模并行處理和列式存儲雖然提高了計算和存儲的速度，但并沒有改變查詢問題本身的時間復雜度，也沒有改變查詢時間與數據量成線性增長的關系這一事實。假設查詢1億條記錄耗時1分鐘，那么查詢10億條記錄就需10分鐘，100億條記錄就至少需要1小時40分鐘。當然，可以用很多的優化技術縮短查詢的時間，比如更快的存儲、更高效的壓縮算法，等等，但總體來說，查詢性能與數據量呈線性相關這一點是無法改變的。雖然大規模并行處理允許十倍或百倍地擴張計算集群，以期望保持分鐘級別的查詢速度，但購買和部署十倍或百倍的計算集群又怎能輕易做到，更何況還有高昂的硬件運維成本。

　　另外，對于分析師來說，完備的、經過驗證的數據模型比分析性能更加重要，直接訪問紛繁復雜的原始數據并進行相關分析其實并不是很友好的體驗，特別是在超大規模的數據集上，分析師將更多的精力花在了等待查詢結果上，而不是在更加重要的建立領域模型上。