從1956年夏天在達特茅斯首次提出人工智能概念以來，人工智能技術的發展已經走過了60余載。如今，隨著數據量的爆炸性增長、計算能力的大幅提升以及深度學習算法的成熟，人工智能在第三次浪潮中迎來了“奇點”，基于圖像識別、語音識別以及自然語言處理等技術的人工智能應用開始大量興起，并且在真實的商業世界中扮演著越來越重要的角色。

然而，不可忽視的是深度學習對于算力和存儲的渴求可謂是極其迫切，尤其是隨著模型規模不斷增大，數據量的不斷增加，深度學習用于訓練的神經網絡深度也不斷增加，傳統計算平臺的算力和存儲性能的瓶頸逐漸顯現。對于大部分人工智能公司而言，計算和存儲性能的不足已經成為其人工智能之路上的重要挑戰。

地平線作為一家全球估值領先的人工智能芯片獨角獸，在其人工智能產品研發過程中也遇到了類似情況，自身數據中心的計算和存儲逐漸顯露出性能短板。不過，地平線公司與國內領先的公有云服務提供商、英特爾公司共同合作，構建基于高性能云物理主機（Elastic Physical Compute，簡稱EPC）集群的模型訓練計算平臺，并且充分發揮英特爾傲騰性能、低延遲以及穩定性的優勢，走出了一條云上構建高效深度學習平臺之路。

眾所周知，深度學習本質就是一種大規模的神經網絡，其模型訓練通常需要規模龐大的高性能計算集群來完成，并且需要大量小文件數據樣本進行持續訓練。業界普遍認為，深度學習至少要從十萬個樣本起步。自動駕駛領域是深度學習一個重要的應用領域。在自動駕駛領域，深度學習對于數據樣本的要求則會更高，當前一輛自動駕駛汽車一天收集的樣本就是上百萬張高清圖像，并且需要不斷地對這些海量數據樣本進行持續學習。以地平線面向智能駕駛的算法為例，地平線預測未來一輛自動駕駛汽車每天在路上產生的數據就高達4TB。

尤其是，隨著深度學習訓練數據的不斷擴容，以及訓練過程中的高并發和高 IO 需求，地平線專家團隊意識到自身數據中心中存在的各種短板，尤其是在存儲系統的短板最為突出。首先，舊有存儲系統在低延遲數據訪問、海量小文件存取以及擴展性方面都有待提升，已無法彈性應對地平線深度學習所需的海量數據讀寫。其次，地平線由上一代固態盤、硬盤組成的存儲基礎設施，也無法提供與強大計算力相匹配的 IOPS能力，形成了明顯系統性能瓶頸。

在公有云上進行深度學習訓練可謂是目前人工智能應用中一個重要的趨勢。公有云擁有強大的算力，并且擁有彈性、可擴展的特點，能夠提供源源不斷的計算力，在云端通過深度學習不斷進行大規模訓練，并且不斷將訓練好的新模型部署到本地應用之中。為此，為了應對深度學習系統日益增長的計算力和存儲能力需求，除了自建數據中心以外，地平線也將目光投向日趨成熟的云服務。

地平線選擇了金山云EPC集群作為模型訓練計算平臺，并且借助英特爾領先產品和技術提供的強大計算、存儲和網絡性能，為這一深度學習平臺構建了基于 Ceph 的高性能分布式存儲系統。由英特爾傲騰固態盤DC P4800X與傳統機械硬盤組合構建的分層存儲能力，使得地平線深度學習平臺存儲系統在讀寫速度、存儲容量以及成本控制方面都獲得了可觀的收益。

金山云EPC 云服務是金山云基于裸金屬服務器理念構建的創新型云服務產品，其可為地平線提供性能卓越的獨享物理服務器，通過安全、穩定、便捷的計算、存儲服務幫助地平線快速構建高性能的深度學習應用平臺。同時，金山云優秀的云網絡架構，也能讓地平線可以在云環境中方便地配置和使用物理服務器，既享受獨享物理服務器帶來的高性能，也能方便地獲取負載均衡、彈性IP等各類網絡服務，并可進行便捷的網絡部署與管理。

除了向地平線深度學習應用提供強有力的計算力支撐，金山云 EPC另一個重要任務是為其提供高效、可擴展的存儲系統。為應對不斷擴展的海量訓練數據集，地平線利用金山云 EPC 提供的彈性、易擴展能力，構建了基于Ceph的高性能分布式存儲系統。Ceph 開源分布式存儲系統將文件分割后均勻隨機地分散在各個 OSD 節點上，并采用CRUSH 算法來確定文件的存儲位置。通過解析集群的拓撲結構，地平線深度學習應用可以直接計算出文件的存儲位置，直接跟OSD節點通信獲取文件，而無需通過詢問中心節點來獲取文件位置。

這一“去中心化”的設計，不僅大大地提升了數據訪問與處理性能，更有效降低了金山云 EPC 存儲集群的管理復雜性，并顯著提高了可用性及可擴展性。同時，其采用存儲節點與訪問節點分離的設計，也使得地平線深度學習應用的 IO 請求上升時，可為其單獨擴充訪問節點來提高讀寫性能，從而帶來良好的彈性擴展能力。另外，Ceph 還對固態盤，以及分級存儲有著良好支持，這也能夠有效地提升數據讀寫效率。

深度學習對于存儲的性能要求尤為苛刻。在深度學習的模型訓練中，算法通常需要隨機讀取訓練集中的訓練樣本來進行訓練，像自動駕駛這樣的深度學習典型應用場景中，通常都是對于海量小圖片進行讀取，當訓練規模不斷增大之后，對于存儲系統的IOPS提出了極高要求。因此，地平線在利用深度學習方法研發 AI 芯片和算法過程中，對于海量數據的快速處理有著強烈的需求。

但是，傳統機械硬盤受制于其物理結構，其IOPS性能并不理想，在應對地平線深度學習應用所需的小文件高頻次讀寫需求時，難以勝任。如果采用全固態硬盤的方式，固然可以提高IOPS能力，但是昂貴的價格也會帶來巨大的成本壓力，并且會限制存儲系統容量的擴展需求。

為此，金山云 EPC存儲集群中采用分級存儲方案來實現性能與容量之間的平衡。非活動數據（冷數據）被存放在由12塊8TB 容量機械硬盤組成的存儲池中，而活動數據（熱數據）則被置放在由375GB版本的英特爾傲騰固態盤DC P4800X構成的緩存區中。當地平線深度學習應用對數據進行訪問和操作時，Ceph 分布式存儲系統的內部處理器將優先讀寫緩存區中的數據，如果數據不在緩存區中，Ceph 會通過請求命中算法、緩存刷寫算法、緩存淘汰算法等方式將數據從存儲池中“提取”到緩存區中。通過這一方式，既可使熱數據被高效地訪問和操作，縮短數據的訪問時延，也能以更合理的成本承載地平線深度學習應用所需的海量數據。

英特爾的傲騰固態盤可謂是讓地平線深度學習訓練如虎添翼。傲騰固態盤是基于創新的英特爾3D XPoint技術，以及一系列先進系統控制器、接口軟硬件構建的全新存儲產品。根據測試數據顯示，英特爾傲騰固態盤DC P4800X 的 隨機寫IOPS 最高可達 500,000，同時讀取響應時間低于10微秒，并可承受最高2 GB/秒的隨機寫入壓力。與傳統NAND介質的固態盤相比，傲騰在IOPS、低延遲以及穩定性方面有著突破性的提升，非常適合于大數據、高并發的應用場景。

此外，地平線還將傲騰固態盤來承載Ceph Journal。Journal 是Ceph 分布式存儲系統最重要的安全機制之一，一旦發生停電、宕機或其他意外事件時，Ceph 可利用Journal 進行系統重建。Ceph Journal中記錄著存儲系統事無巨細的數據，IO請求極為密集，采用傲騰固態盤來承載Journal，無疑讓Ceph讀寫性能獲得顯著提升。