阿里巴巴正在其下一代數據中心基礎設施中部署Alibaba Open Channel SSD,這是阿里在FAST 2018大會上宣布Open Channel存儲架構后的一個重要里程碑。
背景
Alibaba Open Channel SSD(以下簡稱AOC SSD)是阿里巴巴的第三款自制存儲產品,也是業界首款量產的Open Channel SSD。 它的部署不僅標志著阿里巴巴下一代存儲架構邁出了關鍵一步,也為創新的Open Channel生態系統奠定了基礎。
在今年2月舉行的2018年FAST大會上,阿里巴巴介紹了為其下一代數據中心所設計的軟件/硬件集成的存儲架構。 隨著人工智能、云計算和大數據應用的激增,新架構旨在應對數據中心的新挑戰。 這些挑戰包括:
(1)性能:對軟件/硬件協同優化的需求
(2)靈活性:多樣化和快速變化的工作負載需要更多的靈活性和自定義設置
(3)持續增長的成本和供應彈性
(4)應用程序需要控制I / O路徑以獲得確定性的性能。
(5)需要更快地響應在線問題。
傳統的標準SSD和專有的基于主機的SSD都無法有效地應對這些挑戰。 因此,阿里巴巴為下一代數據中心提出了新的軟件/硬件集成的存儲架構,其核心是Alibaba Open Channel SSD以及最上層的Fusion Engine存儲引擎軟件。
作為阿里巴巴新存儲架構的核心硬件,AOC SSD不僅提供透明的白盒設計和定制化功能,還提供標準化平臺。 定義AOC SSD平臺的AOC SSD規范由阿里巴巴根據其業務需求和案例編寫,與其他公司的“Open Channel Spec 1.2 / 2.0”無關。
AOC SSD架構的設計理念是開放性和協作性。 阿里巴巴一直在努力與供應商和行業合作伙伴共同建立AOC SSD生態系統。 目標是減少產品認證的時間和復雜性,提高供應彈性,以便所有參與者都能從中受益。
The AOC SSD 硬件
AOC SSD的核心是AliFSC,這是阿里巴巴首款定制的高性能存儲控制器。
AliFSC是為阿里巴巴Open Channel SSD定制的高性能控制器。 它有6核、16通道和PCIe G3x8接口,可與所有主流的3D TLC NAND組件配合使用,同時還支持QLC NAND,針對QLC固件的初步開發已經開始。
AliFSC支持AOC SSD規范中指定的所有命令,并提供硬件加速 ,這些命令包括系統元數據(MBR)管理,靈活的奇偶校,XOR引擎,多個寫入流,以及開放通道模式下的編程/擦除故障處理。
AOC SSD(AliFlash V3)的外形與標準的2.5英寸U.2 NVMe SSD相同。 因此,它與阿里巴巴數據中心內所有具有NVMe端口的服務器都兼容。 產品開發于2018年3月完成,隨后AOC SSD經過多輪軟件/固件優化,目前正在阿里巴巴的數據中心進行試運行。
The AOC SSD 軟件
AOC SSD與其主機端的軟件棧配合使用,以充分發揮其軟/硬件集成設計的優勢。 在硬件開發的同時,阿里巴巴為不同的應用開發了AOC主機端的軟件棧:
內核態的AOC SSD驅動程序和塊設備FTL。 這允許應用程序將AOC SSD用作通用塊設備,涵蓋大多數傳統應用。
用戶態的AOC SSD驅動程序,與阿里巴巴的Fusion Engine(用戶態存儲引擎)配合使用。 將整個I / O路徑移動到用戶空間可以顯著降低軟件開銷,這是阿里巴巴軟/硬件集成架構的關鍵優勢之一。
為阿里巴巴的應用(非塊解決方案)定制的用戶態的FTL解決方案。 這也是業界第一個完整的用戶空間開放式通道的軟件解決方案。
全套的管理,包括監控和測試工具,與阿里巴巴的DevOps基礎架構集成。
整個AOC SSD主機端的軟件棧由阿里巴巴開發,其與開源社區中的lightnvm解決方案不同。 事實上,AOC SSD主機端的軟件是迄今為止唯一能夠保證質量并且可以部署的開放式通道軟件解決方案。 此外,AOC SSD的用戶空間軟件也是業界首個完整的用戶空間開放式通道軟件解決方案。
The AOC SSD 軟硬件協同設計
AOC SSD與阿里巴巴的Fusion Engine合作,為阿里巴巴的業務部門提供軟件/硬件集成解決方案。 已經開發了幾種不同的解決方案。
內核態的AOC驅動和塊設備FTL
自AOC Block Device FTL開發以來,已經對ACL Block Device FTL進行了重大改進和擴展。 初步測試顯示隨機讀寫的IOPS分別達到了,700K和120K,超過了標準NVMe SSD的主要替代品。 除了基本的I / O性能之外,AOC SSD還與Fusion Engine軟件一起進一步優化了QoS功能,從而為高優先級應用程序提供了更低的讀/寫延遲。
高優先級應用程序的讀延遲。 平均延遲減少75%,99%延遲減少83%。
高優先級應用程序在混合工作負載中的讀/寫延遲。 平均讀/寫延遲分別降低了81%和99%,99%的讀延遲降低了49%。
用戶態的 AOC SSD軟件設計
使用用戶態的AOC SSD軟件,針對特定應用開發了定制化的FTL,以實現更高級別的軟件/硬件協同優化。 例如,阿里巴巴為Key-Value應用開發了“Object SSD FTL”,并在阿里巴巴的業務部門廣泛使用。 Object SSD FTL與阿里巴巴的用戶態KV引擎配合使用。 將AOC SSD的奇偶校驗作為對象暴露給KV引擎,并將內部垃圾回收與應用程序的壓縮操作相結合,KV-Object SSD解決方案有望將寫入放大系數降低4倍,延遲降低99% 到80%。
AOC SSD和標準NVMe SSD的對比如下:
The AOC SSD 生態
AOC SSD架構被設計為一個平臺。 阿里巴巴正在與主要的SSD供應商合作開發兼容的AOC SSD產品。 在這些合作中,SSD供應商負責SSD硬件和固件,而阿里巴巴則負責主機端軟件。 雙方合作共同開發和調試,以減少產品開發和資格認證的時間。 阿里巴巴正在數據中心部署供應商提供的AOC SSD產品,并逐步將AOC SSD部署到阿里巴巴所有的服務器中。
The AOC SSD 的未來計劃
作為阿里巴巴下一代存儲架構的核心硬件,阿里巴巴有一個關于AOC SSD的長期計劃。
近期:供應商提供的AOC SSD產品的大規模部署。
中期:AOC SSD的QLC版本,AOC SSD的超低延遲版本,基于FPGA / GPU進行加速。
長期:新的非易失性存儲介質解決,存儲/內存計算解決方案。
總結
阿里巴巴開放通道SSD的部署不僅是阿里巴巴下一代存儲架構的關鍵一步,也標志著阿里巴巴從追隨者向存儲技術領導者轉變。 AOC SSD的大規模部署將使阿里巴巴的基礎設施受益,使其在支持阿里巴巴的業務創新和全球化方面更具有效的競爭力.
-
數據中心
+關注
關注
16文章
4761瀏覽量
72035 -
存儲架構
+關注
關注
0文章
17瀏覽量
10103 -
阿里巴巴
+關注
關注
7文章
1613瀏覽量
47169
原文標題:Alibaba Open Channel SSD,阿里巴巴存儲架構的重要里程碑
文章出處:【微信號:SSDFans,微信公眾號:SSDFans】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論