在企業級或數據中心的存儲應用中,對固態閃存盤的特性有著比桌面應用更加嚴苛的多項要求。其中IO延遲穩定性和QoS(服務質量)是其中最重要的指標,其含義表征著SSD在各種場景輕重壓力下能否提供穩定的IO性能指標,將IO的抖動和延遲控制在盡量小的范圍內,而提升上層應用的響應。
近年神經網絡在各行各業有很多有趣的實際應用,其在模式識別、智能機器人、自動控制、預測估計、醫學和經濟等領域已成功解決了許多現代計算機難以解決的實際問題,表現出很好的智能特性。憶芯科技的技術團隊經過大膽創新實踐,在固態企業級算法領域,將神經網絡應用到SSD QoS算法調優中,獲得了相較于比傳統算法的大幅提升。為企業級SSD IO延遲穩定性和 QoS設計開辟了全新的思路和方向。
穩態性能是指什么?
關于SSD的性能測試有很多項,文章下面跟大家分享下PTS測試中的Write Saturation(WSAT)寫飽和測試的優化內容。PTS是固態存儲的性能測試規范,可參見《Solid State Storage Performance Test Specification 》
在PTS中,將SSD的性能狀態分為了3個階段:
a) 出廠階段(Fresh Out of the Box, FOB)
出廠狀態,一般稱為空盤狀態。SSD 的NAND區域沒有進行數據寫入, 安全擦除命令可以將設備恢復出廠狀態,該階段的寫性能可以達到峰值性能,SSD后臺任務不會啟動。
b) 轉換階段(Transition)
隨著非重復數據的不斷寫入,SSD的可寫空間變小,當降低到一定閾值時就會觸發SSD的垃圾回收(GC)任務釋放空閑空間。該階段性能下降較多,波動也較大,下降的幅度,取決于GC回收空閑空間的負載。
c) 穩定階段(Steady State)
當GC回收的負載和主機寫入負載趨于平衡時,SSD 的性能會逐漸平穩下來,并長期維持在這個狀態,稱為穩態。穩態性能對于企業SSD應用有很大的實際意義。
穩態性能的指標評估
穩態的性能不僅僅是IO處理的速度有多快,還要看處理IO是否平穩。衡量平穩的方式,一般有兩種:
a) 一致性=最小的IOPS/平均的IOPS
b) 一致性=超出平均IOPS的±5%的采樣次數/總的采樣次數
前者著重于表現單點向下跌落的程度,后者著重于表現上下振動的幅度。
傳統的Qos控制算法
傳統的控制算法(如自適應控制算法)的優勢在于處理該問題時,表現出在不同硬件(如NAND,DDR)配置下都有較好的性能控制能力。
但是,其難點是在轉換階段時容易出現擾動,并傳遞到穩定階段,影響IO的一致性。而且不同硬件配置下擾動的程度可能不同,所以還需要開發人員分別精心地調校。
下面我們來看下如何用神經網絡模型處理SSD的穩態控制問題,以及效果怎樣。
構建和準備數據
主機先要對SSD的性能參數調節模塊配置一組參數,然后在特定訓練的IO場景中對SSD發送IO命令,同時主機實時地采集SSD內部的性能監測模塊上報的各項工作數據。
抽樣的數據有很多,且時間段也較長,要能實際表示出實際情形,需要在后面的整個流程中,不斷反復且持續的進行工作并修正需要訓練的數據集。
構建和訓練模型
a) 建立神經網絡模型
為了方便理解,可將模型簡化為一個三輸入二輸出的模型。輸入輸出的參數如下:
輸入參數host_w_iops:采樣主機寫通路的IOPS
輸入參數host_r_iops:采樣主機讀通路的IOPS
輸入參數vtc:SSD內部啟動GC(垃圾回收)任務時,最小單位數據的有效數量
輸出參數host_w_limit:主機寫通路的流量限制參數
輸出參數gc_limit:GC通路的流量限制參數
注:流量限制是指單位時間(如100ms)內可以處理單元數據(一般是4K)的數量。
通過軟件定時器實現的單位時間精度一般是在ms毫秒級,憶芯科技的新一代主控芯片STAR2000在硬件上實現了流量管理功能,時間精度可以達到ns納秒級,精度相對提高了100萬倍。
b) 訓練模型
i. 分析收集到的數據集,配置給模型一組期望的目標值。
ii. 用收集到的數據集訓練神經網絡,并評估訓練結果,若目標偏差較大,需要反復迭代訓練該過程。
iii. 訓練完成后,將相關參數集部署到SSD中,并執行訓練場景的IO測試。
iv. 若實際結果與目標偏差較大,則反饋到前端進行調整。
v. 最后訓練完成后,就可以進入評估階段,驗證下實際的效果。
評估模型
a) 轉換階段:
從下圖中看到轉換過程中沒有超調的情況,在退出轉換階段時無明顯的擾動。
b) 穩定階段:
從下圖中可看到,使用神經網絡模型的方式,在振動的幅度上有一定的改善。單點向下抖動的程度也有一定改善,具體的一致性數值則從之前的91%提升至97%。
總結
較傳統企業級QoS優化手段,利用神經網絡模型可輕松實現應對各種復雜場景,并能實現更加精確的自適應參數調優,取得更高的IO穩定性。
然而,在嵌入式里執行神經網絡計算會帶來一定的計算開銷,新一代主控芯片STAR2000則專門集成了硬件神經網絡處理單元,結合8TOPS的算力,可以輕松應對新的業務挑戰。
神經網絡控制作為智能控制的一個新的分支,由神經網絡與控制理論相結合而發展起來,可以為解決復雜的非線性,不確定的控制問題提供一種新的途徑。
-
神經網絡
+關注
關注
42文章
4771瀏覽量
100718 -
SSD
+關注
關注
21文章
2857瀏覽量
117370 -
數據中心
+關注
關注
16文章
4761瀏覽量
72034 -
主控芯片
+關注
關注
2文章
198瀏覽量
24636
發布評論請先 登錄
相關推薦
評論