簡介

任何系統，硬件故障和軟件故障都不可避免。比如車載系統，由于汽車行駛過程中的震動，發熱，電瓶饋電等，很容易影響電子元件的特性，這對設備是致命的影響，會直接改變程序邏輯及運行結果從而產生各種不可預測的異常情況，本文描述常見問題的排查方法幫助快速排查定位問題所在也提出一些系統性設計來規避這些問題.

啟動流程初判斷

我們對穩定性分析第一手分析本上是從debug log開始,它可以直觀的給我們信息反饋, 想對debug log 中的問題進行判斷還需要我們對設備的啟動流程有充分的了解,在什么階段使用了哪些資源同時又有哪些硬件參與其中.

通過分割流程,細化加載過程可以對當前疑問點從合理性進行解釋，以高通啟動為例:

B -    381616 - clock_init, StartD -       183 - clock_init, DeltaB -    381860 - Image Load, StartD -     87230 - QSEE Image Loaded, Delta - (1541808 Bytes)B -    469120 - Image Load, StartD -       335 - SEC Image Loaded, Delta - (2048 Bytes)B -    506391 - sbl1_efs_handle_cookies, StartD -       671 - sbl1_efs_handle_cookies, DeltaB -    508282 - Image Load, StartD -     12383 - DEVCFG Image Loaded, Delta - (55764 Bytes)B -    521184 - Image Load, StartD -     20099 - RPM Image Loaded, Delta - (180504 Bytes)B -    541314 - Image Load, StartD -     52277 - APPSBL Image Loaded, Delta - (579748 Bytes)B -    593621 - QSEE Execution, StartD -       122 - QSEE Execution, Delta

從啟動流程可以知道每一個階段的啟動都包含著數據完整性檢查,當secboot開啟時還有合法性檢查; 通過這個幫助我們初步判斷異常位置明確下一步分析方向;

Nand Flash排查

針對nand flash的分析要先了解其構造;

Flash的內部存儲是MOSFET，里面有個懸浮門(Floating Gate)，是真正存儲數據的單元。

數據在Flash內存單元中是以電荷(electrical charge) 形式存儲的。存儲電荷的多少，取決于圖中的外部門（external gate）所被施加的電壓，其控制了是向存儲單元中沖入電荷還是使其釋放電荷。而數據的表示，以所存儲的電荷的電壓是否超過一個特定的閾值Vth來表示，因此，Flash的存儲單元的默認值，不是0（，而是1，而如果將電荷釋放掉，電壓降低到一定程度，表述數字0。

Nand Flash 存儲結構

Nand 的缺點數據讀寫容易出錯,所以一般都需要有對應的軟件或者硬件的數據校驗算法，統稱為ECC, 每一個頁，對應還有一塊區域，叫做空閑區域（spare area）/冗余區域（redundant area），而Linux系統中，一般叫做OOB（Out Of Band），這個區域，是最初基于Nand Flash的硬件特性：數據在讀寫時候相對容易錯誤，所以為了保證數據的正確性，必須要有對應的檢測和糾錯機制，此機制被叫做EDC(Error Detection Code)/ECC（Error Code Correction, 或者 Error Checking and Correcting），所以設計了多余的區域，用于放置數據的校驗值。

Oob的讀寫操作，一般是隨著頁的操作一起完成的，即讀寫頁的時候，對應地就讀寫了oob。

關于oob具體用途，總結起來有：

1.標記是否是壞快

2.存儲ECC數據

Nand Flash 結構

壞塊

為什么會出現壞塊?

由于 NAND Flash的工藝不能保證NAND的Memory Array在其生命周期中保持性能的可靠，因此，在NAND的生產中及使用過程中會產生壞塊。壞塊的特性是：當編程/擦除這個塊時，不能將某些位拉高，這會造成Page Program和Block Erase操作時的錯誤，相應地反映到Status Register的相應位。

壞塊的分類

總體上，壞塊可以分為兩大類

（1） 固有壞塊 這是生產過程中產生的壞塊，一般 芯片 原廠都會在出廠時都會將壞塊第一個page的spare area的第6個byte標記為不等于0xff的值。

（2）使用壞塊 這是在NAND Flash使用過程中，如果Block Erase或者Page Program錯誤，就可以簡單地將這個塊作為壞塊來處理，這個時候需要把壞塊標記起來。

壞塊如何檢測

壞塊的判斷方法非常簡單對目標塊擦除就可判斷是否是壞塊。

壞塊的影響性

判斷壞塊并不是技術難點,問題是在于當產生壞塊時系統穩定性如何去保障,這里就涉及到項目前期對整體穩定性設計;

根據固件格式大致可以分為三種:只讀鏡像,只讀文件系統和數據分區

1.只讀鏡像

這里只讀鏡像在固件中SBL ,LK,Boot.img 等等鏡像文件, 當鏡像存儲區域由于某種異常產生壞塊就會破壞數據的完整性;

只讀鏡像大部分只會在加載過程中讀取,后續運行在內存中,所以問題會在壞塊產生后的下一次啟動;

2.只讀文件系統

文件系統跟只讀鏡像比較類似,差別在于文件系統并不是一次全部加載校驗換句話說就是用哪里加載哪里,同樣原理如果加載數據因壞塊而導致失效系統也會崩潰;

3.數據分區

數據分區基本操作就是寫入和擦除,所以當壞塊產生時影響的是在分區中存儲的數據;

數據存儲根據使用功能的不同丟失的影響性也存在較大差異,文件系統中文件數據丟失表現為文件數據無法訪問或者文件不存在訪問失敗;但當重要配置文件丟失, 證書文件,加密裸數據丟失同樣會導致系統崩潰無法正常使用;

預防性設計

萬幸的是使用過程中產生連續三個壞塊的概率極低,這就給我們機會針對壞塊預防性設計;

那我們如何去解決這個問題呢?

了解壞塊的產生和影響性,可以知道想要規避壞塊需要我們在系統設計初就要考慮,在設備使用過程中有壞塊產生時如何保證系統的穩定性;

針對產生的影響性加強系統穩定性設計:

1.只讀鏡像&只讀文件系統

加大分區冗余度是可以降低壞塊是在數據區的概率也會避免連續壞塊導致燒錄失敗但會加大空間損耗,不過由于只讀鏡像基本不大可以選擇加大冗余;

只是降低損壞概率還是完全無法保證系統的穩定性, 鏡像分區設計可以幫助解決這個問題，通過啟動流程異常檢測可以幫助我們選擇完整分區進行加載并恢復損壞分區；

2種設計可以大大增加系統整體的穩定性，不過多分區設計要注意鄰區干擾要適當的分開；

2.數據分區

根據存儲數據的必要性可以分為重要分區和普通分區；

多分區設計也適用于重要分區 通過多個分區保存重要文件和數據可以避免數據缺失而引發的問題；

分區文件丟失通過備份分區恢復文件；

分區損壞先格式化問題分區后在通過備份分區恢復文件；

由于空間限制重要文件和數據要與普通分區

普通分區由于壞塊導致的異常完全可以通過格式化進行恢復；

Nand Flash Bit Flip

由于Nand物理特性最常見的異常問題就是產生Bit Flip(位反轉) ;

什么是Bit Flip?

所謂的位反轉，bit flip，指的是原先Nand Flash中的某個bit位，發生電容的0和1狀態的切換, 這種情況稱之為位反轉（Bit Flip）

Bit Flip 產生的原因？

借鑒業內總結產生Bit Flip原因有如下幾種：

1.漂移效應（Drifting Effects）

漂移效應指的是，Nand Flash中cell的電壓值，慢慢地變了，變的和原始值不一樣了。

2.編程干擾所產生的錯誤（Program-Disturb Errors）

此現象有時候也叫做，過度編程效應（over-program effect）。 對于某個頁面的編程操作，即寫操作，引起非相關的其他的頁面的某個位跳變了。

3.讀操作干擾產生的錯誤（Read-Disturb Errors）

此效應是，對一個頁進行數據讀取操作，卻使得對應的某個位的數據，產生了永久性的變化，即Nand Flash上的該位的值變了。

在Nand Flash使用過程中可以總結一下幾點：

1.讀取干擾：讀取 NAND flash page會對同一塊中附近的存儲單元產生干擾，過度讀取最終會導致存儲單元失去電荷丟失存儲的數據。

2. 長期數據保留：存儲在 NAND flash中的數據會隨著時間的推移而損壞（即使不使用）。

3. 高溫干擾：高溫可能會導致電荷逃逸。隨著溫度的升高，數據損壞的速度會迅速增加。

4. 電磁干擾：電磁干擾可能會導致電荷不穩定。

Bit Flip 判斷方法

我們知道Nand Flash 為了防止Bit Flip設計了ECC算法進行糾正位反轉數據，我們也可通過ECC來判斷Nand Flash是否產生了Bit Flip；

模擬page size 為2K ECC 能力為8 byte 的 ecc 分布 Layout

2048-byte page, 8-bit ECC, 8-bit NAND Flash

通過Layout 可以發現ECC 其實和OOB區域是Nand Flash 存儲的一部分，Bit Flip 產生的隨機性同樣也會影響 ECC數據和OOB 數據；

文件系統

這里要特殊說明下文件系統, 文件系統的問題可以分為兩種：

1.由于異常掉電導致數據寫入未完成，或文件處理邏輯未完成產生的系統性校驗錯誤;

2.文件系統數據存儲格式完全依賴于文件系統類型, 同時讀寫分區的頻繁讀寫, 空間占用大也導致位反轉在文件系統區域概率大大增加;

分析方法

Nand Flash 的Meta Data數據能直觀反應問題發生的原因，通過Dump Nand Flash數據可以快速排除存儲數據本身是否異常;

1.enable ECC dump Nand Flash數據就可以獲取當前ECC值；

2.使用相同固件在另一塊Nand Flash 中操作步驟1 獲取正常的Meta Data；

3.通過對比不同Nand Flash相同數據的ECC 值,可以幫助我們確定是否發生過位反轉；

而文件系統需要我們對文件系統機制有一定的了解進而分析異常原因；

Bit Flip 解決方法

多分區,多冗余的方法也同樣可以解決Bit Flip 問題;

只讀鏡像

只讀鏡像分區可以依賴通用的錯誤處理來解決異常產生后的行為,這樣可以做到處理行為統一;

文件系統

如果有安全考慮的情況下只讀文件系統可以依賴dm-verity功能進行異常檢查, 由于文件系統的復雜性針對讀寫分區的異常檢測點需要我們從概率性和必要性進行考慮異常處理的合理性;

還有一種Nand Flash 處于不穩定狀態的情況存在, 這種情況暫時沒有好的解決方案, 在重新燒錄后表現良好使用一段時間后產生大量Bit Flip 也無法通過檢測機制標記成壞塊,對特征值(0x55 0xaa)驗證表現正常;

如果懷疑是這種問題可以創建由隨機數組成的文件對問題區域進行寫入和讀取驗證, 同時也可加上低溫環境加大問題復現幾率;

DDR Bit Flip

還有一種位反轉在DDR中產生, 這種情況下產生的異常結果與Nand Flash Bit Flip基本一致, 區別在于Nand Flash ECC糾正范圍內可保證數據的完整性，而 DDR Bit Flip 會直接改變程序邏輯及運行結果從而產生各種不可預測的異常情況；

DDR 分析前我們已經通過啟動流程定位啟動階段，排除了是由于Nand Flash數據導致的異常，所以我們需要對DDR 進行診斷是否發生異常。在系統側可以依賴內存自我檢測方式Slub Debug、KASAN等進行檢測，但啟動階段會在各個階段遇到DDR Bit Flip無法依賴于系統側同時系統側診斷會受到內存分配Layout限制無法全局診斷；

SBL 是很多平臺固件加載的第一啟動鏡像，在SBl運行階段大部分內存以物理內存方式直接訪問，這樣我們可以利用這一性質進行內存診斷，回讀校驗可以幫助我們快速定位問題點；

導致DDR Bit Flip原因有哪些?

DDR 本身損壞導致Bit Flip的情況非常多這源于DDR 設計的復雜性, 能夠通過回讀校驗直接檢測出來的我們都可歸于DDR 本身問題

舉兩個特殊又比較常見的例子進行說明:

Margin問題

Magin 問題通常都是時序問題,問題的來源可能是設計或者材料上的缺陷導致;

DDR 的0和1是由基本電路控制門電路最終達到標準的"0","1", 如下圖所示當在T1時間內無法達到電壓閾值H1或者L1門電路將會切到另一端也就是Margin 導致的Bit Flip；

Row Hammere

ROW HAMMER 特性，指DDR 內存單元之間電子的互相影響，在足夠多臨近行列的訪問次數后讓某個單元的值從1變成0現象。

DDR 會定時刷新ceil電荷，但是每次對ceil讀寫的時候，會導致臨近的ceil電荷流失，如果針對特定ceil 進行高頻讀寫，那么會出現在刷新時間到達前，出現bitflip問題 。導致程序運行異常

Kernel crash

Kernel Crash的分析是一個老生常談的問題，本文從crash開始 通過啟動流程，Nand Flash，DDR逐一排除最后又回到crash 這里，Kernel 的分析方法與硬件設計和實際問題有關，所以本文不做專項介紹；

小結

本文只是工作經驗的總結并無太多細節展示，希望通過這種從宏觀到微觀剖析的方法幫助大家找到解決問題的思路，分析的方法有很多甚至法律上的“有罪論”、“無罪論”也可以幫助我們梳理當前的問題；

原文標題：mcp內核穩定性問題定位思路與方法

文章出處：【微信公眾號：Linux閱碼場】歡迎添加關注！文章轉載請注明出處。