在用戶至上、體驗為王、唯快不破的移動互聯網時代,借著在測試領域的七年工作經驗積累來簡單談談質量工程師可以參考的幾點工作思路。
思路一:關于質量和過程的兩個進階
其一,質量上的進階:從程序質量、用戶體驗再到產品品質。要引領品質,輸出QA的價值。
《京東技術解密》中有一段話,“技術需要分三步走,支持業務,驅動業務,再到引領業務”,受益匪淺,QA的質量價值輸出同樣也需要如此進階的過程:作為支撐部門,負責程序質量是我們工作的基本面,到達第一個層級“支持業務”;從程序質量到用戶體驗,驅動業務體驗迭代越來越好,做到第二個層級“驅動業務”。QA作為用戶的代言人,從體驗到品質,樹立產品的用戶口碑,以最好的體驗領跑市場,力爭第三個層級“引領品質”。
如下表格簡要列出“程序質量”、 “用戶體驗”、“產品品質”過程中的工程手段以及關鍵性指標。
第二,過程上的進階:從線下持續集成、灰度質量收斂再到線上質量監控。做全流程質量保障。
1. 持續集成 ,小步快跑,快速迭代。
持續集成是把線下測試能力,包括代碼檢查、編譯、自動化、性能、系統測試等集成起來,用自動化方式來統一質量標準并規范流程,將集成性問題盡早發現并充分暴露,同時驗證對其他模塊和整個系統的影響,提升系統管控能力,保證發布的時間確定性。
2. 灰度收斂,最少的用戶暴露盡可能多的問題并快速修復。
灰度能力建設包括精準推送(選取什么樣的用戶)、效果評估(發現問題)和止損修復(解決問題)。
3. 線上監控,QA的著力點應在業務質量和用戶反饋。
QA做業務質量監控可以考慮的兩個維度:用戶視角,橫向上質量標準體系呈現,一覽全局;全局視角,縱向上核心質量全景刻畫,云端各關聯模塊的信息聯動,預防和解釋業務變化的根本原因,見微知著。
在線上和線下兩個過程中的QA工作實踐中,會有很多同學碰到一些重線上還是重線下的困惑,實則線上和線下雙手都要抓,先線下再線上,用線上的問題來復盤線下。一方面移動互聯網時代場景、設備、網絡的復雜性加劇在線下收斂所有問題的困難度,而且所有線下工作最后都體現在線上,質量工作離不開線上;另一方面若不重視線下,會帶來線上更多的問題。每一個線上問題都值得好好復盤,為什么在線下不能發現,進而改進線下測試能力,不挖同一個坑。
用看過的一部勵志電影《The Great Debaters》能更好的描述清楚線上和線下兩件事情的關系, To do what we have to do then we can do what we want to do。
思路二: Top問題驅動閉環,立專項優化體驗
首先回答,什么是QA的top問題?我們可從質量、效率兩方面拆解:
一是產品上的用戶痛點,從用戶反饋和質量標準數據中尋找問題,往往對應的是業務線老大難問題,比如速度慢、視頻卡頓等。
二是工作上的效率痛點,在迭代周期中尋找那些效率低下的問題,比如自動化低,迭代中問題不收斂等。
堅持思考當下的top問題,你會為接下來的工作找到很多思路。
Top問題的解決方案包括發現問題、定位分析、解決問題 、效果衡量。思考本身的技術拆解,逐個擊破。比如業務線端上碰到的一個top問題是iOS視頻崩潰,每天幾十人的量反饋。這項問題優化可以拆解的技術為 1. 如何在線下復現這些崩潰,手工必然不靠譜,對應需要去做iOS場景的monkey測試,遍歷大量的視頻以及隨機快進后退操作來發現問題;2. 崩潰數據采集與分析 3. 崩潰的修復。
所以,學會堅持思考當天top 3、一個月top 3和半年top 3,從而為當天,短期、 長期訂下相關目標和計劃。通常top問題多是老大難的疑難雜癥,需要更多的韌力和堅持去攻克 ,需要具備積極的溝通和推動能力去協同多方角色一起解決。正是這些挑戰,在解決問題的同時也會收獲很多的個人成長。
思路三:兩個即上線原理:監控即上線、定位即上線,練就業務質量刻畫和分析能力。
一件事情,如果你無法很好地描述它,那么你不能進行衡量,如果你也不能衡量,那么你就不能很好的管理它。所以在功能迭代中,固有一項數據需求來源于產品,比如消費次數、使用頻率等,用來做產品維度的管理。同樣質量的管理,也需要同時產出一份質量數據的埋點需求。
問題一:質量數據需求從哪來?
站在用戶、產品的視角,基于對業務的理解形成判斷,列舉迭代需求中的核心功能以及用戶經常吐槽的高風險區域,進一步去衡量這些功能點的質量。提前把相關的數據預埋入產品中一同上線,上線了即可知道線上質量如何,一旦出了問題,有了數據,便能很快評估影響面、定位原因,而不會無從下手,到處抓瞎了。做到“監控即上線,定位即上線”,快速發現并解決線上問題。
問題二:要如何做到有效地預埋質量數據?
第一維度預埋監控數據:用戶可感知的質量數據,比如文件下載服務對應即是用戶感受最強烈的下載失敗率、失敗原因以及速度大小;
第二維度預埋定位數據:不符合預期的質量數據,比如文件下載一般對應的是多個鏈接并發下載,每個鏈接下載的成功率、來源服務器節點、錯誤原因等。
在這個數據預埋,收集及分析的過程能夠非常考驗人對業務的深度理解能力,刻畫和分析產品質量。
思路四:成為一名質量分析師,提升系統性思維,風險評估及安全意識。
相對RD代碼鉆研能力,QA所擅長的是全局產品觀、業務整體分析能力以及用戶視角思維。運用這些優勢服務于質量的最佳實踐之一即是質量分析。在思路III提供了大量數據的基礎上,系統級地剖析架構中的各項質量,定位出問題,哪些模塊又是長期薄弱環節需要優化的。
下面舉典型業務線的例子來講講兩個非常普適的質量分析方法。
A. SLA (從后往前,由服務質量到體驗質量):以接口調用鏈進行分解和關聯,衡量指標有接口訪問成功率、錯誤碼分布以及響應時間這些指標。
如圖1所示,按架構將服務分層分模塊,每個層級中的每個模塊都有對應的sla來衡量其服務的穩定性狀況,能夠清晰的度量出當前產品的質量全景穩定性;進一步,按業務邏輯梳理出關聯關系,哪個模塊的不達標一則逐步向功能層級遞進,能夠判斷出對用戶當前影響的功能。
B. 業務質量 (從前往后,由體驗質量到服務質量) :用業務數據流將用戶可感知的體驗質量分拆到各模塊對應的業務質量指標。圖2所示是拿視頻播放體驗的用戶感知到的體驗質量如卡頓、失敗率拆解到網絡、服務中去的轉碼失敗率以及用戶本身網絡等指標。如果用戶維度的體驗變差了,看視頻變卡了,那么能從全鏈路的各環節中的關鍵性質量指標中找到癥結并相應解決。
-
工程師
+關注
關注
59文章
1569瀏覽量
68510
發布評論請先 登錄
相關推薦
評論