師胡東旭談BDRP的底層設計以及核心模塊的研發
大?。?/span>0.3 MB 人氣: 2017-10-12 需要積分:1
標簽:bdrp(2015)
百度運維部高級工程師 胡東旭
百度運維部高級工程師,主要負責地圖/糯米的基礎組件研發(redis,nginx等)。有豐富的cache運維經驗,曾主導百度BDRP(Baidu Distributed Redis Platform)的底層設計以及核心模塊的研發–目前BDRP已在整個百度公司內得到廣泛使用。
以下為CSDN的小編對胡東旭先生的個人專訪內容,下面就讓他來告訴大家如何才能成為一名優秀技術人。以下是專訪內容:
CSDN:首先請您簡單介紹下自己、公司以及目前所負責的領域。
胡東旭:我是百度運維部高級工程師胡東旭,13年畢業于武漢理工大學,加入百度運維部后主要負責地圖以及糯米的cache存儲(redis、mognodb等)運維以及研發、目前專注在產品線的前端接入方向(速度優化、防劫持等)。
CSDN:您擔任百度運維部高級工程師期間,給您留下最深刻的人或事有哪些呢?
胡東旭:糯米是14年Q1割接到百度機房,穩定性由最開始接手時候的兩個9都不到做到了現在4個9,當中離不開大家的努力。組織上成立了糯米運維保障執行團隊,每次大型活動,相關運營/RD/QA/OP都會齊心協力為活動保駕護航。
CSDN:據我了解,您曾主導百度BDRP( Baidu Distributed Redis Platform)的底層設計以及核心模塊的研發,在研發期間遇到了哪些技術難點和挑戰?
胡東旭:1. 技術難點其實也是由糯米活動所引發的,背景是:糯米活動組織越來越頻繁,并且流水也逐漸升高,那么在活動期間的峰值流水很可能是平日期間的5-10倍,那么要在如此強度下仍然保障可靠的穩定性,就需要服務有高效的止損手段/預案。而BDRP之前是沒有考慮到止損效率,而運維部要求這一層的止損能力要在1分鐘內完成,這一環如果不能完成,那么糯米的止損能力就相當于缺了一條腿。
2.因而對于BDRP而言,如何做到1分鐘止損,這本身就是一個不小的挑戰。
CSDN:那么,您能具體和我們談談BDRP具體應用在哪些場景下?他們實現的原理又是什么?
胡東旭:1. BDRP應用的場景十分之多,一般分為兩種類型,一種是cache類,例如地圖的索引信息則存放在redis內,另一類是當作存儲類型使用,例如糯米的團單詳情信息是存在redis內的。
2.當作cache使用的,一般多為QPS高,數據頻繁更新的服務,而且多半都會利用redis的key淘汰策略。
3.而當作存儲類型使用的,一般是看中redis較為輕量級,易上手,比別的NoSQL支持的數據結構類型更多,并且開發模式比使用MySQL更加簡易。
CSDN:據我了解,您對Cache運維有著豐富的經驗,那么您能和我們具體談談嗎?
胡東旭:1.Cache運維我主要還是說redis。
2.Redis的運維其實主要需要關注這么幾個方向:
?。?)在RD調研cache/存儲選型的時候,就介入進來,或者說你給RD有好的準入標準,可供評估。(好的準入,是為了讓RD弄明白他的項目中需要哪種合適的cache/存儲)
(2)其次,對redis而言,所有的常用配置,基本原理,得做到心中有數。
?。?)cache運維并不是無腦式操作,你要做到心中有數,平日抽空多讀源碼。
(4)除了原理以外,運維上也有許多事情需要完成的,例如監控以及預案。一定要確保監控項覆蓋全面,但是從另外一個角度來說,想100%覆蓋所有監控,這個的確不容易,所以就需要有應對故障的策略/預案,并且定期頻繁演練,確保你的預案足夠健壯。
CSDN:您近期還會關注哪些技術熱點?
胡東旭:從底層而言,主要還會關注Docker等容器化技術;從前端技術而言,還會關注用戶訪問速度優化等topic,例如google的AWP技術等等。當然,這些需求其實都源于產品線。我更加推崇的是離業務更近一點,帶著產品線的需求而做技術/架構的變革,而不僅僅只是為了追求某項技術而研發。
CSDN:您認為作為一名優秀的技術人應該具備哪些素質?
胡東旭:1.嗅覺敏銳:你必須得時刻關注產品線需求,開源社區的熱門技術/國外優秀的技術前沿論文。
2.自驅力:時刻給自己充電,要不就落后于他人。
3.團隊協助:很多項目是需要一個團隊,甚至多個團隊一些協助完成的,一個單兵能力再強也有很大的局限性。
4.共享信息與樂于助人:有好的idea/技術,不要私藏,要學會分享,發揚出來。
5.敢于挑戰他人以及接受別人的挑戰:在挑戰中不斷成長,才不會當井底之蛙。
6.不盲從:以數據說話。
CSDN:在本次SDCC數據庫峰會上分享的話題是?
胡東旭:我本次在峰會上分享的題目是關于BDRP的架構原理以及實際運用場景。
CSDN:您最期待在本次SDCC數據庫峰會上聽到哪些內容?
胡東旭:我希望聽到更多業內對數據庫應用方面的實踐,比如像阿里的RDS等等。
?
非常好我支持^.^
(1) 100%
不好我反對
(0) 0%