摘要: 深圳,坂田。冬日清晨的陽(yáng)光,透過(guò)綠意盎然的樹(shù)梢照在C區(qū)數(shù)據(jù)中心,一切很安靜。成千上萬(wàn)臺(tái)設(shè)備穩(wěn)健運(yùn)轉(zhuǎn)著,如同華為一顆跳動(dòng)的心臟,用信息流連接并協(xié)同全球一百多個(gè)代表處7*24小時(shí)全球化業(yè)務(wù)的運(yùn)作。這背后是一 ...
深圳,坂田。
冬日清晨的陽(yáng)光,透過(guò)綠意盎然的樹(shù)梢照在C區(qū)數(shù)據(jù)中心,一切很安靜。成千上萬(wàn)臺(tái)設(shè)備穩(wěn)健運(yùn)轉(zhuǎn)著,如同華為一顆跳動(dòng)的心臟,用信息流連接并協(xié)同全球一百多個(gè)代表處7*24小時(shí)全球化業(yè)務(wù)的運(yùn)作。這背后是一群默默支撐和堅(jiān)守的華為IT人。
財(cái)報(bào)!財(cái)報(bào)!
10月1日國(guó)慶,22:30,A10,IT保障團(tuán)隊(duì)辦公區(qū)燈火通明,財(cái)報(bào)支持組的十多位同事正在為季度財(cái)報(bào)的輸出緊張忙碌著。一份財(cái)報(bào)到底要處理多少數(shù)據(jù)?團(tuán)隊(duì)中曾有人做過(guò)一個(gè)有趣的測(cè)算,如果A4紙每頁(yè)厚度為0.09mm,將季報(bào)處理的數(shù)據(jù)用A4紙打印,即使是雙面打印其高度也有1萬(wàn)7千多千米,這接近2000座珠穆朗瑪峰的高度!本季報(bào)首次基于華為自產(chǎn)一體機(jī)承載,如此龐大的數(shù)據(jù)量對(duì)一體機(jī)運(yùn)行是極為嚴(yán)峻的考驗(yàn)。大家充滿了緊張與期待。
應(yīng)用支持工程師周立平緊盯著電腦屏幕,上面不停滾動(dòng)刷新著監(jiān)控?cái)?shù)據(jù)。不同IT系統(tǒng)中的數(shù)據(jù)流,就像小溪匯入江河湖海一樣,快速匯聚到華為數(shù)據(jù)中心的財(cái)報(bào)系統(tǒng),最后形成薄薄幾頁(yè)紙的財(cái)報(bào)。50GB/s,60GB/s,70GB/s……隨著信息洪峰的到來(lái),財(cái)報(bào)平臺(tái)的數(shù)據(jù)量逐步增長(zhǎng),接近警戒值。
突然,一個(gè)報(bào)警郵件發(fā)來(lái):某子公司存貨減值變動(dòng)XX億。怎么這么大的差異?已經(jīng)連續(xù)奮戰(zhàn)了14個(gè)小時(shí)的周立平不敢有一絲懈怠,馬上通過(guò)eSpace組織在線會(huì)議,保障團(tuán)隊(duì)中十幾年支持經(jīng)驗(yàn)的耿成江、和數(shù)據(jù)庫(kù)一體機(jī)朝夕相處的廖汐汶、深入了解業(yè)務(wù)邏輯的孫建華等迅速加入,一隊(duì)人馬兵分三路:?jiǎn)栴}定位、規(guī)避方案、資源協(xié)調(diào)。不到片刻,問(wèn)題定位組便確認(rèn)了底層平臺(tái)無(wú)異常,是數(shù)據(jù)處理邏輯出現(xiàn)問(wèn)題。
10月2日凌晨1:50,問(wèn)題終于解決。周立平臉上洋溢出勝利的喜悅,eSpace群組里的戰(zhàn)友們也紛紛冒泡點(diǎn)贊!
10月6日8:00,一條短信出現(xiàn)在她的手機(jī)上:Q3季報(bào)順利輸出,訂單量增長(zhǎng)35%,系統(tǒng)零故障……謝謝大家支持!周立平長(zhǎng)舒一口氣:華為一體機(jī)爭(zhēng)氣啦,比計(jì)劃提前了一天時(shí)間,還有兩天假期,終于可以在家好好陪陪寶寶了… …
穩(wěn)定?效率?
10月24日,成研A1食堂廣場(chǎng)。WIFI接入、AnyOffice、云盤、手機(jī)W3、手機(jī)eSpace、移動(dòng)審批、測(cè)試移動(dòng)化…… “有了研發(fā)IT2.0,在家辦公、測(cè)試、與會(huì)統(tǒng)統(tǒng)不是夢(mèng)!”IT人員向來(lái)往的同事熱情地推介。
然而,這邊在宣傳研發(fā)IT2.0的夢(mèng)想,另一邊,存儲(chǔ)卻出問(wèn)題了——2周內(nèi)故障反復(fù)爆發(fā),導(dǎo)致2次服務(wù)癱瘓。
存儲(chǔ)系統(tǒng)工程師張帆緊鎖眉頭,梳理解決方案的每一個(gè)細(xì)節(jié)。研發(fā)辦公應(yīng)用基于桌面云、計(jì)算云的支撐,資源共享越大,效率越高。IT聯(lián)合產(chǎn)品線設(shè)計(jì)實(shí)施“超大存儲(chǔ)資源池”的試點(diǎn)方案,但超大存儲(chǔ)資源池受瞬時(shí)大流量沖擊出現(xiàn)大面積癱瘓。要效率,還是要穩(wěn)定?存儲(chǔ)解決方案到底該如何優(yōu)化?
張帆試圖找到一個(gè)兩全之策。他找到存儲(chǔ)建設(shè)和運(yùn)維方面資深工程師吳家漢、汪自強(qiáng),充分聽(tīng)取了他們的建議,又和產(chǎn)品線同事反復(fù)討論,分析細(xì)節(jié):超大資源池相當(dāng)于“把雞蛋放到一個(gè)籃子里”,風(fēng)險(xiǎn)太過(guò)集中。最后大家決定參考“故障隔離、快速降級(jí)”的互聯(lián)網(wǎng)架構(gòu),建立“雞蛋分籃”的小資源池方案,即使一戶出現(xiàn)問(wèn)題,其他用戶可確保正常運(yùn)作,影響被控制在最小范圍。兵貴神速,當(dāng)成研路演隊(duì)伍剛返回深圳,存儲(chǔ)方案優(yōu)化已完成,并迅速實(shí)施。基于效率與穩(wěn)定的優(yōu)化方案成為后續(xù)IT2.0項(xiàng)目順利推行的保障。截至目前,華為內(nèi)部IT網(wǎng)絡(luò)提供了800+應(yīng)用,已上線20萬(wàn)虛擬機(jī)(桌面云10萬(wàn),計(jì)算云10萬(wàn)),全球帶寬總?cè)萘窟_(dá)到58Gbps,全球的存儲(chǔ)容量超過(guò)60PB。
問(wèn)題解決了,張帆在記事本上寫下這樣一句話:“技術(shù)也有博弈,有時(shí)候最好的方法并非做到某一方面的極致,而是在諸多方面中找到一個(gè)制衡點(diǎn)!”
IT系統(tǒng)雙活
春節(jié)IT容災(zāi)演練后,信息技術(shù)工程部便決定策劃和實(shí)施IT關(guān)鍵系統(tǒng)雙活改造。系統(tǒng)雙活指業(yè)務(wù)系統(tǒng)在兩套系統(tǒng)上同時(shí)運(yùn)行,兩套系統(tǒng)通常部署在不同的數(shù)據(jù)中心,當(dāng)某套系統(tǒng)出現(xiàn)問(wèn)題時(shí),另一套系統(tǒng)仍不間斷地提供服務(wù)。如果成功,將使系統(tǒng)應(yīng)用的可用性提升10倍以上,提升業(yè)務(wù)連續(xù)性保障水平。
如果把華為的IT產(chǎn)品看成一個(gè)個(gè)棋子,那么IT系統(tǒng)雙活就相當(dāng)于布局一盤大棋。由IT七級(jí)專家劉明榮牽頭,開(kāi)始新一輪緊鑼密鼓的奮戰(zhàn)。面對(duì)這個(gè)挑戰(zhàn),老劉還是有信心的,他在數(shù)據(jù)中心摸爬滾打了17年,還有精通數(shù)據(jù)庫(kù)且熟悉業(yè)界雙活方案的蘇燕強(qiáng)、對(duì)軟件包功能特性了如指掌的熊建湘、全面掌握Web平臺(tái)架構(gòu)的鄭學(xué)文、熟悉公司自產(chǎn)產(chǎn)品又清楚應(yīng)用場(chǎng)景的陳紹元等強(qiáng)強(qiáng)聯(lián)手的兄弟連。從方案探討、測(cè)試、論證到試點(diǎn)、上線,系統(tǒng)團(tuán)隊(duì)奮戰(zhàn)了整整9個(gè)月,梳理了12個(gè)關(guān)鍵源系統(tǒng)與上百個(gè)周邊系統(tǒng)千絲萬(wàn)縷的聯(lián)系,完成了鏡像系統(tǒng)的架構(gòu)設(shè)計(jì),采取集成驗(yàn)證、分批上線的策略,在系統(tǒng)正式啟動(dòng)雙活前做好了充分準(zhǔn)備。
11月, IT系統(tǒng)雙活進(jìn)入倒計(jì)時(shí):源系統(tǒng)退出,鏡像系統(tǒng)穩(wěn)健地承載了業(yè)務(wù)運(yùn)行!關(guān)鍵業(yè)務(wù)悄無(wú)聲息的改變運(yùn)行狀態(tài):系統(tǒng)雙活運(yùn)行成功!老劉和他的兄弟連開(kāi)心地笑了,這9個(gè)月來(lái)辛苦付出都在這一瞬間仿佛得到了最好的獎(jiǎng)賞。因華為IT率先在業(yè)界取得突破,不僅再一次證明了華為IT從應(yīng)用軟件到網(wǎng)絡(luò)、存儲(chǔ)、計(jì)算等系統(tǒng)平臺(tái)的綜合解決方案實(shí)力,也將更穩(wěn)定、高效支撐華為全球業(yè)務(wù)連續(xù)運(yùn)營(yíng)。
陽(yáng)光下華為數(shù)據(jù)中心,靜靜佇立。這個(gè)全球業(yè)務(wù)復(fù)雜性最高的專業(yè)平臺(tái),培育了一批批勇于追夢(mèng)的IT人,以安全、穩(wěn)定、高效的運(yùn)作支撐了公司的業(yè)務(wù)發(fā)展;它又像是全球最大的一塊試驗(yàn)田,無(wú)數(shù)華為自產(chǎn)產(chǎn)品正在這里孵化、催熟、走向卓越,插上夢(mèng)想的翅膀飛向全世界!
鮮花
握手
雷人
路人
雞蛋
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論