距離 2022 年 10 月 27 日馬斯克以 440 億美元完成 Twitter(現(xiàn)更名為 X 平臺)私有化交易已然過去整整一年的時間。這一年里,馬斯克大刀闊斧地改革,譬如?大裁員、重構(gòu) Twitter 2.0、下場親測各種功能、要求員工到辦公室上班....?..種種操作之下,不斷地刷新了外界對于這位 CEO 以及最新 X 平臺的認(rèn)知。
更讓人稱奇的是,Twitter 在曾經(jīng)有大約 8000 名員工,現(xiàn)如今只有 2000 名不到的情況下,平臺依然運行良好,還上線了不少新的功能,這究竟是怎么做到的?
2023 年 10 月 27 日,X 平臺的工程團(tuán)隊最新發(fā)布了一篇長帖透露了該平臺運行的現(xiàn)狀,以及其逆風(fēng)而行之下采取的“下云”實踐。短時間之內(nèi),這篇帖子已經(jīng)吸引了 3618 萬的關(guān)注度,更引發(fā)了數(shù)千條的評論。
馬斯克以 440 億收購 X 平臺這一年
在這篇帖子中,X 平臺工程團(tuán)隊表示,“這一年 X 平臺實現(xiàn)了工程卓越性進(jìn)步,有時可能會被忽視”,進(jìn)而其回顧了過去一年這個知名社交媒體平臺在架構(gòu)上所做出的改變。
詳細(xì)來看,X 平臺內(nèi)部進(jìn)行的一些最重要的改進(jìn)如下:
圍繞一個統(tǒng)一的產(chǎn)品框架,整合了"For You"、"Following"、"Search"、"Profiles"、"Lists"、"Communities"和"Explore"的技術(shù)堆棧。
從頭開始完全重建了"For You"的服務(wù)和排名系統(tǒng),導(dǎo)致代碼行數(shù)減少了90%,從 70 萬行減少到 7 萬行,計算占用減少了 50%,每次請求中評分的帖子吞吐量增加了 80%。
統(tǒng)一了"For You"和視頻個性化以及排名模型,顯著提高了視頻推薦質(zhì)量。
重構(gòu)了技術(shù)堆棧的 API 中間件層,簡化了架構(gòu),去掉了超過 10 萬行代碼和數(shù)千個未使用的內(nèi)部端點,并消除了未被采納的客戶服務(wù)。
將帖子元數(shù)據(jù)獲取延遲降低了 50%,全球 API 超時錯誤降低了 90%。
阻止了機器人和內(nèi)容抓取,速度比 2022 年增加了 37%。平均每天我們阻止了 100 多萬次機器人注冊攻擊,減少了 95% 的直接消息垃圾郵件。
關(guān)閉了薩克拉門托數(shù)據(jù)中心,重新配置了 5200 個機架和 14.8 萬臺服務(wù)器,帶來了每年超過 1 億美元的節(jié)省。總共,X 平臺釋放了 48 兆瓦的容量,重新配置了 60,000 磅的網(wǎng)絡(luò)梯架,然后將其提供給其他數(shù)據(jù)中心。
優(yōu)化了 X 平臺對云服務(wù)提供商的使用,并開始更多地在本地進(jìn)行。這一轉(zhuǎn)變使 X 平臺的月度云成本降低了 60%。X 平臺的工程團(tuán)隊所做的變化之一是將所有媒體/數(shù)據(jù)塊工件從云中移出,這將其云數(shù)據(jù)存儲大小降低了 60%,另外,該團(tuán)隊成功地將云數(shù)據(jù)處理成本降低了 75%。
建立了本地 GPU 超級計算集群,設(shè)計、開發(fā)并交付了 43.2Tbps 的新網(wǎng)絡(luò)結(jié)構(gòu),以支持這些集群。
擴展了網(wǎng)絡(luò)主干容量和冗余性,每年節(jié)省了 1390 萬美元。
開始自動化的高峰流量故障轉(zhuǎn)移測試,以持續(xù)驗證整個平臺的可擴展性和可用性。
在上述所做的 11 項調(diào)整列表中,最吸引人注目的無疑是 X 平臺開始嘗試“下云”帶來的成本變化。
回顧技術(shù)圈的發(fā)展歷程,隨著互聯(lián)網(wǎng)的普及、虛擬化技術(shù)的發(fā)展、大數(shù)據(jù)和分布式計算需求的涌現(xiàn),越來越多的傳統(tǒng)企業(yè)開始轉(zhuǎn)型,采用按需的方式付費,避免了昂貴的硬件和基礎(chǔ)設(shè)施投資,這使小型和中型企業(yè)能夠以更低的成本獲得彈性計算資源,上云由此也成為技術(shù)演進(jìn)的一種必然趨勢。
然而,就在上云如火如荼地進(jìn)行了十多年之后,綜合成本控制、數(shù)據(jù)隱私、安全性或者業(yè)務(wù)需求的改變等因素,一股“下云”的風(fēng)潮悄然刮起,如今 X 平臺便是最新實踐者之一。
節(jié)省資金,X 平臺選擇“下云”
事實上,“上云”亦或是“下云”,究竟是節(jié)約成本,還是增加成本,主要是因企業(yè)規(guī)模的不同而具有差異化,對于 X 平臺而言,在今年早些時候,外媒 CloudZero 曾做過剖析。
其中,Twitter(現(xiàn)為 X 平臺)在 2020 年 12 月宣布將使用 AWS 為其主時間線提供支持。當(dāng)時,只知道兩家公司簽訂了一份“多年期”協(xié)議,即 Twitter 和AWS 將合作擴展社交媒體平臺的基礎(chǔ)設(shè)施、更快地發(fā)布功能并擴大其服務(wù)組合等,但其并沒有對外透露過具體合作協(xié)議的數(shù)額。
直至今年 3 月,The Information 在一篇報道中披露,Twitter 和 AWS雙方簽訂了一份為期五年半、價值 5.1 億美元的合同。除了與 AWS 簽訂協(xié)議之外,更早之前,Twitter 還和 Google Cloud 簽訂了一份價值 10 億美元的合同。
同時,按照原來的協(xié)議,無論 Twitter 是否使用 AWS 的容量,其都同意向亞馬遜支付費用。
然而,一切在馬斯克接管 Twitter 之后,發(fā)生了巨大的變化。馬斯克后來在梳理 Twitter 整體業(yè)務(wù)時,驚訝地發(fā)現(xiàn) Twitter 現(xiàn)金流為負(fù)、仍未實現(xiàn)盈利,這也才有了文章伊始所提及他對 Twitter 做的一系列調(diào)整,并盡可能地去節(jié)約成本,自然云基礎(chǔ)設(shè)施的成本也在考慮范疇。
后來,Twitter 關(guān)閉了在收到過多流量時使用的一些額外服務(wù)器容量,也嘗試與 AWS、Google Cloud 和 Oracle 重新談判有關(guān)云服務(wù)的合同,但有消息稱,供應(yīng)商不愿意重新談判。對此,外媒 The Information 也爆料稱,那時的 Twitter 共拖欠亞馬遜 AWS 近 7000 萬美元服務(wù)費。
當(dāng)然,對于這筆資金,Twitter 是否有償還尚未可知。但是通過其工程團(tuán)隊的最新推文,顯然 Twitter 已經(jīng)通過了「下云」節(jié)省了一筆不菲的資金支出。
“下云”真的能省錢嗎?
面對 X 平臺公開“下云”帶來的最新成本變化,被視為軟件天才的Ruby on Rails創(chuàng)始人DAVID HEINEMEIER HANSSON(簡稱 DHH)在第一時間發(fā)表了一篇《X celebrates 60% savings from cloud exit》(X 慶祝退出云后節(jié)省了 60%)的文章,他評價道:
「X 平臺已經(jīng)將 #CloudExit 作為其節(jié)約成本計劃的關(guān)鍵組成部分。X 平臺通過將工作從云端轉(zhuǎn)移到他們自己的服務(wù)器上,每月的云成本降低了 60%。根據(jù)早期的報告,X 每年向 AWS 支付 1 億美元,所以如果我們以這個數(shù)字為基礎(chǔ),他們目前正在云退出成就上節(jié)省 6000 萬美元/年。太不可思議了!
......
CFO 和投資者不會對此視而不見。如果像馬斯克正在證明的那樣,可以用四分之一的員工運營像 X 這樣的操作,并且仍然能夠從"下云"中獲得巨大利潤,那么你就知道在許多情況下,大多數(shù)大型公司離開云計算都有巨大的節(jié)約等待著被釋放。」
作為“下云”深度支持者,DHH 在今年 2 月便聲稱,自家應(yīng)用程序在“下云”之后,預(yù)估將正在未來五年內(nèi)節(jié)省約 700 萬美元的服務(wù)器費用,而不用改變現(xiàn)有的運維團(tuán)隊規(guī)模。
為了詳細(xì)說明,他還算了一筆賬:
在 2022 年,其在云上花費了 320 萬美元。其中將近 100 萬美元用于在 S3 中存儲 8PB 的文件,完全在多個區(qū)域進(jìn)行了復(fù)制。剩下的約 230 萬美元用于其他一切:應(yīng)用服務(wù)器、緩存服務(wù)器、數(shù)據(jù)庫服務(wù)器、搜索服務(wù)器等等。
這是其打算在 2023 年將云成本降至零的部分,并考慮在 2024 年退出 S3 中的 8PB 數(shù)據(jù)。
在經(jīng)過深思熟慮、許多基準(zhǔn)測試以及對 AMD 的新 Zen4 芯片與 Gen 4 NVMe 驅(qū)動速度考量之后,其打算向戴爾下訂單,大約 60 萬美元左右。
在云計算時代,花 60 萬美元購買一堆硬件可能聽起來很多。但如果在保守的五年內(nèi)攤銷,每年只需 12 萬美元!
當(dāng)然,這只是硬件的費用。它們還必須連接到電源和帶寬。其目前通過 Deft 在兩個數(shù)據(jù)中心之間每月花費大約 6 萬美元來租用八個專用機架。然后,故意過度配置了空間,因此實際上只需要將所有這些新服務(wù)器放在現(xiàn)有機架中,而不需要更多的空間或電源。因此,支出仍然約為 72 萬美元/年。
這總共是每年 84 萬美元的費用。與云計算的 230 萬美元相比,其將擁有更快速的硬件、更多的核心、極為便宜的 NVMe 存儲,以及以非常低的成本擴展的空間(只要我們?nèi)匀豢梢苑湃朊總€數(shù)據(jù)中心的四個機架中)。
粗略地說,這可以讓其每年節(jié)省 150 萬美元。在此期間留出 50 萬美元用于不可預(yù)見的費用,五年內(nèi)仍然節(jié)省了 700 萬美元!
與此同時,DHH 表示,#CloudExit 很可能正處于走向主流的關(guān)鍵時刻。
“下云”是控制成本最有效的方式?
不過,對于現(xiàn)在不少還處于云業(yè)務(wù)轉(zhuǎn)型過程中、以及從“云”種受益的很多公司而言,其無法認(rèn)同“下云”的這一步操作。來自 HN 上的用戶更是直言:
譬如 X 平臺,他們在云計算上的花費減少了 60%,在本地完成了同樣的工作,而成本卻沒有說明。而他們(和 DHH)顯然認(rèn)為,在描述他們的成就時,成本核算(即使是模糊和初步的方式)并不重要。
也有用戶 @HillRat 認(rèn)為:
Twitter 確實與 GCP(Google云端平臺 ,Google Cloud Platform)簽訂了一份非常糟糕的固定成本合同,導(dǎo)致他們有大量未使用的云容量,而這些云容量的價格卻過高。關(guān)閉數(shù)據(jù)中心可能會給他們留下大量的資本化設(shè)備,他們可以將 GCP 托管的數(shù)據(jù)處理轉(zhuǎn)移到這些設(shè)備上。
換句話說,這些節(jié)省可能并非來自實際的技術(shù)效率,而只是擺脫了糟糕的合同狀況,并利用了大量已經(jīng)獲得的硬件。(此外,X/Twitter 可能也無法使用 Twitter 所要求的報告和分析基礎(chǔ)設(shè)施,因此關(guān)閉這些設(shè)施在業(yè)務(wù)流程上也不會有太大損失)。
對此,你怎么看待“上云”vs“下云”的趨勢?
-
代碼
+關(guān)注
關(guān)注
30文章
4799瀏覽量
68728 -
云數(shù)據(jù)
+關(guān)注
關(guān)注
0文章
117瀏覽量
16625 -
馬斯克
+關(guān)注
關(guān)注
1文章
825瀏覽量
21358
原文標(biāo)題:瘋狂馬斯克“下云”:X 成本降低 60%,部分功能代碼從 70 萬行減少至 7 萬!
文章出處:【微信號:LinuxHub,微信公眾號:Linux愛好者】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論