DPU能否使算力“狂飆”？ |華泰證券對談中科馭數創始人、CEO鄢貴海

近期，中科馭數創始人、CEO鄢貴海受邀參與華泰證券播客欄目《泰度VOICE》，與華泰創新投資總監劉誠圍繞人工智能三要素之一“算力”，展開一場非常硬核、燒腦的科技向對談。

在節目中，鄢老師深入淺出地探討了數據處理單元（DPU）的技術原理及應用場景，對于算力提升面臨的難題和產業意義，他詳細解釋了DPU作為算力底座中的關鍵組成部分，如何通過連接各種算力節點和構建算力資源池來提高效率。同時，他也分享了科學家創業的心路歷程，強調了科技創新與商業應用的緊密結合對推動科技發展的重要性。

以下為對話實錄：

01

光有CPU和GPU還不夠，DPU構成連點成網的“高鐵系統”

華泰創新劉誠：鄢老師您能不能深入淺出地解釋一下，如果說算力是 ChatGPT一個非常重要的基座，那么 DPU 在這里面扮演一個怎么樣的角色？

中科馭數鄢貴海：算力主要來自于計算能力，而計算能力主要源自于芯片、網絡以及各種生成數據和需要處理數據的應用。因此，算力的底層基礎是各種數據中心，它們采用服務器集群部署，配備不同的網絡設備，將所有可進行計算、存儲和傳輸數據的基礎設施連接在一起，形成一個有機的整體。這就是我們所說的算力底座。

在算力底座中，我們有許多不同類型的處理單元（PU），比如最常見的中央處理器（CPU）、圖形處理器（GPU），還有操作系統以及我們每天使用的各種應用程序。然而，對于當前的大型模型或復雜的人工智能算法來說，需要將海量的算力節點連接成一個巨大的算力池，僅僅依靠CPU和GPU是不夠的。那么誰來連接它們呢？數據處理單元（DPU）將在其中發揮非常重要的作用，它負責將所有的算力節點連接起來，形成一個算力資源池。

如果將一個處理單元（PU）比作一座城市，那么DPU就相當于城市的高鐵系統。我們現在可以當天往返于北京和南京，這在以前是很難想象的，但現在我們擁有了高效的交通體系。同樣道理，應用到算力的基礎設施上，我們也需要將節點間的效率進一步提升，將整個算力連點成片、連片成網。DPU在這里面就會發揮像今天的高鐵系統一樣的作用。

02

能效比是算力重要的評價維度

華泰創新劉誠：結合當前信息科技領域的前沿，比如說云計算、東數西算、算力網絡等等，你能不能給大家解釋一下算力對于各個產業的重要性？

中科馭數鄢貴海：最直接的比喻，是把算力當成電力一樣去理解。假設今天如果我們沒有手機、沒有電腦，你會覺得工作沒法開展。原因是你的工作是要建立在大量的數據基礎上。對于今時今日的算力，已經不僅僅是說處理數據那么簡單。很多時候即便沒有對這些數據發出明確的指令，其背后也有一個巨大的系統對數據進行分類，挖掘數據的價值。我們每個人手機里面的APP會根據你現在處的場景，主動地給你推送定向消息。這些在后臺處理數據的業務所消耗的算力，也許大于你真正指定的任務所消耗的算力。背后加工的過程就是算力發揮作用的過程。

對算力的評價標準其實有很多，其中重要的一點是能效比。對于需要數據中心去支撐業務運行的場景，用越經濟、能效比越高的算力，肯定比用能耗更高的算力更有優勢。

從算力的分類角度來看，我們可以將天氣預測、地震模擬、風洞碰撞模擬等等場景稱為超算應用，它們非常依賴海量計算，對效率要求嚴苛，但對外部網絡的要求不太高。另外，像當前熱門的Chat GPT模型則被稱之為智算應用，顯然需要一個大規模的數據中心來進行模型訓練、模型推理。此外，在大數據領域中也存在一些特殊的算力需求，比如支撐100萬人搖紅包的系統，這種算力又跟前面兩種算力不一樣，每個用戶所需的計算量并不大，但需要處理海量用戶同時接入服務，它對于并發度的要求就非常高。

03

市場需求和落地場景是我們啟動產業化的背景

華泰創新劉誠：我也想回到您創業的初衷來談談行業。在成立中科馭數之前，您的身份是一名科學家，當時是發現行業內存在的一些普遍問題，想通過 DPU 這樣的一個切入點來解決？能不能從您創業的初衷來聊一聊現在DPU的進展。

中科馭數鄢貴海：當時做DPU時，首先關注到了需求。在研究計算系統的過程中，我們注意到越來越多的業務在傳統數據中心等基礎設施上運行時成本不斷上升。數據中心的 CPU利用率，在搭載了各種云的基礎設施后，即使在空閑狀態下，仍然有20%-30%處于繁忙狀態，這就證明整個系統至少有20%-30%已經變成了為支撐這些基礎設施而消耗的算力，這就是所謂的數據中心的“稅”。

更為嚴重的是，這種情況已不僅僅是消耗資源的問題，更是直接降低了性能。例如，我們發現在云計算中，不同機器之間的通信時延遠遠高于物理機之間的通信延遲。這個延遲增加是由于大量的網絡虛擬化引起的。而DPU的出現正是為了直接解決這種性能問題。

我們在需求側看到了特別剛性的需求。我們都知道，證券交易系統、風控系統，對于延時的要求都是很高的，因為延遲控制對整個交易市場的流動性和運行效率起著關鍵作用。時延從毫秒級降低到微秒級，相當于有3個數量級的差異。我們無法僅依靠在上層軟件上進行簡化，必須在硬件鏈路和網絡協議棧上得到技術支撐。對于這些要求，傳統的計算體系很難直接支持。因此，我們認為通過使用貼近網絡的數據處理單元（DPU）這樣的組件，可以解決這個問題。

技術的成熟度是確保我們的產品從創新階段過渡到成熟商品的必要條件。大約2018年左右開始著手開發DPU時，基本具備了必要的條件。唯一缺少的是市場教育，因為DPU在過去并不存在，現在我們需要讓用戶群體了解并認識DPU的重要性，以免對這個新穎且創新的產品的成熟度產生過多懷疑。為了讓市場和客戶對DPU產生信心，我們需要提供一些實實在在的案例。只有這樣，我們的DPU才能順利從研發階段進入市場。

04

讓CPU干DPU的活，

相當于讓公司研發人員搞行政

華泰創新劉誠：剛才你提到了數據中心”稅“這樣一個話題，是否有可能對其進行量化？

中科馭數鄢貴海：大約2016年左右，谷歌的研究團隊對谷歌云上的服務器利用率進行了統計，發現整個數據中心稅的值大約在25%到30%左右。這個數據讓人們相信，僅僅這個業務就可能導致性能開銷達到百分之二三十。

我們自己也做過類似的實驗。由于需要處理網絡數據，需要先將數據從網絡中抓取下來，放到本地供本地應用使用。這個過程需要由CPU運行一個解包程序，也就是網絡協議。運行協議時會消耗算力，而這個算力的需求取決于數據包的速度。如果數據包的速度很高，CPU可能需要更多的處理器核來處理。而如果數據包比較少，可能就不需要那么多算力。

如果將25G的數據鏈路打滿，大約需要四五個至強處理器來處理。舉個例子，對于一個擁有8個核心的高性能桌面機來說，如果要接入一個全帶寬的網絡應用，大約有一半的核心可能會用于網絡處理。這實際上是一個巨大的開銷。

華泰創新劉誠：對于CPU來說，云和虛擬化是一種負擔，他們需要將這部分負擔卸載到DPU上來解決。

中科馭數鄢貴海：可以這么理解。我們也有一個觀點，云和虛擬化并不是導致數據中心稅的“罪魁禍首”，我們認為這是必須付出的成本。就像你要協同100臺機器工作，它們不會自動協同，可以理解為當一個組織要高效工作時，必須承擔一定的開銷，即管理成本。這種管理成本是必要的，是不可避免的。只是你要讓誰來承擔這些任務。如果你讓CPU來處理的話，看起來就像是一種開銷。但是如果你將這些功能從CPU中剝離出來，讓更適合完成這些任務的部件來處理，那么開銷就會大大降低。

就像一個公司，它總是需要人事和行政部門，如果讓公司的研發人員天天負責招人，效率會很低。但如果找一個專門的人力資源部門來做這個工作，效率就會更高。

05

通過“軟硬結合”，

做到逼近極限的“低時延”

華泰創新劉誠：據我了解，中科馭數除了硬件產品之外，也有軟件產品，例如HADOS軟件開發平臺和NDPP超低時延計算開發平臺。一個芯片公司為何要在軟件上投入如此多的精力？

中科馭數鄢貴海：對芯片本身也分很多種，不同類型的芯片有不同的特性，尤其是像DPU這樣的系統級芯片，對軟件的依賴程度非常高。與終端設備如Wi-Fi和藍牙芯片等有所不同，DPU和GPU、CPU等芯片更加復雜。僅僅通過端口測試和信號測試來評估一個芯片的性能是不夠的，因為最重要的是如何讓其他人能夠有效地使用它。為了確保所謂的“最后一公里”連接的暢通，我們認為必須對DPU的底層軟件系統進行精細的開發。

同時注重軟件和硬件的團隊一直是中科馭數的理念。我們不僅追求芯片在主屏性能、延遲、面積和功耗等方面的優化，還希望它能與現有的庫和中間件進行無縫對接。它之所以能做到那么無感的切換，就是因為我們在底層做了非常完善的軟件層的對接。因此，我們需要投入大量的軟件研發資源來實現這一目標。

華泰創新劉誠：那您能不能給我們再延伸地去說一下，哪些廠商你期待著把中科馭數的產品嵌入到它的軟件或硬件上去，比如數據庫、操作系統、云等等？

中科馭數鄢貴海：這實際上涉及到產品生態的問題。剛剛您提到的這幾個大類，可以概括為終端軟件。終端軟件代表了我們整個應用生態系統中的一些主要玩家，例如操作系統。當我們開發DPU時，它必須與當前的操作系統進行適配和兼容，也包括操作系統下的算力平臺所使用的各類CPU、GPU，DPU都要逐一兼容，以確保操作系統上的用戶可以無感地使用它們。對于DPU來說，這是最好的狀態。

另外，還有一些基礎應用型的系統，比如數據庫。傳統上，如果你想提高數據庫的性能，你需要具備強大的硬件調優能力。事實上，如果我們回顧一下數據庫和操作系統的發展，可以看到它們是相對獨立發展的，這意味著數據庫用戶或數據庫開發社區本身也具備了較強的硬件調優能力。在這方面，我們希望DPU的許多高性能網絡等功能可以暴露給這些基礎系統軟件的調優界面。例如，在分布式數據庫中，我們可以將某個表放在遠程節點上，使用DPU支持的DMA機制進行調用，以提高性能。

因此，這又是一個需要將功能暴露給底層技術軟件廠商的案例。基礎軟件需要更底層的接口，并為它們提供性能調優的空間。因此，我們希望將所有這些整合到同一個系統中。

華泰創新劉誠：中科馭數從軟件或硬件層面，針對不同的場景或者不同的使用對象，都有哪些軟硬件的產品？

中科馭數鄢貴海：NDPP超低延遲計算開發平臺就是我們非常典型的案例。我們“N”取的是Nano（納秒），也是希望產品最終的延遲能夠接近納秒。作為一個超低延遲計算開發平臺，主要面向一些對延遲非常敏感的場景，意味著網絡側的應用可以基于我們的超低延遲開發平臺構建核心應用程序。在這個平臺上，我們為您提供了許多低延遲的物理鏈路，相當于我們為客戶構建了一個電路交換系統。在通信時，您不再需要通過發送電報，而可以直接撥打電話，這比之前要快得多。

06

科技創新引領經濟發展新趨勢

中科馭數鄢貴海：作為硬科技方向的投資人，您背后的主要驅動力是什么？主要的投資邏輯是什么？

華泰創新劉誠：硬科技是一條沒被大家充分關注，但非常重要的賽道。未來的投資主線將越來越多地由硬科技驅動。中國的創新力量，已經部分進入了深水區，而投資主題的轉移也與中國經濟發展的大背景和需求密切相關。20年前，中國主要從事制造業和來料加工等傳統經濟模式，硬科技投資主題并不突出。因為在那種模式下，利潤回報更快，投資更容易，產出也更高。然而，隨著經濟發展邁向更高的臺階，中國正在逐漸轉變為創新驅動型、知識驅動型和科技驅動型經濟，這是一個經濟體發展的必然結果。

我認為單純追求冷或熱都是不正確的，這同樣適用于技術方向。如果沒有經歷冷熱的交替和反復的捶打，很難在技術發展中找到共識，也難以鍛煉出真正能夠解決市場問題和滿足需求的技術。這種冷熱交替可能會發生無數次，最終只有那些經過冷熱交替、真正能夠為客戶解決問題、具有價值的公司才能夠嶄露頭角。這些公司將在冷熱的交替過程中不斷磨礪，就像煉鋼過程中鐵中的雜質被去除一樣，才能百煉成鋼。多次的冷熱交替對于產業的發展具有促進作用。