說(shuō)到算力提升，大家可能想到的就是通過(guò)工藝進(jìn)步、Chiplet封裝以及架構(gòu)優(yōu)化來(lái)提升性能，以及通過(guò)“東數(shù)西算”擴(kuò)建數(shù)據(jù)中心的方式來(lái)擴(kuò)大計(jì)算節(jié)點(diǎn)的規(guī)模。

但僅僅考慮這些，還遠(yuǎn)遠(yuǎn)不夠。要想實(shí)現(xiàn)算力1000倍甚至更多倍的提升，勢(shì)必需要宏觀整體全方位的協(xié)同優(yōu)化和創(chuàng)新。

具體辦法，本文詳細(xì)分析。

1 算力綜述

1.1 對(duì)算力的追求，永無(wú)止境

幾個(gè)典型案例：

2012-2018年共6年時(shí)間里，人們對(duì)于AI算力的需求增長(zhǎng)了超過(guò)30萬(wàn)倍；

要想實(shí)現(xiàn)L4/L5級(jí)別的自動(dòng)駕駛算力，需要將目前兩位數(shù)TOPS的算力提升到四位數(shù)TOPS，需要算力提升100倍；

Intel SVP拉加·庫(kù)德里表示，要想實(shí)現(xiàn)元宇宙級(jí)別的用戶體驗(yàn)，需要當(dāng)前的算力要再提升1000倍。

軟件和硬件，是一對(duì)永恒的矛盾：硬件永遠(yuǎn)無(wú)法滿足軟件對(duì)性能的需要。

目前，算力要想進(jìn)一步提升，遇到非常大的挑戰(zhàn)：一方面，基于CPU的性能已經(jīng)到達(dá)瓶頸，摩爾定律失效；另一方面，通過(guò)AI-DSA等加速方式提供的算力靈活性、易用性都很差，導(dǎo)致算力的利用率很低，芯片的落地規(guī)模很小。

換個(gè)視角看，因?yàn)橛布募s束，限制了軟件的迅猛發(fā)展。假設(shè)硬件可以立竿見影、快速的提供相比目前千倍萬(wàn)倍的算力，上層應(yīng)用場(chǎng)景一定會(huì)繁花似錦，我們可以大踏步的走進(jìn)元宇宙等數(shù)字新時(shí)代。

對(duì)算力的追求，永無(wú)止境！

1.2 跟算力相關(guān)的因素

在今年二月份的時(shí)候，公眾號(hào)發(fā)布了《預(yù)見·第四代算力革命》四篇系列文章，詳細(xì)地拆解了算力的組成因素，以及介紹了新一代的計(jì)算架構(gòu)。在文章中，我們列出了如下的公式：

實(shí)際總算力 = （單個(gè)處理器的）性能 x 處理器的數(shù)量 x 利用率

這樣，跟算力相關(guān)的需要優(yōu)化的因素就可以簡(jiǎn)單總結(jié)為三個(gè)層次：

第一個(gè)層次，單芯片性能。單芯片性能的提升，簡(jiǎn)單地來(lái)說(shuō)，主要有三個(gè)辦法：工藝進(jìn)步、Chiplet封裝以及架構(gòu)/微架構(gòu)創(chuàng)新。

第二個(gè)層次，芯片的落地規(guī)模，即數(shù)量。要想芯片大規(guī)模落地，首先要考慮的不是簡(jiǎn)單的建設(shè)數(shù)據(jù)中心，買更多的服務(wù)器，而是要考慮芯片是否能夠支持大規(guī)模落地。例如，受AI算法快速多變和算法眾多的原因，目前AI芯片的落地存在困境。

第三個(gè)層次，整體算力的利用率。如果算力資源不能連成一片，一盤散沙，那就沒有意義。要想提升算力利用率，考慮的重心不是單芯片的資源利用率，而是宏觀資源利用率。宏觀資源利用率，就是把所有的計(jì)算資源連成一個(gè)大的計(jì)算資源池，然后可以非常靈活的資源切分、組合、分配和回收。挑戰(zhàn)在于，如何把種類繁多的異質(zhì)的計(jì)算資源匯集到一個(gè)資源池。

三個(gè)層次，從微觀、中觀再到宏觀，逐次為大家解開算力提升的方方面面。接下來(lái)，我們?cè)敿?xì)拆解。

2 第一層：提升單芯片的性能

2.1 方法一：工藝進(jìn)步

要想單芯片持續(xù)不斷的性能提升，工藝封裝是主要的推動(dòng)力量。工藝持續(xù)進(jìn)步、3D堆疊等技術(shù)，在芯片上可以容納更多的晶體管，也意味著芯片的規(guī)?？梢栽絹?lái)越大。目前的挑戰(zhàn)在于，隨著工藝進(jìn)入5納米以內(nèi)，工藝進(jìn)步對(duì)芯片的性能提升變得越來(lái)越緩慢。

未來(lái)，量子工藝，可能會(huì)替代現(xiàn)在的CMOS工藝。有了量子門級(jí)電路的強(qiáng)力支撐，顯著地提升了芯片的性能，而上層的芯片架構(gòu)和軟件生態(tài)，跟現(xiàn)有工藝是兼容的，仍然可以持續(xù)繁榮發(fā)展。

2.2 方法二：通過(guò)Chiplet，立竿見影地大規(guī)模提升單芯片設(shè)計(jì)規(guī)模

Chiplet，中文通常稱為小芯片，意思就是說(shuō)通過(guò)把不同功能的裸芯片DIE，通過(guò)某種介質(zhì)封裝在一起，從而形成多DIE的單芯片。

UCIe是一個(gè)開放的行業(yè)互連標(biāo)準(zhǔn)，可以實(shí)現(xiàn)小芯片之間的封裝級(jí)互連，具有高帶寬、低延遲、經(jīng)濟(jì)節(jié)能的優(yōu)點(diǎn)。UCIe能夠滿足幾乎所有計(jì)算領(lǐng)域，包括云端、邊緣端、企業(yè)、5G、汽車、高性能計(jì)算和移動(dòng)設(shè)備等，對(duì)算力、內(nèi)存、存儲(chǔ)和互聯(lián)不斷增長(zhǎng)的需求。UCIe 具有封裝集成不同Die的能力，這些Die可以來(lái)自不同的晶圓廠、采用不同的設(shè)計(jì)和封裝方式。

Chiplet的價(jià)值非常巨大，有了Chiplet標(biāo)準(zhǔn)UCIe之后，整個(gè)產(chǎn)業(yè)鏈的企業(yè)可以一起行動(dòng)起來(lái)，快速地把應(yīng)用Chiplet技術(shù)的相關(guān)芯片產(chǎn)品落地，這會(huì)使得平均單芯片設(shè)計(jì)規(guī)模會(huì)顯著激增。也意味著在宏觀背景下，單芯片可以支持顯著增加的設(shè)計(jì)規(guī)模，也即顯著增加的性能。

2.3 方法三：通過(guò)超異構(gòu)計(jì)算，指數(shù)級(jí)的提升芯片性能

Chiplet技術(shù)可以顯著的、數(shù)量級(jí)的提升芯片的設(shè)計(jì)規(guī)模。但如果我們不在架構(gòu)上進(jìn)行大范圍的創(chuàng)新，而是小修小補(bǔ)，那么就會(huì)暴殄天物。

Chiplet的利用方式，如上圖所示，大體上可以分為三種：

方案1：設(shè)計(jì)規(guī)模不變，優(yōu)化單DIE面積和良率等，可以百分比的提升性能。

方案2：?jiǎn)蜠IE設(shè)計(jì)規(guī)模不變，多DIE集成。這樣，隨著面積的增加，性能可以線性增長(zhǎng)。

方案3：多DIE集成設(shè)計(jì)規(guī)模倍增，并且重構(gòu)系統(tǒng)。如下圖所示，通過(guò)超異構(gòu)的方式，構(gòu)建更加優(yōu)化的系統(tǒng)，這樣可以做到隨著面積的增加，指數(shù)級(jí)的增加性能。

圖 通過(guò)超異構(gòu)重構(gòu)并優(yōu)化（宏）系統(tǒng)

3 第二層：提升芯片的落地規(guī)模（數(shù)量）

要想提升芯片的落地規(guī)模，并不是直接復(fù)制這么簡(jiǎn)單。這里涉及很多復(fù)雜的先決問題，需要解決。一個(gè)典型反面案例就是目前的AI芯片困境：由于AI-DSA的靈活性跟AI算法所需要的靈活性不匹配，導(dǎo)致現(xiàn)在AI芯片的落地就存在很多困境，從而限制了其落地的規(guī)模。

3.1 芯片要足夠通用，以此來(lái)覆蓋更多的用戶、更多的場(chǎng)景和更長(zhǎng)期的場(chǎng)景迭代

芯片需要足夠的通用，才可能覆蓋更多的客戶、更多的場(chǎng)景，以及每一個(gè)場(chǎng)景的長(zhǎng)期迭代。

但在CPU性能達(dá)到瓶頸之后，很多人逐漸“忘記”了這個(gè)這些原則。很多人覺得，需要針對(duì)場(chǎng)景的特點(diǎn)深度“定制”，在芯片設(shè)計(jì)的時(shí)候，把更多的業(yè)務(wù)邏輯變成硬件，把傳統(tǒng)軟件完成的工作通過(guò)硬件加速實(shí)現(xiàn)，從而提升性能。

然而，實(shí)踐證明，這種方式是走不通的。還是以AI芯片為例：

AI場(chǎng)景算法極其眾多，一般的互聯(lián)網(wǎng)公司，內(nèi)部經(jīng)常使用的AI算法可能會(huì)多達(dá)上千種；并且，AI算法還變化很快，算法迭代通常上是2個(gè)月一個(gè)小迭代，6個(gè)月一個(gè)大迭代。

然而，芯片的迭代周期沒有這么快，芯片通常2年一個(gè)迭代，并且還要考慮大約5年的生命周期。硬件7年的迭代+生命周期和軟件2個(gè)月的迭代周期，差距懸殊。

強(qiáng)行把軟件的業(yè)務(wù)邏輯直接下沉到硬件，可能會(huì)碰到這樣的尷尬：只能適配某個(gè)用戶的某個(gè)更細(xì)分場(chǎng)景的某個(gè)短時(shí)期內(nèi)的應(yīng)用，從而導(dǎo)致芯片的價(jià)值和落地規(guī)模受到極大的約束。

當(dāng)CPU到達(dá)性能瓶頸之后，新的挑戰(zhàn)是：如何在硬件加速時(shí)代，實(shí)現(xiàn)足夠高的通用性。

這里，我們給出“完全可編程”處理器的概念：

所有功能由用戶通過(guò)軟件定義。授人以魚不如授人以漁，既然提供的是平臺(tái)化解決方案。不同的用戶，根據(jù)自己的需求組合功能，實(shí)現(xiàn)功能和場(chǎng)景差異。

所有業(yè)務(wù)邏輯由用戶通過(guò)編程實(shí)現(xiàn)。用戶自己的軟件已經(jīng)存在，業(yè)務(wù)邏輯也是經(jīng)過(guò)長(zhǎng)期打磨，對(duì)業(yè)務(wù)邏輯修改一定是慎之又慎。用戶期望的是不修改業(yè)務(wù)邏輯情況下，通過(guò)硬件實(shí)現(xiàn)業(yè)務(wù)處理的加速。

用戶沒有平臺(tái)依賴。軟件熱遷移需要一致性接口硬件，上層業(yè)務(wù)邏輯也需要一致性的硬件功能支持。這些都需要，站在用戶視角，不同芯片廠家提供的是接口和架構(gòu)完全一致標(biāo)準(zhǔn)化的產(chǎn)品。

如果在CPU處理器上實(shí)現(xiàn)上述“完全可編程”的支持，非常簡(jiǎn)單，但意義不大，因?yàn)闆]有提升性能?！巴耆删幊獭笔窃诔悩?gòu)的多種異質(zhì)處理引擎混合計(jì)算下，實(shí)現(xiàn)算力的數(shù)量級(jí)提升，同時(shí)仍能保持足夠的“完全可編程”能力。

3.2 芯片要很好的靈活性，適配復(fù)雜宏系統(tǒng)的各種變化

越是簡(jiǎn)單的系統(tǒng)，變化越少，對(duì)靈活性的要求越低；越是復(fù)雜的系統(tǒng)，變化越大，對(duì)靈活性的要求越高。

在云網(wǎng)邊端萬(wàn)物互聯(lián)的大背景下，系統(tǒng)具有如下一些變化：

隨著應(yīng)用系統(tǒng)規(guī)模的擴(kuò)大，系統(tǒng)在逐漸解構(gòu)，傳統(tǒng)的巨服務(wù)在逐漸的變成一組微服務(wù)的系統(tǒng)，甚至客戶端，也分解成瘦客戶端和一組“微服務(wù)”的組合；

以服務(wù)器為例，物理的計(jì)算資源按照一定的粒度切分，然后組合出各種虛擬的計(jì)算資源組合，如虛擬機(jī)、容器等，形成多用戶的多個(gè)不同系統(tǒng)共存；這些虛擬的計(jì)算資源組合，再跟更多的虛擬計(jì)算資源組合形成軟件層次的集群協(xié)同。

更多用戶的更多集群系統(tǒng)共存于一個(gè)數(shù)據(jù)中心；還有跨數(shù)據(jù)中心的系統(tǒng)共存和協(xié)同；甚至，還有跨云網(wǎng)邊端的系統(tǒng)共存和協(xié)同。

系統(tǒng)越來(lái)越復(fù)雜，并且不同用戶不同系統(tǒng)混合部署于同一個(gè)物理的數(shù)據(jù)中心服務(wù)器上。系統(tǒng)對(duì)虛擬化、彈性擴(kuò)展、可編程能力等靈活性能力的要求，遠(yuǎn)高于單機(jī)系統(tǒng)。因此，要考慮單芯片如何大規(guī)模落地，就需要在靈活性方面重點(diǎn)關(guān)注：

一方面需要提升單芯片的擴(kuò)展性、可編程性、靈活性、易用性等能力；

另一方面，需要提供基于芯片平臺(tái)的整體解決方案給到用戶，并且能夠提供很好的宏觀系統(tǒng)靈活性能力的支撐。

3.3 之后，才是大規(guī)模復(fù)制

當(dāng)我們的單芯片，可以支持更大規(guī)模落地，可以支撐宏系統(tǒng)的各種復(fù)雜的能力要求，給駕馭宏觀系統(tǒng)的軟件工程師提供強(qiáng)大的基礎(chǔ)支撐。之后，才是通過(guò)大規(guī)模的算力建設(shè)來(lái)提升宏觀算力。

目前，超大規(guī)模數(shù)據(jù)中心越來(lái)越多，從傳統(tǒng)數(shù)百臺(tái)服務(wù)器的機(jī)房，升級(jí)到數(shù)千臺(tái)服務(wù)器的數(shù)據(jù)中心，再到數(shù)萬(wàn)臺(tái)甚至數(shù)十萬(wàn)臺(tái)的超大規(guī)模數(shù)據(jù)中心。都是通過(guò)數(shù)量的增加，來(lái)不斷提升宏觀總算力。

集中式的云數(shù)據(jù)中心還無(wú)法滿足所有場(chǎng)景的需求，數(shù)量眾多的邊緣數(shù)據(jù)中心也越來(lái)越多，進(jìn)一步加大了在網(wǎng)的服務(wù)器數(shù)量，進(jìn)一步增加了宏觀總算力。

2022年初，國(guó)家發(fā)改委、中央網(wǎng)信辦、工業(yè)和信息化部、國(guó)家能源局聯(lián)合印發(fā)通知，同意在京津冀、長(zhǎng)三角、粵港澳大灣區(qū)、成渝、內(nèi)蒙古、貴州、甘肅、寧夏等8地啟動(dòng)建設(shè)國(guó)家算力樞紐節(jié)點(diǎn)，并規(guī)劃了10個(gè)國(guó)家數(shù)據(jù)中心集群。至此，全國(guó)一體化大數(shù)據(jù)中心體系完成總體布局設(shè)計(jì)，“東數(shù)西算”工程正式全面啟動(dòng)。

“東數(shù)西算”，進(jìn)一步通過(guò)規(guī)?；ㄔO(shè)，提升我們國(guó)家的宏觀總算力。

4 第三層：提升算力資源的利用率

算力資源的利用率，對(duì)算力的規(guī)模和成本影響非常巨大。麥肯錫的一份研究報(bào)告顯示，全球服務(wù)器的平均每日利用率通常最高僅為6%；據(jù)Gartner統(tǒng)計(jì)，全球數(shù)據(jù)中?利用率不足12%。以上數(shù)據(jù)都表明，數(shù)據(jù)中心的服務(wù)器成本及資源消耗存在巨大的“浪費(fèi)”。如果可以把算力資源的綜合利用率從6%提升到90%，也就意味著可以立竿見影的增加15倍的宏觀算力，同時(shí)意味著單位算力成本下降到1/15。

4.1 最基本的，提升單芯片的計(jì)算資源利用率

在CPU為主流計(jì)算處理器的時(shí)候。通過(guò)操作系統(tǒng)，可以實(shí)現(xiàn)把一個(gè)個(gè)應(yīng)用封裝成進(jìn)程/線程，然后再經(jīng)過(guò)調(diào)度，可以實(shí)現(xiàn)對(duì)計(jì)算資源的分時(shí)復(fù)用（單核情況下）。在多核情況下，就會(huì)通過(guò)多核調(diào)度器，實(shí)現(xiàn)對(duì)多個(gè)計(jì)算資源的綜合調(diào)度。

更進(jìn)一步的，（站在單機(jī)系統(tǒng)視角）通過(guò)計(jì)算機(jī)虛擬化和容器虛擬化技術(shù)，進(jìn)一步提升資源的利用率。

4.2 資源池化，把孤島連成一片，進(jìn)一步提升資源利用率

如何提高宏觀算力的利用率？本質(zhì)的就一句話：把眾多單個(gè)芯片的性能，匯集成一個(gè)大的算力資源池。反過(guò)來(lái)，如果獨(dú)立的各個(gè)芯片的性能，無(wú)法匯集成巨大的算力資源池，形成一個(gè)個(gè)孤島，單個(gè)芯片性能再高也沒有意義，一盤散沙，利用率也很難提升。

從這個(gè)意義上說(shuō)，我們不僅需要關(guān)注如何提升單個(gè)芯片的資源利用率，還更應(yīng)關(guān)注的是如何把無(wú)數(shù)多個(gè)計(jì)算資源匯集成龐大的資源池，可以非常靈活的資源切分、組合、分配和回收，從而提升宏觀算力利用率。

要把一個(gè)個(gè)個(gè)體的資源連接成巨大的資源池，需要：

硬件本身，需要支持（硬件）虛擬化，如Intel的VT-x/VT-d技術(shù)，包括IO設(shè)備，需要支持基于SR-IOV等技術(shù)的完全硬件虛擬化，加速器本身也需要支持虛擬化的邏輯處理通道。

在此之上，通過(guò)虛擬化技術(shù)，提升單個(gè)處理芯片的計(jì)算等資源的利用率，以及通過(guò)虛擬化技術(shù)中的軟件遷移功能，使得上層的業(yè)務(wù)軟件可以方便地選擇（整個(gè)資源池中）不同的物理資源運(yùn)行。這樣才能實(shí)現(xiàn)資源的單硬件資源的切分和多硬件眾多資源的池化。

移動(dòng)、電信等運(yùn)營(yíng)商積極倡導(dǎo)“算力網(wǎng)絡(luò)”技術(shù)，旨在通過(guò)網(wǎng)絡(luò)把宏觀所有的算力資源匯集成池，可以非常方便的為用戶提供最合適的算力組合，也可以最大限度的提升宏觀資源利用率。

4.3 挑戰(zhàn)在于，如何把異質(zhì)的計(jì)算引擎池化

最理想情況是：CPU性能夠用，處理器依然是清一色的CPU處理器；所有CSP的所有的云和邊緣數(shù)據(jù)中心服務(wù)器，以及各類智能終端設(shè)備，都是一種架構(gòu)，比如X86。這樣，我們就可以非常簡(jiǎn)單地通過(guò)虛擬化技術(shù)和云和邊緣的分布式“操作系統(tǒng)”把處理器資源連接成一個(gè)巨大的唯一的算力資源池。

可惜的是，CPU的性能瓶頸，我們不得不通過(guò)各種硬件加速的方式，千方百計(jì)地來(lái)提升性能。這樣，超異構(gòu)就會(huì)逐漸地成為計(jì)算架構(gòu)的主流。超異構(gòu)計(jì)算難以駕馭，數(shù)量眾多的處理器類型，會(huì)使得計(jì)算資源進(jìn)一步碎片化，與計(jì)算資源池化背道而馳。

我們來(lái)進(jìn)一步分析，如上圖所示，我們可以知道，各類處理引擎均存在各自不同的優(yōu)勢(shì)和劣勢(shì)：

越左邊的處理引擎，覆蓋的場(chǎng)景越多，子類型越少，性能越低。例如CPU可以做到絕對(duì)的通用，可以適用于幾乎任意場(chǎng)景，因此只有一種子類型，但其性能最差。

越右邊的處理引擎，覆蓋的場(chǎng)景越少，子類型就需要的越多（例如有100個(gè)廠家，一個(gè)子類只能覆蓋一個(gè)場(chǎng)景，那么就需要有100個(gè)子類型，才能覆蓋所有場(chǎng)景），但性能卻會(huì)越來(lái)越好。

領(lǐng)域/場(chǎng)景越來(lái)越碎片化，構(gòu)建生態(tài)越來(lái)越困難，需要從硬件定義軟件，逐步轉(zhuǎn)向軟件定義硬件。超異構(gòu)計(jì)算處理引擎的類型和數(shù)量越來(lái)越多，（不同廠家）處理引擎架構(gòu)越來(lái)越多，芯片平臺(tái)的數(shù)量越來(lái)越多，所處的位置（云網(wǎng)邊端）也越來(lái)越多，需要構(gòu)建高效的、標(biāo)準(zhǔn)的、開放的生態(tài)體系。

最終，超異構(gòu)計(jì)算，需要開源開放架構(gòu)和生態(tài)（盡可能減少各種類型架構(gòu)的數(shù)量，讓架構(gòu)的數(shù)量逐漸收斂）；更需要能夠?qū)崿F(xiàn)跨同類型不同架構(gòu)以及不同類型架構(gòu)處理器（引擎）的應(yīng)用開發(fā)框架，如Intel oneAPI。

不同類型的計(jì)算資源最終需要匯集成單個(gè)資源池，因此，從不同的程度上來(lái)說(shuō)，計(jì)算需要：

跨同領(lǐng)域不同架構(gòu)的處理引擎子類，例如AI程序可以在不同的AI處理器上運(yùn)行，軟件程序在x86、ARM或RSIC-v上均可運(yùn)行；

跨不同類型的處理引擎，例如應(yīng)用可以在CPU、GPU、FPGA或DSA運(yùn)行；

跨不同廠家芯片平臺(tái)，例如整個(gè)軟件解決方案，可以在Intel平臺(tái)運(yùn)行，也可以在NVIDIA平臺(tái)運(yùn)行，也可以在其他各家芯片平臺(tái)運(yùn)行；

跨云網(wǎng)邊端，微服務(wù)可以自適應(yīng)的在云、網(wǎng)、邊、端任何位置運(yùn)行，并且可以自適應(yīng)的最優(yōu)化的利用運(yùn)行平臺(tái)的各種加速計(jì)算資源。

只有通過(guò)這樣一些辦法，把各類不同架構(gòu)、不同類型、不同廠家、不同位置、不同的設(shè)備的資源連成唯一的一個(gè)巨大的計(jì)算資源池，才能真正避免算力資源孤島，才能真正實(shí)現(xiàn)算力資源利用率的最大化。

并且，超異構(gòu)計(jì)算時(shí)代，不僅僅需要CPU（以及內(nèi)存）支持硬件虛擬化，還需要其他的I/O設(shè)備、其他各類加速處理器（引擎）都需要支持硬件虛擬化。可以把資源通過(guò)時(shí)間或空間的切分和復(fù)用，實(shí)現(xiàn)資源的虛擬化，然后進(jìn)一步通過(guò)虛擬化、算力網(wǎng)絡(luò)等技術(shù)，來(lái)提高資源的利用率。

最后，簡(jiǎn)單聊一下開源開放。在單CPU處理器類型的時(shí)代，開源開放的RISC-v是我們的一個(gè)選項(xiàng)（還有x86和ARM可以選）。但到了超異構(gòu)計(jì)算時(shí)代，開源開放就不是選項(xiàng)，而是唯一的出路。

審核編輯：劉清