大模型對算力的需求主要體現在訓練端：在考慮互聯損失的情況下，Chatgpt需要一萬張A100作為算力基礎，算力的硬件投資規模達到10億人民幣。

國內大模型與國外的主要差距是算力層面，沒有算力基礎，后面算法等發展都無法進行大模型應用場景會率先爆發于：工具鏈層面，如ChatGPT和Office產品結合，提高交互和工作效率；語音交互層面，如智能音箱、智能座艙和 智能家居等。

國內AI芯片廠商格局：一梯隊，有成熟產品、批量出貨的企業，包括寒武紀、華為海思、百度昆侖芯、燧原科技等；二梯隊，以AI芯片起家的壁 仞科技、天數智心、摩爾線程、沐曦等；三梯隊，如海光、景嘉微等

國內AI芯片與A100的差距：已經批量生產的產品，大多都是A100的上一代；各公司正在研發的相關產品，如昆侖芯三代、思遠590、燧思3.0 等，都是對標A100，但由于“實體清單”的限制以及研發水平的原因，都還沒有推到市場

寒武紀思元590與英偉達的差距：寒武紀主要還是ASIC架構，劣勢是通用性會比較差，優勢是某些特定應用場景下，算力可以做到比GPU更 高；百度內部的測試結果，590性能接近A100 90%的性能；590基本支持主流的模型，綜合性能接近A100 80%的水平

英偉達A800和H800的出貨量預期：訓練芯片，國內將有近200億RMB的采購規模；推理芯片，預計采購金額達100億RMB；國內對英偉達總 的采購需求約為300億RMB。

Q：大模型在算力端帶來了哪些新的需求？

算力需求主要分為兩部分，包括訓練算力和推理算力。

目前來說對訓練算力需求非常高，ChatGPT的公開數據顯示它的整個訓練算力消耗非常 大，達到了3640PF-days(即假如每秒計算一千萬億次，需要計算3640天)，換算成英偉達A100芯片，它單卡算力相當于0.6P的算力，理想情況 下總共需要大概6000張，在考慮互聯損失的情況下，需要一萬張A100作為算力基礎。

在A100芯片10萬人民幣/張的情況下，算力的硬件投資規 模達到10億人民幣。而整個的數據中心還需要推理算力以及服務器等，規模應該在100億人民幣以上。

Q：大模型對計算的需求和以往有什么差別？

具體包括在算力，互聯等方面以往大多都是數據中心，超算中心以及各大互聯網公司的云計算中心會有相關的算力基礎設施需求。

訓練端：訓練算力相關設備主要是英偉達的A100和H100，推理算力主要是英偉達T4卡。ChatGPT的發布使得算力需求增加了，以前算力的商業 應用并沒有特別多，主要是推理端像圖像識別、語音識別等。大模型的爆發會導致訓練的應用場景越來越多，對訓練算力的需求會大幅增長，增長 幅度能達到10倍甚至100倍。

推理端：也會有相應的增長，但幅度不會這么大。

Q：做好一個大模型的最低門檻就是1萬塊A100的芯片，這個說法準確嗎？

如果對標的模型是ChatGPT，那是需要這樣的硬件需求的。但百度文心一言沒有達到這個芯片規模，訓練算力沒有達到ChatGPT的水平，尤其是在上下文互動和邏輯上有較大缺陷。

主要問題是文心一言的訓練精度不夠，這是因為它算力本身的限制。

國內目前大模型主要是算力層面和國外差距比較大，這也是制約國內大模型發展的客觀因素，沒有算力基礎，后面算法等發展都無法進行。

Q：互聯網大廠囤芯片以防斷供的具體情況？

2022年美國限制英偉達和AMD向國內出售高性能計算芯片，國內互聯網大廠意識到風險，去找英偉達購買。但因為從下單到拿貨的周期較長，國內互聯網廠商的優先級較低，國內互聯網大廠買到的A100以及H100芯片數量是比較有限的。

Q：中國特供版A800和H800與A100和H100的具體差距？

主要差距是互聯帶寬的下降。A800的互聯帶寬從A100的600GB/S下降到400GB/S，H800的互聯帶寬從H100的900GB/S下降到450GB/S。本身單卡的算力不變，但是集群后，卡間互聯的帶寬會限制整個集群的算力規模。

Q：國內目前GPU芯片能不能支撐大模型的需求？

國內目前的相關產品都和A100有所差距。

一部分是已經批量生產的產品，大多都是A100的上一代，比如寒武紀的思元290、百度的昆侖芯二代、燧原科技的燧思2.0的算力水平都落后于 A100一代。

還有各公司正在研發的相關產品，比如昆侖芯三代、思遠590、燧思3.0等，這些產品都是對標A100，但由于“實體清單”的限制以及研發水平的 原因，這些產品都還沒有推到市場。華為的昇騰910芯片，也是受限于公司被制裁，沒有大規模的出貨以及銷售，可能在政府的計算中心有所使用，但對商用客戶端幫助有限。

Q：哪些芯片相關企業會受益于大模型的浪潮？

首先是算力芯片，包括英偉達的A100和H100，以及寒武紀、昆侖芯、燧原、華為海思、海光、沐曦以及摩爾線程。如果國內的產品能去替代英 偉達的產品，會是一個非常大的機會。

經歷制裁后，國內的大型互聯網企業在采購相關芯片時，目前還是會購買英偉達，但應該也會有相關的國產化替代方案。從生產層面看，還需要高帶寬內存顆粒，目前國內的合肥長鑫和長江存儲都還做不了，主要是國外的三星、美光和海力士三家企業。產業鏈上，會帶動先進封裝相關公司，未來國內芯片廠商會在國內的封裝廠做先進封裝。除了算力芯片，數據中心建設也需要CPU服務器，會帶動國內提供大型服務器的廠商，比如浪潮信息、中科曙光等，以及光模塊、調節芯片和散熱技術，都會有相關需求。

Q：計算芯片中除了GPU芯片，FPGA芯片、專用芯片ASIC發揮什么作用？

高性能計算芯片不止GPU這個處理架構，比如像寒武紀的ASIC和GPU是同樣的應用場景，只是技術架構不一樣。比如百度的昆侖芯一代，是XPU-K（自研）的架構。因此算力芯片，不光只有GPU，也包含ASIC、FPGA芯片。

Q：在美國制裁的背景下，國內廠商怎么去替代英偉達的A100，通過什么途徑？

目前尤其是在制程工藝的限制，美國2022年10月份的政策限制是互聯帶寬超過600G，算力超過600T的產品不能使用臺積電的先進代工工藝。國內的產品不能超過A100的規格，否則不能使用7nm或者5nm的生產工藝。目前國內有7nm產品的只有中芯國際，從成熟度和產品產能上都和臺積電有差距。但即使有差距，國內的公司也會陸續通過中芯國際的生產工藝 去生產相關的芯片。雖然目前工藝限制在7nm，但我們可以通過chiplet等先進的封裝工藝將多個7nm芯片高速互聯，實現算力的提升。

Q：目前已經在實體清單的芯片公司的情況？

目前華為、寒武紀、海光已在“實體清單”里面，這些公司如果要生產的話，要不就得找中芯國際；要不就得通過類似代理形式或其他渠道找臺積電 生產。但后一種方法要面臨臺積電的審查，但臺積電目前整個產線的產能利用率很低，只有約50%，應該不會像之前管的那么嚴，如果提交的合規報告 或材料符合臺積電的要求，比如600+600的審核要求，終端應用場景也不涉及如軍工等敏感領域的話，臺積電也是能夠通過代理方式給這些公司生產的。

我估計目前海光、寒武紀可能都是通過這種途徑去實現生產的；華為因為本身目標太大，如果量不大的話應該可以，量特別大的話容易被發現。

Q：目前英偉達訂單量是否有比較大的變化？

變化大概多大？ChatGPT發布后，首先微軟方面肯定是加買了A100和H100，尤其是微軟現在主要購買方向是向H100升級，主要買的是H100。

國內公司受限于制裁，應該是不能買A100的，A800推出后國內公司應該給了英偉達不少訂單。但A800因為還要做一些帶寬的限制和更改，所以目前還沒有批量出到國內，仍需一定時間，但我預計應該很快就會陸續供給國內。

我認為今年英偉達的數據中心業務應該會有一個比較大的增長。因為這些企業都會有一些戰略性的備貨，如果按照正常節奏買的話，應該不會買這么多。對于ChatGPT帶起的熱潮，國內企業可能擔心以后會買不到，因此會按2-3倍的量去備貨。

Q：如何看待英偉達超級計算服務對AI產業的影響？

我們業內覺得這個東西沒有什么特別的地方。

國內真正能夠做大模型或者有實力去投資大模型的大型互聯網廠商，他們不會去租英偉達的超級計算服務，因為沒有人愿意把自己的數據放在別人的數據中心里，從數據安全的角度講，是一個非常大的風險。尤其是像百度、阿里，他們掌握著國內用戶一些比較比較敏感的數據，如搜索、購物習慣等。這個比較類似于滴滴，如果這些公司把這些數據弄到英偉達的服務器上去跑的話，這個風險我認為他們應該承擔不了，滴滴被罰已有先例。

所以我認為從國內來講，英偉達提供的計算服務，國內客戶應該沒有什么會去用的，可能一些本身不涉及敏感數據的客戶可能會去嘗試，但能做 ChatGPT或文心一言這種規模的企業很少會用英偉達的租賃服務或超級計算服務。

國外客戶可能會受益，因為一些小規模的客戶沒有能力建ChatGPT規模的算力中心，他們可以通過租賃方式使用英偉達的超算中心作為自己模型 的基礎設施設施去實現自己模型的運行。

Q：之前有說法說英偉達超級計算服務可通過阿里云、騰訊云做接口提供給國內企業用戶，這是否意味著國內承擔不起大算力成本的的中小企業會考慮租用英偉達的超級計算服務？

如果能把數據安全層面的問題解決，至少從數據安全的角度講，如果國家層面的審核通過，國內也想做大模型的小型企業通過租云服務平臺去推動自己的模型。

Q：英偉達的光刻計算技術未來會減少多少對于CPU服務器的需求？

英偉達的主要目的不是想替代，發布時提出的目標是要把臺積電4萬臺做光刻用的CPU全換成英偉達的超級光刻計算機。我認為GPU是取代不了CPU的，因為本身兩者的運行是不一樣的，光刻領域很多是運算的東西，可能GPU有自己的優勢。但CPU本身也有控制、調度、流水線的進程操作，能用這么多年有它自己的應用場景和優勢。

GPU其實擅長計算，并不擅長去做控制、調度的事情。英偉達在GPU里做類似于ARM的CPU去替代，但我認為在應用場景等各方面沒那么容易。

比如現在企業服務器市場，英特爾和AMD份額穩定，英偉達想要踏足還是有很大的難度，也有一些技術障礙。可能臺積電這種特定場景可以替代，但未來想把CPU整個層面上用GPU替代沒有那么簡單。

Q：目前英偉達和國內供應商的關系如何？

比如做整機的供應商，浪潮集團也被加入限制名單他們不受限制。因為中國政府層面對這些外企目前還沒有任何的限制政策，英偉達在國內份額和產業情況應該也帶動了不少的先進制造和就業。我認為英偉達跟國內做整機的和架構的供應商，目前都合作都正常，而且英偉達后續應該還有更多訂單給到這些供應商。只是做好的高性能計算芯片受限制，不賣給或者降規格賣給國內企業。這些限制主要還是來自于美國政府層面，供應層面應該沒有問題。一旦上了實體清單就沒辦法。因為不管是英偉達還是任何的美國企業都不能跟你做生意。如果他跟你有貿易來往，美國政府就可以對他進行制裁。這個限制范圍很大，任何使用美國技術的企業都不能跟你有貿易來往，比如現在不僅英偉達不能跟浪潮之間有貿易來往，甚至像韓國、臺灣的企業都受約束。

Q：國內來看，您認為哪些領域大模型會率先爆發應用場景？對算力產業鏈有什么影響？

目前很多公司宣布接入文心一言，ChatGPT在國內國外的應用場景也都陸續在落地。

1）工具鏈層面：大模型可以做很多事情，比如ChatGPT和Office產品的結合，以前很多東西需要人去寫公式、計算，但是現在ChatGPT接入后 Office會變得非常靈活，通過office做交互、實現的話，工作效率會有一個非常大幅的提高。

2）語音交互層面：智能交互，如智能音箱、智能座艙，未來肯定會有一個大的提升，現在汽車里用的小度等，其實語言理解能力是很差的，想要交互是很難的，而且體驗也非常差；大模型接入后，語音交互層面會做得很好，比如我們在汽車智能座艙里發一個指令，他的理解、執行他就會非 常精確。包括我們用的智能音箱、智能家居等，理解、執行也會比較到位。

Q：目前國內AI芯片廠商的格局？

個人看法，以大算力或者高性能計算芯片為代表看的話：

第一梯隊：有成熟產品、批量出貨的企業，主要包括寒武紀、華為海思、百度昆侖芯、燧原科技，這四家有2-3代更多的產品，技術能力、軟件能 力都有一定積累。

第二梯隊：包括壁仞科技，它去年發布的產品規格很高，但主要還是停留在紙面數據，實測數據、實際性能方面業界和第三方評測機構評價沒有那么高，它本身的性能是不及A100的，而且軟件層面也還有很多工作要做，目前它只是做了一個軟件的雛形，從使用角度來講離成熟的生態軟件、規模化的出貨、客戶端的個適配還有很長的路要走，現在它也面臨著制裁問題、實體清單問題，對于這樣的初創企業是生存層面的問題。像天數智心、摩爾線程、沐曦也都陸續有產品推出，但技術能力不及壁仞，只是停留在推理層面，不像第一梯隊的企業有更成熟的產品經驗，但這幾集也都 至少是以做AI芯片起家的，專注于該領域。

第三梯隊：包括海光、景嘉微，他們以前不是做GPU的，現在過來做GPU。景嘉微也是做GPU芯片的，但在商用端沒有多少使用，實際產品性能 不是特別清楚。海光是做X86CPU起家的，GPU的技術能力還有待市場的認可和檢驗。

Q：訓練芯片是1萬張A100的話，推理芯片需要多少？如果它跟日活訪問次數等有相關性的話，中長期來看推理芯片的情況？

雖然說大模型訓練的算力需求量非常大，但是產能模型訓練好了之后，實際投入到使用中或是在跟終端的互動中，其實也是需要消耗很多的推理算力，尤其是在訪問量大的時候。所以其實不管是微軟的智能計算中心，還是百度的智能計算中心，我認為都有相當規模的推理算力。

通常數據中心或者超算中心里都會配備推理算力，一般算力的規模或者說數量的規模沒有特別少的，尤其是數量。比如我買1萬張A100的卡，可能還要配幾千張的T4推理卡，當然英偉達現在最新出的L4推理卡也會配在數據中心里，但是目前來看它的規模應該沒有訓練的算力規模大，但隨著訪問量或交互量上升，我認為推理算力需求量是不小的。當然推理層面CPU本身也是可以分擔一些，尤其是數據中心里用的這種大型企業級 CPU，本身是可以做一些推理的事情，但是畢竟不是專業做運算的，所以我認為肯定還是需要大量的推理卡支持。我認為可能規模比較大或后期訪 問量特別大的數據中心，推理卡的數量可能會非常接近訓練卡的數量。當然因為推理卡本身的價值、算力沒有訓練卡大，所以從市值規模看，應該 還是沒有訓練卡的市場規模大。

Q：寒武紀的思元590跟英偉達相比有哪些差距？

從技術架構或初級架構角度看，寒武紀產品主要還是ASIC架構，ASIC的劣勢在于通用性會比較差，優勢在于如果某些特定應用場景它把算法固化到硬件里邊去，算力是可以做到比GPU更高的。這個特點也決定了它的最終的性能特點，所以我們看到公開信息或一些百度內部的測試結果，寒武紀590在做大模型的訓練跑transformer、BERT等大語言模型時，性能非常接近A100，接近90%的性能。但如果跑20-30個主流的模型，我們 會看到可能有些模型如果在算法層面沒有做特別的固化優化的話，可能只能達到A100 50-60%的性能。綜合來看，基本上主流的模型590都是支持的，綜合性也接近A100 80%的水平。

Q：如果美國后續不給ARM的架構授權的話，我們有什么解決方案？

目前不管是國內芯片公司，還是英偉達的AI的云端、推理端架構芯片，內部都用了ARM的CPU去做控制，因為AI芯片的內部，除了ASIC或GPU芯 片的內核以外，一般都會配一個ARM的CPU去做AI芯片、處理器層面或是內部的交互，或者做一些控制層面的事情。所以CPU其實對AI芯片來說也 是一個非常重要的東西。

如果我們后面國內AI芯片企業拿不到ARM的授權，一是已經授權的東西還是可以繼續用，比如華為、百度、寒武紀已經拿到了A78的授權，但是沒有了后續的支持，無法用最新的ARM的架構；二是目前國內同ARM競爭的RISC-V發展的也挺好，它是一個開源生態，如果后續真的國內芯片企業 用不了ARM的話，對它是一個好機會，在性能層面它其實沒有比ARM差多少，主要問題在于生態沒有像ARM那么完善，如果有更多的開發者去起 來的話，可能生態會慢慢完善起來。

Q：如何看待ARM打算改變授權費模式，從原本的按照芯片價格1-3%收取費用改為按照整機價格收取費用？

按整機價格收取的話可以多要點錢，我們做芯片設計的跟這些IP公司打交道比較多，他們對我們，尤其是國內芯片企業，不光收費貴，而且審計等非常嚴格。很多時候一次性授權要收取，后面賣出的單顆芯片還要在收取一定比例的費用，所以其實是非常貴的。

用這種商用IP，尤其是ARM，用這些國外的大型IP廠商其實代價都是非常大，對芯片公司尤其初創企業來說，花費的成本非常高。但我們還沒有自研能力去做出來比較好的IP，很多比較簡單的接口IP如走字眼的高速接口，華為、寒武紀等都可以自己做，但ARM目前確實是比較難做。如果ARM還要再后面再漲價的話，會有更多的芯片設計公司轉向RISC-V，其生態會慢慢發展壯大，挑戰ARM生態。

其實ARM一家獨大已經這么多年了，我覺得應該有一個像RISC-V這樣的競爭對手，不然在國內乃至全球大家都不得不用ARM。這種有點像壟斷，像高通之前因收取整個手機的專利授權費用被中國政府罰款后就把收費政策改了，如果ARM這么弄的話，可能我們也會有一些扶持或者制裁措施。所以ARM授權模式的改變不一定能成功，而且如果推行的話有可能刺激RISC-V生態壯大。對于芯片公司的研發者或設計者，轉去RISC-V生態也是一個好的解決方案，只是要花一些學習成本。

Q：RISC-V架構的在國內的使用情況？

目前國內RISC-V占有率較低，但增長很快，因此未來會有許多企業去做RISC-V產品。比如，阿里提供基于RISC-V架構的平臺及生態服務。寒武紀、華為已經開始使用RISC-V架構。

邊緣側AI芯片大多采用ARM架構，因此在專利授權的模式改變和壟斷的情況的發生下，會有更多企業去嘗試使用RISC-V處理器架構，從而促進整個生態的增長。疊加國內很多企業上了美國“實體清單”，ARM停止服務，促進了RISC-V等開源架構的應用增長。

Q：海光Z100和英偉達A100的差距？和應用領域？

海光訓練產品的算力規模不足以支持做數據中心。海光DCU Z100訓練算力較小，不到100TFLOPS，只適合一些推理場景，不足以支持大模型的訓練，因此沒有能力去替代寒武紀、華為和英偉達的產品。

目前來看海光缺少大算力技術基礎。第一，海光的X86授權CPU技術積累，對做GPU沒有幫助。第二，海光的AMD授權軟件生態也不足以在大算力的超算領域和英偉達的擴大生態競爭。因此，要做大算力產品還有很長的路要走。

從產品層面來講，海光離傳統做AI芯片的企業還是有較大的技術差距。

Q：國內大廠（華為、百度、騰訊等）的大模型和OpenAI大模型的算力區別？

目前國內，已經發布的大模型產品只有百度文心一言，在國內處于AI一哥的地位，占據了先機。但是從試用結果看，和ChatGPT、GPT4的相差還是很大。百度的算力、硬件、算法模型層面都沒有做到ChatGPT的水平。

具體從算力層面看：第一，算力基礎設施規模小于微軟的規模水平，因此訓練精度水平較低。第二，盡管從國內的角度看，百度對AI算法的投資最多，研發時間最長，技術能力最強，但做AI大模型的時間還是相對較短，因此還需要后續的優化。

其他幾家大型互聯網企業在大模型領域應該都有提前布局，但由于在OpenAI做出產品之前，這個領域一直沒有商機和盈利，因此大家都沒有落地該應用，沒有百度重視這個領域。ChatGPT火了之后，很多互聯網企業才加速了推動自己的產品。

阿里、頭條、360、騰訊等大廠可能陸續會推出產品，但做的也會比較倉促，積累時間不夠。

Q：文心一言算力使用的產品？

訓練端：主要使用英偉達產品V100和A100。

推理端：除英偉達，還使用部分***，比如百度、寒武紀等。

Q：大算力模型發展對上游海光和寒武紀廠商有什么影響？

百度、騰訊、阿里等，肯定基礎算力的采購需求，疊加政策限制和國產替代，互聯網大廠會逐步考慮國產供應商。

Q：目前百度昆侖芯、寒武紀的主力產品是哪些？下一步研發計劃？

昆侖芯：目前百度已有兩款產品，第一，2018年下半年發布昆侖芯一代產品，基于三星14nm，可以做訓練和推理，因此主要用于推理。第二， 2021年發布昆侖芯二代產品，搭載GDDR6高性顯存，支持256TOPS(INT8)算力，和V100性能差不多，可以做訓練和推理。兩個產品都在百度云服務器上部署。第三代昆侖芯產品，預計明年上半年發布，目標達到A100性能。

寒武紀：相對來說是國內做的比較早的廠商。2021年發布的思元370，是訓練和推理一體的產品，推理算力為256TOPS(INT8)，訓練算力為 128TFLOPS。出貨量在寒武紀云端產品和商用客戶端，屬于相對較大的。比如，在阿里云、浪潮、曙光等服務器廠商和科大訊飛等AI算法層面的 公司都有批量出貨。訓練端產品主要是2021年發布的思元290和還未發布的思元590。思元290采用7nm臺積電制程工藝，訓練算力達256TFLOPS，比英偉達的V100和昆侖芯二代都要強一些，但還不足A100的水平。玄思1000加速器搭載4塊思元290芯片，整機算力達到1P。下一代產品思元590，規模能達到A100水平，性能將達到預期。再下一代產品，計劃對標H100，但要先解決供應的問題，因此項目節奏會推后。

Q：今年英偉達在國內替代款A800和H800，出貨量預期？

國內市場：國內可以規模化買H800和A800的產品的公司最多十幾家，主要系大型互聯網企業的采購。浪潮、曙光等應該是無法購買。估計一塊芯片價格10萬人民幣，疊加企業要做ChatGPT這種大模型需要芯片1萬張起步，能拿出10億規模的現金流，主要還是大型的互聯網企業。個人預期各企業將會有囤貨需求，按每家企業2萬張的平均需求來計算，在訓練方面，國內將會有接近200億人民幣的采購規模。在推理芯片方面，預計采購量將是100億。總的來看，整個國內對英偉達的采購需求大概為300億人民幣。

海外市場：海外需求偏市場化，不太需要提前存貨。預計今年也有一個更大規模增長。微軟、谷歌和Bing等大企業對大模型的采購需求將增加英偉達芯片的出貨量，預期今年將增長30%-50%。

Q：INT8和FP16算力是什么意思？

目前AI芯片或AI加速卡在計算算力的時候，一般采用兩個數據格式：INT8（二進制的8位的整型數據）和FP16（16位浮點數）。訓練的產品主要 處理是浮點數，推理算力主要處理整型數據。

推理端：一般標記INT8的算力。分類檢索識別、語音識別、文本識別等推理場景主要處理的數據格式是8位整型數據。1TOPS的算力指1秒鐘做1萬億次INT8整型數據運算。

訓練端：業界主流標記為FP16。因為訓練對模型的要求越高，對數據運算的要求也更高更精準。FP16指1秒鐘做多少次16位浮點數的運算， 1TFLOPS表示1秒鐘做一萬億次浮點數的操作運算。

算力的換算關系：

（1）整型INT8的算力是128T，則換算成INT16時，算力會減半到64T。

（2）浮點數的關系不是減半，浮點數位數更大，算力 下降的更快。例如，英偉達A100的16位的浮點數算力是624T，32位浮點數的算力只有40T。

傳統的數據中心的區別在于，在AI常見的Infini Band fat tree 結構下，使用的交換機數量更多，且因為每個節點上行下行的端口數完全一致。

英偉達所采用的 AI 集群模型中，對應的一個基本單元為 SuperPOD。一個標準的 SuperPOD 由 140 臺 DGX A100 GPU 服務器、HDR InfiniBand 200G 網卡和 170 臺 NVIDIA Quantum QM8790 交換機構建而成，其中交換機速率為 200G，每個端口數為 40 個。

基于英偉達方案，一個 SuperPOD 170個交換機，每個交換機有 40 個端口，最簡單方式上下各70 臺服務器，依次端口互聯（上下 1：1 連接）對應的線纜需求為 40×170/2=3400 根，考慮實際部署情況上調至 4000 根線纜需求。

其中，銅纜：AOC：光模塊比例=4：4：2。

對應光模塊需求數量=4000*0.2*2=1600 個，即對于一個SuperPod，服務器：

交換機：光模塊的用量比例=140：170：1600=1：1.2：11.4一個類似 GPT4.0 入門級別要求的需求大約需要3750 臺 NVIDIA DGX A100服務器。

根據 IDC 數據，2021 年全球 AI 服務器市場規模為 156 億美元，預計到 2026 年全球 AI 服務器市場將達到 355 億美元；2021 年中國 AI 服務器行業市場規模為 64 億美元。根據 IDC 數據，數據中心場景中，200/400G 端口出貨量有望快速提升，22-26 年復合增速達 62%，預計 2026年全球交換機端口出貨量超 8.7 億個，市場規模超 440 億美元。