★AI，人工智能；大數(shù)據(jù)；L40S;H100；H800；A100；A800；Gaudi 2；Gaudi 3；MI250X；MI300；L40；Ascend 910；美光；DRAM；DUV；芯片禁令；數(shù)據(jù)湖；數(shù)據(jù)倉庫；通用大模型；行業(yè)大模型；CV大模型；多模態(tài)大模型；臺(tái)積電；TSMC

在當(dāng)今時(shí)代，人工智能技術(shù)正以前所未有的速度發(fā)展，推動(dòng)著各個(gè)領(lǐng)域的創(chuàng)新與變革。作為人工智能技術(shù)的核心引擎之一，高性能GPU扮演著至關(guān)重要的角色。在這個(gè)領(lǐng)域，英偉達(dá)的H100無疑是一款備受矚目的高端產(chǎn)品。它針對(duì)高性能計(jì)算和人工智能應(yīng)用而設(shè)計(jì)，具備強(qiáng)大的計(jì)算能力和高內(nèi)存容量，以及先進(jìn)的互連技術(shù)，可以有效提升集群中的計(jì)算效率，加速深度學(xué)習(xí)、計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域的AI訓(xùn)練和推理任務(wù)。

然而，最近美國(guó)政府宣布的對(duì)半導(dǎo)體制造和人工智能技術(shù)的限制措施，特別是針對(duì)中國(guó)的嚴(yán)格限制，給中國(guó)半導(dǎo)體產(chǎn)業(yè)和人工智能技術(shù)的應(yīng)用帶來了重大影響。為了應(yīng)對(duì)這些限制，中國(guó)需要采取一系列對(duì)策，包括加強(qiáng)自主研發(fā)、推動(dòng)產(chǎn)業(yè)升級(jí)、拓展市場(chǎng)空間等。

藍(lán)海大腦大模型訓(xùn)練平臺(tái)是一款基于高性能計(jì)算技術(shù)的AI訓(xùn)練平臺(tái)，幫助用戶快速構(gòu)建和訓(xùn)練大型AI模型。該平臺(tái)采用先進(jìn)的計(jì)算和存儲(chǔ)技術(shù)，提供高達(dá)數(shù)十TB的內(nèi)存容量和數(shù)千個(gè)計(jì)算核心，顯著提高訓(xùn)練效率。此外，還提供豐富的工具和庫，以幫助用戶更好地管理和優(yōu)化訓(xùn)練過程。

英偉達(dá)顯卡是如何制造？

英偉達(dá)H100是一款針對(duì)高性能計(jì)算和人工智能應(yīng)用的高端GPU產(chǎn)品，具有強(qiáng)大的計(jì)算能力和高內(nèi)存容量，以及先進(jìn)的互連技術(shù)，可以提升集群中的計(jì)算效率，加速深度學(xué)習(xí)、計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域的AI訓(xùn)練和推理等計(jì)算密集型任務(wù)。

H100采用全新的Hopper架構(gòu)，擁有高達(dá)800億個(gè)晶體管，相比上一代A100，其SM數(shù)量從108個(gè)提升到132個(gè)，帶來2倍的性能增益。每個(gè)SM配備128個(gè)FP32 CUDA Core，并配備第四代Tensor Core，相比于A100的稠密或稀疏運(yùn)算的原始性能提升2倍。內(nèi)存容量高達(dá)40GB，支持第四代NVIDIA NVLink和PCIe 5.0，具備更高的數(shù)據(jù)傳輸帶寬和更快的計(jì)算速度，可以實(shí)現(xiàn)快速的GPU到GPU通信，提升大型模型的訓(xùn)練速度。相比上一代A100，H100的FP8算力提升4倍，高達(dá)4000TFlops（每秒4000萬億次）。

那么H100是如何制造的呢？讓我們一起探究H100顯卡的制造過程和它如何成為全球熱門的商品。

一、H100顯卡的基本構(gòu)成

H100顯卡主要由四個(gè)部分組成：邏輯芯片、HBM儲(chǔ)存芯片、供電模塊和散熱模塊。

邏輯芯片是H100顯卡的核心部分。814平方毫米，比一個(gè)眼鏡片略小。主要負(fù)責(zé)處理圖形運(yùn)算和計(jì)算任務(wù)。這個(gè)小小的芯片集成了數(shù)十億個(gè)晶體管，是現(xiàn)代科技的結(jié)晶。

圍繞著邏輯芯片的是六塊HBM儲(chǔ)存芯片（由韓國(guó)廠商SK海力士獨(dú)家提供），每塊儲(chǔ)存芯片的大小跟指甲蓋差不多，共同為顯卡提供大量的存儲(chǔ)空間和數(shù)據(jù)傳輸速度。

除此之外，供電模塊和散熱模塊也是H100顯卡不可或缺的部分。高效的供電模塊能夠確保顯卡在運(yùn)行時(shí)擁有穩(wěn)定的電力供應(yīng)，而強(qiáng)大的散熱模塊則能夠確保顯卡在長(zhǎng)時(shí)間高負(fù)荷運(yùn)行時(shí)不會(huì)過熱，從而保持良好的性能。

二、H100顯卡是如何被制造的？

H100顯卡的核心部分是邏輯芯片，由英偉達(dá)位于美國(guó)加利福尼亞州圣克拉拉的總部設(shè)計(jì)和制造。這座科技感十足的大樓占地約125萬平方英尺，造價(jià)高達(dá)9.2億美元。在這里，平均年薪20萬美元的軟硬件工程師負(fù)責(zé)設(shè)計(jì)英偉達(dá)的所有GPU，從Tesla到Hopper架構(gòu)，從V100到H100。

在完成核心邏輯芯片的設(shè)計(jì)和制造后，英偉達(dá)將接力棒交給位于臺(tái)灣的臺(tái)積電。臺(tái)積電是全球最大的半導(dǎo)體制造公司之一，負(fù)責(zé)制造H100的核心邏輯芯片。臺(tái)積電的制造工藝非常先進(jìn)，采用5nm制程工藝，由位于臺(tái)南科學(xué)園區(qū)北園二路的臺(tái)積電18號(hào)工廠生產(chǎn)。

臺(tái)積電使用CoWoS技術(shù)將一顆核心邏輯芯片和六顆HBM芯片編成一組，然后將它們封裝到一張12寸的硅片上。這個(gè)過程非常復(fù)雜，需要高超的工藝技巧和精密的操作。

臺(tái)積電將封裝好的一大六小的芯片交給另一家公司富士康，由富士康把外圍的電路和芯片裝好后，一塊價(jià)值堪比等重量黃金的H100板卡就出爐了。根據(jù)上面的流程，我們可以計(jì)算一下H100的純物料成本：核心邏輯芯片200美元，HBM內(nèi)存芯片1500美元，CoWoS封裝700美元，其他物料大概500美元，加起來大概在3000美元左右?，F(xiàn)在一張H100官方售價(jià)是35000美元，黑市上一度可以賣到5萬美金，加價(jià)十幾倍，毛利率超過了90%。

三、H100顯卡為何如此受歡迎？

英偉達(dá)憑借其精湛的技術(shù)和卓越的制造能力，成為全球領(lǐng)先的芯片制造商之一。H100顯卡是英偉達(dá)最先進(jìn)的顯卡之一，同時(shí)也是目前市場(chǎng)上最熱門的顯卡之一。其高昂的價(jià)格和稀缺性使得其成為一種硬通貨。

在2023年8月3日，美國(guó)初創(chuàng)公司Coreweave宣布了一項(xiàng)令人矚目的融資，他們通過抵押手中的H100顯卡向華爾街獲得了23億美元的債務(wù)融資。Coreweave這家公司，自2017年由三位大宗商品交易員創(chuàng)立以來，便在挖礦領(lǐng)域表現(xiàn)出色，后轉(zhuǎn)型為自建數(shù)據(jù)中心，為客戶提供算力服務(wù)。他們與英偉達(dá)建立了深厚的合作關(guān)系，并能夠獲取H100的供貨。

令人矚目的是，居然可以用H100這種本質(zhì)上是電子產(chǎn)品的抵押物來借到資金，這無疑凸顯了H100的硬通貨屬性。不止如此，Coreweave之前通過股權(quán)融資累計(jì)融到5.8億美元。然而，他們的賬上不可能有價(jià)值23億美金的H100顯卡來做抵押。但華爾街敢于放貸的原因在于他們手上有英偉達(dá)的H100承諾供貨合同，憑借此合同便能從銀行套出巨額貸款，不禁讓人聯(lián)想到當(dāng)年通過拿地合同就能套出銀行資金的房地產(chǎn)開發(fā)商。

從貨幣經(jīng)濟(jì)學(xué)的角度來看，H100不僅具備硬通貨屬性，還具備貨幣創(chuàng)造屬性。英偉達(dá)通過扶持像Coreweave這樣的GPU云服務(wù)商，通過供貨合同讓他們從銀行套取資金，進(jìn)而購買更多的H100顯卡，鎖定未來的顯卡需求量。這種模式已經(jīng)超越傳統(tǒng)硬件公司的商業(yè)模式，馬克思曾言：“貨幣天然不是H100，但H100天然是貨幣”，一款科技硬件竟能達(dá)到如此高度，可以說是前無古人，后無來者。

在AI財(cái)富的分配中，黃仁勛獨(dú)占八斗。英偉達(dá)的巨大財(cái)富無人能撼動(dòng)。唯一可能讓黃仁勛感到憂慮的地方是一個(gè)客戶需求眾多、愿意花錢，但由于種種原因，H100無法進(jìn)入的市場(chǎng)。這個(gè)市場(chǎng)在哪里呢？

解讀人工智能和半導(dǎo)體制造

最新限制及中國(guó)對(duì)策

10月17日,美國(guó)推出新一輪針對(duì)21世紀(jì)中美技術(shù)冷戰(zhàn)的舉措，主要集中在限制對(duì)中國(guó)芯片和芯片制造設(shè)備的出口。下面主要來談?wù)勥@些舉措的影響，包括美國(guó)具體設(shè)置哪些出口管制措施，中國(guó)又采取哪些應(yīng)對(duì)手段來化解這些限制。

一、AI半導(dǎo)體限制

美國(guó)最近針對(duì)中國(guó)的人工智能芯片出口管制措施已經(jīng)相當(dāng)嚴(yán)格，充分填補(bǔ)之前政策可能存在的漏洞。此前的測(cè)試顯示，當(dāng)前人工智能芯片的聚合雙向傳輸速率可以達(dá)到600GB/s，聚合運(yùn)算吞吐量超過4800TOPs。這意味著芯片公司可以通過稍微降低芯片的雙向帶寬來規(guī)避管制，而實(shí)際應(yīng)用于人工智能任務(wù)時(shí)，性能下降幾乎可以忽略。例如英偉達(dá)在其H100和A100芯片基礎(chǔ)上進(jìn)行改進(jìn)后的H800和A800系列芯片，就采用這種方式設(shè)計(jì)（已經(jīng)大量出口到中國(guó)，單臺(tái)出貨量達(dá)到數(shù)十萬顆）。

Lennart Heim

填補(bǔ)先前政策中的漏洞意味著需要完全取消對(duì)芯片雙向帶寬的限制，直接影響像A800、H800這樣的芯片發(fā)揮最大效能，也意味著英特爾的Gaudi 2、Gaudi 3、以及AMD的MI250X、MI300等芯片都會(huì)被管制禁止出口。在運(yùn)算吞吐量達(dá)到4800TOPs時(shí)，人工智能計(jì)算需求大致保持不變，這被稱為“總處理性能”（TPP）。

盡管對(duì)芯片總體性能的限制非常重要，但政府意識(shí)到這仍然存在多個(gè)漏洞。例如，可以很容易設(shè)計(jì)出單個(gè)芯片性能低于閾值，但當(dāng)大量芯片在高帶寬互聯(lián)時(shí)，整體系統(tǒng)輕松超過性能閾值。

因此，新增一個(gè)性能密度（TPP除以芯片面積）閾值的限制，防止芯片面積較小、絕對(duì)計(jì)算能力較低但計(jì)算密度、效率仍高的芯片出口。絕對(duì)限制性能密度為5.92,允許的密度為3.2。并設(shè)置多級(jí)的性能密度控制級(jí)別。

CSIS

對(duì)GPU芯片施加的嚴(yán)格限制新規(guī)完全出乎市場(chǎng)和芯片廠商（如英偉達(dá)）的意料。諸如L40S之類的芯片被完全禁止，這些芯片原本利用買家只關(guān)注頂級(jí)規(guī)格的心理。幾個(gè)月前的預(yù)測(cè)顯示，CPO、HBM和英偉達(dá)的部分芯片將在第四季度被禁止。令人驚訝的是，限制還包括L4GPU。對(duì)于4090、L40和AMD MI210等GPU，設(shè)置一個(gè)較低的標(biāo)準(zhǔn)需要申請(qǐng)?jiān)S可證。據(jù)觀察，4090有可能獲得許可。

此外，新規(guī)定要求FP8 matmul+ FP16達(dá)到320 TFLOPS的累積浮點(diǎn)運(yùn)算量已經(jīng)超過RTX 4080的限制標(biāo)準(zhǔn)，因此需要申請(qǐng)?jiān)S可證。根據(jù)密度規(guī)則，英偉達(dá)需要回退到2017年基于12nm工藝的V100芯片。不能靠填充一堆空白硅片來規(guī)避密度規(guī)則，因?yàn)榉ㄒ?guī)對(duì)此有規(guī)定。它從根本上禁止了人們目前正在開發(fā)的所有高性能ASIC，這意味著大型Transformer模型無法在任何法規(guī)允許的硬件上高效運(yùn)行。

業(yè)界已經(jīng)適應(yīng)在現(xiàn)有芯片上運(yùn)行人工智能技術(shù)，如英偉達(dá)GPU和谷歌TPU。然而，隨著對(duì)華制裁的實(shí)施，一個(gè)有趣的結(jié)果可能是中國(guó)將探索不同于世界其他國(guó)家的人工智能技術(shù)思路。畢竟，大腦和其中傳遞的信號(hào)也與當(dāng)前的硬件/軟件架構(gòu)不同。

Jim Keller – TensTorrent, interesting talk he gave, even if we don’t agree with the premise

中國(guó)將加強(qiáng)對(duì)內(nèi)存計(jì)算、神經(jīng)形態(tài)計(jì)算等模擬計(jì)算方法的投資。盡管這些方法在Transformer或擴(kuò)散模型上尚未取得突破，但新的模型架構(gòu)仍值得期待。短期內(nèi)，華為將發(fā)揮關(guān)鍵作用。華為已在中芯國(guó)際的N+2工藝節(jié)點(diǎn)上推出一款7nm的ASIC芯片，該芯片繼承2019年發(fā)布的Ascend 910。據(jù)傳，這款芯片采用分散的小芯片配備HBM存儲(chǔ)。

華為的Ascend 910已經(jīng)超出當(dāng)前規(guī)定的范圍，因此國(guó)產(chǎn)后續(xù)產(chǎn)品也將超越英偉達(dá)合法進(jìn)入中國(guó)的任何產(chǎn)品。盡管有人認(rèn)為中芯國(guó)際不具備相應(yīng)能力，但其14nm工藝已經(jīng)用于百億億級(jí)超級(jí)計(jì)算機(jī)的制造。新的N+2工藝（7nm）產(chǎn)能接近每月20,000片，足以在50%產(chǎn)量下用于數(shù)百萬個(gè)AI加速器。此外，中國(guó)正在迅速獲得國(guó)內(nèi)生產(chǎn)HBM的能力。

二、晶圓制造設(shè)備控制

美國(guó)對(duì)半導(dǎo)體設(shè)備出口管制的調(diào)整對(duì)人工智能芯片的影響相對(duì)較小。盡管在某些方面加強(qiáng)管制，但仍存在一些漏洞，使得應(yīng)用材料、藍(lán)富利、東京電子、國(guó)際集成電路、KLA、安拓、Screen、ASML等設(shè)備供應(yīng)商能夠繼續(xù)向中國(guó)出口數(shù)百億美元的設(shè)備，其中包括超過70億美元的DRAM制造設(shè)備將運(yùn)往長(zhǎng)江存儲(chǔ)。這一數(shù)字甚至超過了總部在美國(guó)的美光公司在同一制程技術(shù)上的投入。長(zhǎng)江存儲(chǔ)顯然也在開發(fā)被美國(guó)視為受限制的技術(shù)。

美光D1 Beta是最密集的出貨DRAM，它采用DUV SAQP。CXMT在他們的路線圖上有D1 Beta

美國(guó)的新規(guī)定進(jìn)一步將限制擴(kuò)大到2.4納米及以下的覆蓋層工具，這影響到ASML用于臺(tái)積電、英特爾和中芯國(guó)際7納米工藝的1980-i系列機(jī)型。美國(guó)通過不設(shè)最小含量要求的方式，將這些工具的卡盤覆蓋層限制在1.5納米到2.4納米之間。這意味著如果工具中含有任何美國(guó)內(nèi)容，都將受到限制。通常美國(guó)內(nèi)容的標(biāo)準(zhǔn)是25%，但在這種情況下，只要有任何美國(guó)內(nèi)容就受限。即使ASML試圖重新設(shè)計(jì)工具，也需要多年時(shí)間才能擺脫與覆蓋、光源相關(guān)的美國(guó)技術(shù)。此規(guī)定僅適用于用于“開發(fā)”或“生產(chǎn)”“先進(jìn)節(jié)點(diǎn)集成電路”的情況。

三、僅適用于“高級(jí)”晶圓廠

這些限制主要針對(duì)“先進(jìn)晶圓廠”，存在漏洞，因?yàn)榇蠖鄶?shù)晶圓廠不會(huì)被歸類為“先進(jìn)”。因此，晶圓廠可以先表面上建成“成熟”工藝的車間，然后轉(zhuǎn)變?yōu)椤跋冗M(jìn)晶圓廠”，如長(zhǎng)江存儲(chǔ)。這意味著ASML最新型的TWINSCAN NXT：1980Di和Fi系列浸沒式***等仍可以出貨給成熟工藝的客戶。此外，像中芯國(guó)際這樣的公司可以在SN1和SN2以外的所有晶圓廠接收這些工具，用于7nm制造。未來兩年內(nèi)，中國(guó)應(yīng)當(dāng)能夠?qū)崿F(xiàn)這些工具的國(guó)內(nèi)維修。除針對(duì)“先進(jìn)晶圓廠”的限制外，一些關(guān)鍵技術(shù)如混合鍵合、封裝光學(xué)器件、TSV形成和DRAM制造仍處于開放狀態(tài)。

四、規(guī)則協(xié)調(diào)

許多新規(guī)定與荷蘭和日本的關(guān)鍵制造設(shè)備出口管制相配合。使得美國(guó)的出口管制與這些規(guī)定保持一致，同時(shí)也擴(kuò)大了對(duì)符合最低要求的美國(guó)公司或產(chǎn)品的覆蓋范圍。荷蘭開始管制覆蓋層小于1.5納米和多重曝光的***，而美國(guó)規(guī)定將覆蓋層擴(kuò)大到2.4納米。荷蘭法規(guī)還控制其他生產(chǎn)設(shè)備，如EUV薄膜和制膜設(shè)備、ALD工具；日本的管制措施針對(duì)與日本企業(yè)相關(guān)的工具，如光刻膠/顯影劑、掩模檢查、蝕刻機(jī)、沉積設(shè)備、外延生長(zhǎng)、清洗工具以及***。美國(guó)的新限制已與日本規(guī)則保持一致。

藍(lán)海大腦大模型訓(xùn)練平臺(tái)

藍(lán)海大腦大模型訓(xùn)練平臺(tái)提供強(qiáng)大的算力支持，包括基于開放加速模組高速互聯(lián)的AI加速器。配置高速內(nèi)存且支持全互聯(lián)拓?fù)?，滿足大模型訓(xùn)練中張量并行的通信需求。支持高性能I/O擴(kuò)展，同時(shí)可以擴(kuò)展至萬卡AI集群，滿足大模型流水線和數(shù)據(jù)并行的通信需求。強(qiáng)大的液冷系統(tǒng)熱插拔及智能電源管理技術(shù)，當(dāng)BMC收到PSU故障或錯(cuò)誤警告（如斷電、電涌，過熱），自動(dòng)強(qiáng)制系統(tǒng)的CPU進(jìn)入U(xiǎn)LFM（超低頻模式，以實(shí)現(xiàn)最低功耗）。致力于通過“低碳節(jié)能”為客戶提供環(huán)保綠色的高性能計(jì)算解決方案。主要應(yīng)用于深度學(xué)習(xí)、學(xué)術(shù)教育、生物醫(yī)藥、地球勘探、氣象海洋、超算中心、AI及大數(shù)據(jù)等領(lǐng)域。

在最底層，構(gòu)建基于英偉達(dá)GPU的全場(chǎng)景AI基礎(chǔ)設(shè)施方案，適用于“端、邊、云”等各種應(yīng)用環(huán)境。幫助開發(fā)者更快速、更高效地構(gòu)建和部署AI應(yīng)用。

一、為什么需要大模型？

1、模型效果更優(yōu)

大模型在各場(chǎng)景上的效果均優(yōu)于普通模型。

2、創(chuàng)造能力更強(qiáng)

大模型能夠進(jìn)行內(nèi)容生成（AIGC），助力內(nèi)容規(guī)模化生產(chǎn)。

3、靈活定制場(chǎng)景

通過舉例子的方式，定制大模型海量的應(yīng)用場(chǎng)景。

4、標(biāo)注數(shù)據(jù)更少

通過學(xué)習(xí)少量行業(yè)數(shù)據(jù)，大模型就能夠應(yīng)對(duì)特定業(yè)務(wù)場(chǎng)景的需求。

二、平臺(tái)特點(diǎn)

1、異構(gòu)計(jì)算資源調(diào)度

一種基于通用服務(wù)器和專用硬件的綜合解決方案，用于調(diào)度和管理多種異構(gòu)計(jì)算資源，包括CPU、GPU等。通過強(qiáng)大的虛擬化管理功能，能夠輕松部署底層計(jì)算資源，并高效運(yùn)行各種模型。同時(shí)充分發(fā)揮不同異構(gòu)資源的硬件加速能力，以加快模型的運(yùn)行速度和生成速度。

2、穩(wěn)定可靠的數(shù)據(jù)存儲(chǔ)

支持多存儲(chǔ)類型協(xié)議，包括塊、文件和對(duì)象存儲(chǔ)服務(wù)。將存儲(chǔ)資源池化實(shí)現(xiàn)模型和生成數(shù)據(jù)的自由流通，提高數(shù)據(jù)的利用率。同時(shí)采用多副本、多級(jí)故障域和故障自恢復(fù)等數(shù)據(jù)保護(hù)機(jī)制，確保模型和數(shù)據(jù)的安全穩(wěn)定運(yùn)行。

3、高性能分布式網(wǎng)絡(luò)

提供算力資源的網(wǎng)絡(luò)和存儲(chǔ)，并通過分布式網(wǎng)絡(luò)機(jī)制進(jìn)行轉(zhuǎn)發(fā)，透?jìng)魑锢砭W(wǎng)絡(luò)性能，顯著提高模型算力的效率和性能。

4、全方位安全保障

在模型托管方面，采用嚴(yán)格的權(quán)限管理機(jī)制，確保模型倉庫的安全性。在數(shù)據(jù)存儲(chǔ)方面，提供私有化部署和數(shù)據(jù)磁盤加密等措施，保證數(shù)據(jù)的安全可控性。同時(shí)，在模型分發(fā)和運(yùn)行過程中，提供全面的賬號(hào)認(rèn)證和日志審計(jì)功能，全方位保障模型和數(shù)據(jù)的安全性。

三、常用配置

1、CPU:

Intel Xeon Gold 8358P 32C/64T 2.6GHz 48MB,DDR4 3200,Turbo,HT 240W

Intel Xeon Platinum 8350C 32C/64T 2.6GHz 48MB,DDR4 3200,Turbo,HT 240W

Intel Xeon Platinum 8458P 28C/56T 2.7GHz 38.5MB,DDR4 2933,Turbo,HT 205W

Intel Xeon Platinum 8468 Processor 48C/64T 2.1GHz 105M Cache 350W

AMD EPYC? 7742 64C/128T,2.25GHz to 3.4GHz,256MB,DDR4 3200MT/s,225W

AMD EPYC? 9654 96C/192T,2.4GHz to 3.55GHz to 3.7GHz,384MB,DDR5 4800MT/s,360W

2、GPU：

NVIDIA L40S GPU 48GB

NVIDIA NVLink-A100-SXM640GB

NVIDIA HGX A800 80GB

NVIDIA Tesla H800 80GB HBM2

NVIDIA A800-80GB-400Wx8-NvlinkSW×8

審核編輯 黃宇