邊緣計(jì)算 | 液冷服務(wù)器|GPT-4

深度學(xué)習(xí) | AI服務(wù)器 | ChatGPT

在上周舉行的發(fā)布會(huì)上，OpenAI宣布推出了GPT-4模型。與之前的版本相比，GPT-4最大的改進(jìn)是其多模態(tài)（multimodal）能力——它不僅能夠閱讀文字，還能識(shí)別圖像。值得注意的是，雖然之前有消息稱GPT-4擁有100萬(wàn)億個(gè)參數(shù)，但OpenAI并沒(méi)有證實(shí)這個(gè)數(shù)字。與其相比，OpenAI更強(qiáng)調(diào)GPT-4的多模態(tài)能力以及其在各種測(cè)試中的表現(xiàn)。

據(jù)OpenAI表示，GPT-4在多種基準(zhǔn)測(cè)試中表現(xiàn)出超過(guò)絕大多數(shù)人類的水平。例如，在美國(guó)律師資格考試Uniform Bar Exam、法學(xué)院入學(xué)考試LSAT、“美國(guó)高考”SAT數(shù)學(xué)部分和證據(jù)性閱讀與寫作部分的考試中，GPT-4的得分高于88%的應(yīng)試者。

此外，OpenAI正與多家公司合作，將GPT-4結(jié)合到他們的產(chǎn)品中，這些公司包括Duolingo、Stripe和Khan Academy等。同時(shí)，GPT-4模型也將以API的形式提供給付費(fèi)版ChatGPT Plus的訂閱用戶使用。開(kāi)發(fā)者可以利用這個(gè)API打造各種應(yīng)用。微軟也在宣布中表示，新款必應(yīng)搜索引擎將運(yùn)行于GPT-4系統(tǒng)之上。

在發(fā)布會(huì)上，演示人員用草稿本和紙筆畫了一個(gè)非常粗糙的草圖，然后拍照告訴GPT-4他需要做一個(gè)長(zhǎng)這樣的網(wǎng)站，并需要生成網(wǎng)站代碼。令人印象深刻的是，GPT-4只用了10秒鐘便生成了完整的網(wǎng)站代碼，實(shí)現(xiàn)了一鍵生成網(wǎng)站的效果。

ChatGPT的高性能運(yùn)行離不開(kāi)一個(gè)穩(wěn)定的服務(wù)器端架構(gòu)。建立可持續(xù)的服務(wù)器端架構(gòu)，不僅可以保障ChatGPT的穩(wěn)定性和可靠性，還有助于減少能源消耗、降低成本和支持企業(yè)的可持續(xù)發(fā)展戰(zhàn)略。因此，本文將探討如何構(gòu)建可持續(xù)的ChatGPT高性能服務(wù)器端架構(gòu)。

超越“以往的桎梏”ChatGPT突破還是AI延伸？

ChatGPT是一種自然語(yǔ)言處理的技術(shù)，可以根據(jù)已有的數(shù)據(jù)訓(xùn)練模型，從而產(chǎn)生更加真實(shí)自然的對(duì)話。這種技術(shù)的產(chǎn)生自然是延續(xù)了之前的AI發(fā)展過(guò)程，但在某些方面也實(shí)現(xiàn)了突破。

1、ChatGPT具有更強(qiáng)大的對(duì)話生成能力。在早期的AI技術(shù)中，基于規(guī)則和模式的方式進(jìn)行對(duì)話生成，因此往往會(huì)面臨限制和拘束的問(wèn)題。但GPT系列模型通過(guò)大量的語(yǔ)言訓(xùn)練數(shù)據(jù)，可以實(shí)現(xiàn)更加真實(shí)自然，靈活適應(yīng)對(duì)話場(chǎng)景的對(duì)話生成。

2、ChatGPT的訓(xùn)練方式也有所改變。在以往，通常需要人工參與到數(shù)據(jù)標(biāo)注的過(guò)程中，讓機(jī)器能夠理解人類語(yǔ)言的含義。但是GPT系列通過(guò)無(wú)監(jiān)督訓(xùn)練的方式，可以從龐大的語(yǔ)言數(shù)據(jù)中學(xué)習(xí)人類語(yǔ)言表達(dá)的規(guī)律和結(jié)構(gòu)，進(jìn)而實(shí)現(xiàn)更加真實(shí)、生動(dòng)的對(duì)話生成。

3、GPT系列模型在處理多語(yǔ)種和多場(chǎng)景對(duì)話方面也有優(yōu)勢(shì)。傳統(tǒng)的AI技術(shù)主要適應(yīng)單一場(chǎng)景，缺乏語(yǔ)言的多樣性。但是，GPT系列模型因其對(duì)多種語(yǔ)言訓(xùn)練的能力，可以處理不同語(yǔ)種之間的對(duì)話，也可以應(yīng)對(duì)不同場(chǎng)景的對(duì)話需求。

ChatGPT兩年內(nèi)發(fā)展與展望

聯(lián)合研發(fā)OpneAI的GPT-4已經(jīng)開(kāi)發(fā)了三年多，發(fā)布時(shí)間不久，它很有可能會(huì)在效率上得到大幅提升，但具體將涌現(xiàn)哪些新的代碼能力還不確定。目前尚能確定的是GPT-4將解決像GPT-3.5中存在的一些重要問(wèn)題，例如優(yōu)化數(shù)據(jù)參數(shù)比例，提高信息處理和規(guī)律發(fā)現(xiàn)的效率，以及提高信息輸入的質(zhì)量等。極有可能會(huì)在效率上提升許多，它的推理成本也會(huì)大大降低（有可能降低到百倍）。不確定的是GPT-4將有多大的模型規(guī)模（它可能比傳言的大模型還大），以及它是否會(huì)具備多模態(tài)的能力（此前尚未確定，未來(lái)也難以預(yù)測(cè)）。即使模型具備多模態(tài)能力，但由于多模態(tài)信息很難標(biāo)準(zhǔn)化為文本模式，因此，在ChatGPT對(duì)世界進(jìn)行豐富多彩的想象時(shí)，它目前仍然是有限的。

一、ChatGPT現(xiàn)階段所面臨的很多問(wèn)題在工程上都有相對(duì)簡(jiǎn)單的解決方案。例如：

1、解決“hallucination”問(wèn)題（ChatGPT偏向于產(chǎn)生不準(zhǔn)確的輸出）可以通過(guò)優(yōu)化準(zhǔn)確度和引入搜索數(shù)據(jù)來(lái)做矯正，而且人類可以參與判斷過(guò)程以增加準(zhǔn)確度。此外，在應(yīng)用ChatGPT時(shí)，可以先在人類確定好壞的場(chǎng)景下進(jìn)行輔助性判斷。

2、對(duì)于ChatGPT的記憶力有限問(wèn)題，可以使用OpenAI提供的開(kāi)放接口來(lái)解決。特別的，現(xiàn)有的解決方法非常神奇，只需要在提示ChatGPT回答之前，向它說(shuō)明所提供的內(nèi)容僅是全部信息的一部分，并要求其在聽(tīng)完后再回答。

3、ChatGPT的自我審查能力不僅僅基于規(guī)則，更基于理解，這種基于理解的自我審查能力實(shí)際上更加可調(diào)節(jié)。OpenAI也提出了讓ChatGPT在尊重基本規(guī)則的前提下，發(fā)言尺度可以根據(jù)需求進(jìn)行調(diào)節(jié)的愿景。

二、ChatGPT的成本會(huì)直線下降，尤其inference的成本會(huì)小兩個(gè)以上數(shù)量級(jí)

ChatGPT的成本將會(huì)直線下降，特別是inference的成本會(huì)小兩個(gè)以上數(shù)量級(jí)。 Sam在公開(kāi)場(chǎng)合曾經(jīng)說(shuō)過(guò)，ChatGPT的inference成本是幾分錢每條。此外，《Key Takes from ChatGPT and Generative AI.pdf》根據(jù)Jefferies Research的詳細(xì)調(diào)研，ChatGPT的inference大概率是基于閑置x86 CPU而非GPU進(jìn)行的。

出于對(duì)inference和大型語(yǔ)言模型優(yōu)化空間的理解，我們認(rèn)為inference成本會(huì)直線下降，這一點(diǎn)是非常有可能的。成本的下降意味著應(yīng)用范圍和數(shù)據(jù)收集能力的擴(kuò)大。即使ChatGPT的用戶達(dá)到了十億DAU的水平（當(dāng)前的一億DAU的估算也是不準(zhǔn)確的），它也能做到免費(fèi)。最多只有一些使用次數(shù)的限制。New Bing曾一度限制搜索次數(shù)為60次，但現(xiàn)在也已經(jīng)取消了。這些實(shí)際使用中的對(duì)話無(wú)疑將進(jìn)一步加強(qiáng)ChatGPT的優(yōu)勢(shì)地位。

三、對(duì)于ChatGPT的“能力”子模型，可能需要重新訓(xùn)練，但“知識(shí)”子模型只需要通過(guò)instruct prompting的方式輸入新知識(shí)即可，無(wú)需修改已有的pre-trained模型。

對(duì)于許多子任務(wù)，只要ChatGPT具備了理解能力和知識(shí)量，就可以通過(guò)對(duì)話、引導(dǎo)和教育的方式，不斷調(diào)整ChatGPT的表現(xiàn)，讓它在各個(gè)子任務(wù)中發(fā)揮出新的能力。與此相比，過(guò)往的AI技術(shù)在面臨新的任務(wù)時(shí)，需要重新訓(xùn)練模型，而不能像ChatGPT這樣只需要輸入新的知識(shí)。

如果以鋼鐵俠3為比喻，ChatGPT就像通用型鎧甲，能夠勝任大部分工作。通過(guò)“教育”和“引導(dǎo)”的方式，可以讓ChatGPT在多個(gè)領(lǐng)域中完成各種工作，例如給出醫(yī)療建議、法律參考、編寫代碼框架、制定營(yíng)銷方案、提供心理咨詢、擔(dān)任面試官等。

需要強(qiáng)調(diào)的是，prompting的重要性。微軟的New Bing并沒(méi)有對(duì)ChatGPT做出太大的修改，而是通過(guò)prompting引導(dǎo)ChatGPT進(jìn)行合理的搜索。在prompting的基礎(chǔ)上，如果要專注于某些方面，例如犧牲對(duì)話延續(xù)性來(lái)提高信息精度，就需要重新訓(xùn)練模型并進(jìn)行調(diào)整。這可能需要整合其他能力模塊，例如搜索和其他模型的接口，并融合一些工具，就像那些專精型鎧甲一樣。總之，通過(guò)不斷錘煉ChatGPT的能力和使用工具，可以拓展其應(yīng)用范圍和解鎖更多的可能性。

四、隨著時(shí)間的推移，我們預(yù)測(cè)自助型ChatGPT的Prompting能力將得到大幅提高，并會(huì)逐步開(kāi)放更多功能。

這不僅是商業(yè)上的顯而易見(jiàn)的優(yōu)點(diǎn)，還能讓用戶逐步調(diào)教屬于自己的ChatGPT，讓其適應(yīng)自己的偏好并學(xué)習(xí)獨(dú)特的知識(shí)（而非僅限于技能的刺激）。此外，盡管 ChatGPT 的模型仍然是閉源的，不同應(yīng)用層上的競(jìng)爭(zhēng)力仍然能夠得以開(kāi)發(fā)和提高，解決了僅能向OpenAI提供UI設(shè)計(jì)的疑慮。想象一下這樣的場(chǎng)景，你的 ChatGPT 能夠記錄你與TA的所有對(duì)話，并從你的反饋中逐漸學(xué)習(xí)。如果你是一個(gè)優(yōu)秀的營(yíng)銷經(jīng)理，過(guò)了一段時(shí)間，你的 ChatGPT 也將獲得比其他人更出色的營(yíng)銷技能。

五、GPT-4預(yù)計(jì)能夠大幅提升ChatGPT的能力，在多個(gè)領(lǐng)域達(dá)到“優(yōu)秀員工”的水平。

最近的范式革命已經(jīng)體現(xiàn)了New Bing和ChatGPT之間的巨大差異。我們有充足的理由相信，在以下方面，GPT-4幾乎肯定會(huì)有巨大的進(jìn)步：

1、大模型、大數(shù)據(jù)、更優(yōu)化的參數(shù)和數(shù)據(jù)比例。這些因素的優(yōu)化方向很明顯，因?yàn)閰?shù)越多、數(shù)據(jù)越多，但是只有合適的比例才能使模型充分吸收數(shù)據(jù)知識(shí)。

2、更有針對(duì)性的訓(xùn)練數(shù)據(jù)集。OpenAI在“造高質(zhì)量大數(shù)據(jù)”上的能力幾乎獨(dú)步天下，而經(jīng)過(guò)GPT-3之后的多年摸索，他們已經(jīng)能夠更好地調(diào)整什么數(shù)據(jù)對(duì)增強(qiáng)什么模型能力更有用（例如讀取更多代碼和調(diào)整多種語(yǔ)言的比例等）。

3、可能的“能力模塊融合”。New Bing以ChatGPT為基座并延伸了搜索能力。是否有辦法直接將搜索能力融入預(yù)訓(xùn)練大模型？類似地，可以考慮如何高效地將其他能力融入基于預(yù)訓(xùn)練大模型的 ChatGPT，并結(jié)合更多的場(chǎng)景進(jìn)行調(diào)教。因此，預(yù)測(cè)在接下來(lái)的兩年內(nèi)，基于GPT-4的ChatGPT，在大多數(shù)場(chǎng)景下都能夠達(dá)到9級(jí)員工的水平，擁有更強(qiáng)大的歸納和“理解”能力。

ChatGPT與GPT能力壁壘探究

ChatGPT的壁壘來(lái)源有以下幾個(gè)方面:

一、GPT-3是閉源的，OpenAI保持著非常審慎的態(tài)度，不可能把ChatGPT開(kāi)源。因此，國(guó)產(chǎn)機(jī)器學(xué)習(xí)依賴于“開(kāi)源模型國(guó)產(chǎn)實(shí)現(xiàn)”路徑在ChatGPT上看起來(lái)不現(xiàn)實(shí)。

二、模型參數(shù)的增加需要強(qiáng)大的工程能力，同時(shí)也需要讓大模型能夠有效地學(xué)習(xí)到大數(shù)據(jù)中的知識(shí)，如何調(diào)教模型產(chǎn)出人類需要的輸出這些問(wèn)題在OpenAI的博客中都被強(qiáng)調(diào)了。需要具備“原理性”思考習(xí)慣的工程師參與突破這些工程瓶頸。據(jù)悉，OpenAI超高的人才密度成功突破了許多工程瓶頸。因此，需要在上一步工程突破的基礎(chǔ)上進(jìn)行下一步工程積累。

三、特定的商業(yè)環(huán)境下注重實(shí)用，例如字節(jié)跳動(dòng)的推薦算法模型雖然十分大，難度也很大。但是，基于現(xiàn)有模式的持續(xù)優(yōu)化不能形成范式突破。在現(xiàn)實(shí)的商業(yè)環(huán)境下，如果不能為業(yè)務(wù)提供正反饋，模型的發(fā)展會(huì)受到極大的阻礙。

四、Leadership的技術(shù)判斷力是稀缺資源。New Bing與ChatGPT的成功結(jié)合被視為罕見(jiàn)的奇跡，遠(yuǎn)超市面上其他人。這方面可遇不可求，不是一個(gè)可復(fù)制的模式。

五、數(shù)據(jù)飛輪已經(jīng)形成，ChatGPT是現(xiàn)象級(jí)成功的C端產(chǎn)品之一，結(jié)合微軟的資源和渠道加成，一上來(lái)就卡住了非常好的身位。因此，ChatGPT的使用數(shù)據(jù)是可以不斷反補(bǔ)模型本身的。ChatGPT的博客也強(qiáng)調(diào)了他們的獨(dú)特機(jī)制，使得數(shù)據(jù)的使用、理解和生產(chǎn)都有閉環(huán)。

ChatGPT未來(lái)AI時(shí)代的新工具

ChatGPT的DAU增長(zhǎng)現(xiàn)象級(jí)，用戶反饋也表現(xiàn)出其異常實(shí)用。雖然ChatGPT具有極高的娛樂(lè)價(jià)值想象，但其顯著提升生產(chǎn)力的能力則更為突出。對(duì)話和閱讀實(shí)際上是一種較高門檻的娛樂(lè)方式，多數(shù)情況下，豐富性和深度并非是娛樂(lè)價(jià)值的主要決定因素。因此，我們建議在使用ChatGPT時(shí)多著眼于提升生產(chǎn)力上。

此外，需要記住，ChatGPT是一種顛覆式的產(chǎn)品，而不是漸進(jìn)式的改進(jìn)。對(duì)于科技的早期采用者而言，可能已經(jīng)無(wú)法離開(kāi)ChatGPT，但對(duì)于大眾而言，打開(kāi)搜索引擎進(jìn)行搜索甚至已不是普遍習(xí)慣，使用清晰合理的提示與ChatGPT進(jìn)行對(duì)話的程度更是偏低。因此，在未來(lái)幾年內(nèi)，ChatGPT取代的更多是各種SaaS、云、效率工具，如搜索引擎等。

在實(shí)際場(chǎng)景應(yīng)用中，我們應(yīng)該遵循兩個(gè)原則：對(duì)癥下藥和擇善而從。ChatGPT不等同于搜索引擎和程序，我們應(yīng)該讓它發(fā)揮其所長(zhǎng)，而不是去試圖替代其他更為高效的工具或服務(wù)。此外，考慮到當(dāng)前ChatGPT存在明顯的幻覺(jué)問(wèn)題，我們應(yīng)該保持警惕，不在所有場(chǎng)合盲目相信ChatGPT的結(jié)論，而是在需要人工判斷的情況下使用ChatGPT，并由人來(lái)審視其結(jié)論的真實(shí)性。

ChatGPT與人類從本質(zhì)上探究?jī)烧叩牟煌?/p>

由于腦科學(xué)和神經(jīng)科學(xué)發(fā)展尚不夠成熟，我們只能從哲學(xué)的角度探究人類和ChatGPT這兩者在本質(zhì)上的不同與相同。

一、從判斷力的角度來(lái)看，ChatGPT只能從虛擬數(shù)字中吸取數(shù)字信號(hào)，無(wú)法與現(xiàn)實(shí)世界進(jìn)行真實(shí)交互。只有躬行實(shí)踐，才能建立判斷力的根基。

二、如果只基于數(shù)字信號(hào)進(jìn)行推測(cè)，ChatGPT很可能會(huì)得出錯(cuò)誤的結(jié)論。例如牛頓發(fā)現(xiàn)萬(wàn)有引力的過(guò)程，是基于看到蘋果落地從而預(yù)測(cè)星星運(yùn)動(dòng)的。而當(dāng)時(shí)很多人都認(rèn)為太陽(yáng)是繞著地球轉(zhuǎn)的，如果有一個(gè)ChatGPT，很可能會(huì)得出錯(cuò)誤的結(jié)論。因此，在日常生活中，識(shí)別思維能力，例如“靈感并發(fā)、靈光一現(xiàn)”的瞬間，也是很有意義的。

三、如果只是歸納現(xiàn)有知識(shí)，ChatGPT很可能比人類做得更好。但是創(chuàng)造互聯(lián)網(wǎng)上不存在的新知識(shí)，才是ChatGPT做不到的。

四、從理解人的角度來(lái)看，人類能夠理解人性，而不需要通過(guò)調(diào)研、問(wèn)卷和網(wǎng)絡(luò)資料。同時(shí)，通過(guò)現(xiàn)實(shí)世界的實(shí)踐，人類能夠帶來(lái)關(guān)于人性的增量理解。這是ChatGPT所無(wú)法達(dá)到的。這暗示著，在真正理解人類時(shí)，要去真實(shí)世界進(jìn)行實(shí)踐，而不是去人云亦云地重復(fù)套路。

ChatGPT探索對(duì)算力的需求

AI模型對(duì)算力的需求主要體現(xiàn)在訓(xùn)練和推理兩個(gè)層面。當(dāng)前主流的人工智能算法通常可分為“訓(xùn)練”和“推理”兩個(gè)階段。賽迪數(shù)據(jù)顯示，2022年中國(guó)數(shù)字經(jīng)濟(jì)爆發(fā)強(qiáng)大的增長(zhǎng)動(dòng)能，比上年增長(zhǎng)20.7%，較2021年提高2.9個(gè)百分點(diǎn)，遠(yuǎn)超世界平均水平，數(shù)字經(jīng)濟(jì)規(guī)模達(dá)到45.5萬(wàn)億元，規(guī)模超排名第三的德國(guó)一倍有余，數(shù)字經(jīng)濟(jì)發(fā)展水平穩(wěn)居全球第二位，數(shù)字經(jīng)濟(jì)規(guī)模超過(guò)彰顯出數(shù)字經(jīng)濟(jì)大國(guó)姿態(tài)。近年來(lái)中國(guó)也在積極推動(dòng)數(shù)字產(chǎn)業(yè)創(chuàng)新能力加快提升，推進(jìn)產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型提檔加速，與美國(guó)在數(shù)字經(jīng)濟(jì)競(jìng)爭(zhēng)力上的差距也逐漸縮小。

訓(xùn)練階段

對(duì)人工智能模型進(jìn)行調(diào)整和優(yōu)化的過(guò)程，以達(dá)到預(yù)期的準(zhǔn)確度。為了讓模型更準(zhǔn)確，訓(xùn)練階段通常需要處理大量的數(shù)據(jù)集，采取反復(fù)迭代的計(jì)算方式，需要耗費(fèi)大量的計(jì)算資源。推理階段是在完成訓(xùn)練階段后，應(yīng)用已建立的人工智能模型進(jìn)行推理或預(yù)測(cè)輸入數(shù)據(jù)的輸出結(jié)果。

推理階段

相比訓(xùn)練階段對(duì)計(jì)算能力畢竟要求不那么高，但由于訓(xùn)練出來(lái)的人工智能模型需要多次用于推理任務(wù)，因此推理運(yùn)算的總計(jì)算量依然很可觀。

ChatGPT的算力需求場(chǎng)景可以根據(jù)實(shí)際應(yīng)用進(jìn)一步拆分為預(yù)訓(xùn)練、Finetune和日常運(yùn)營(yíng)三個(gè)階段。預(yù)訓(xùn)練階段通過(guò)大量無(wú)標(biāo)注的文本數(shù)據(jù)來(lái)訓(xùn)練模型的基礎(chǔ)語(yǔ)言能力，得到基礎(chǔ)大模型，例如GPT-1、GPT-2和GPT-3。Finetune階段在基礎(chǔ)大模型的基礎(chǔ)上，進(jìn)行監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)和遷移學(xué)習(xí)等二次或多次訓(xùn)練，以優(yōu)化調(diào)整模型參數(shù)量。日常運(yùn)營(yíng)階段基于用戶輸入信息，加載模型參數(shù)進(jìn)行推理計(jì)算，并實(shí)現(xiàn)最終結(jié)果的反饋輸出。

預(yù)訓(xùn)練階段：?jiǎn)未嗡懔π枨笕Q于模型參數(shù)量，最高可達(dá)3640 PFlop/s-day

ChatGPT是一個(gè)語(yǔ)言模型，其架構(gòu)基于Transformer。Transformer架構(gòu)由編碼和解碼模塊組成，其中GPT只使用解碼模塊。 此外，Transformer還包含三個(gè)層級(jí)：前饋神經(jīng)網(wǎng)絡(luò)，自注意力機(jī)制層和自注意力掩碼層，這些層級(jí)都相互作用，以實(shí)現(xiàn)模型的高效性。

自注意力機(jī)制是Transformer中最重要的部分之一，其主要作用是計(jì)算某個(gè)單詞對(duì)于所有單詞的權(quán)重（即Attention）。通過(guò)這種方式，模型能夠更好地理解文本內(nèi)在關(guān)系，以及對(duì)輸入之間的關(guān)系實(shí)現(xiàn)高效學(xué)習(xí)。自注意力機(jī)制層還允許模型進(jìn)行更大規(guī)模的并行計(jì)算，這使得計(jì)算效率得到了大大的提升。

前饋神經(jīng)網(wǎng)絡(luò)層提供高效的數(shù)據(jù)信息存儲(chǔ)和檢索。在這個(gè)層面上，模型能夠有效地處理大規(guī)模的數(shù)據(jù)集并實(shí)現(xiàn)高效計(jì)算。

掩碼層是為了在自注意力機(jī)制中過(guò)濾右側(cè)未出現(xiàn)的單詞。這種遮蔽允許模型只能注意到文本中已經(jīng)展示的內(nèi)容，從而保證了計(jì)算的準(zhǔn)確性。

與之前的深度學(xué)習(xí)框架相比，Transformer架構(gòu)具有明顯的優(yōu)勢(shì)。Transformer架構(gòu)的并行計(jì)算能力更強(qiáng)，能夠大大提高計(jì)算效率。這使得GPT可以訓(xùn)練更大更復(fù)雜的語(yǔ)言模型，并且可以更好地解決語(yǔ)言處理問(wèn)題。

Transformer解碼模塊拆解

根據(jù)先前的數(shù)據(jù)，預(yù)計(jì)日常運(yùn)營(yíng)每月需要約7034.7 PFlop/s-day的算力。用戶交互也需要算力支持，每次互動(dòng)成本約0.01美元。根據(jù)ChatGPT官網(wǎng)近一個(gè)月（2023年1月17日至2月17日）總訪問(wèn)量達(dá)8.89億次，因此2023年1月OpenAI為ChatGPT支付的運(yùn)營(yíng)算力成本約為890萬(wàn)美元。另外，Lambda表示，訓(xùn)練一次1746億參數(shù)的GPT-3模型所需的算力成本超過(guò)460萬(wàn)美元；而OpenAI表示，訓(xùn)練一次1746億參數(shù)的GPT-3模型所需的算力約為3640 PFlop/s-day。我們假設(shè)單位算力成本不變，因此ChatGPT單月運(yùn)營(yíng)所需的算力約為7034.7PFlop/s-day。

Finetune階段：預(yù)計(jì)ChatGPT單月Finetune的算力需求至少為1350.4PFlop/s-day

ChatGPT是一種需要不斷進(jìn)行Finetune模型調(diào)優(yōu)的模型，以確保它處于最佳應(yīng)用狀態(tài)。這個(gè)調(diào)優(yōu)的過(guò)程需要開(kāi)發(fā)者對(duì)模型參數(shù)進(jìn)行調(diào)整，以確保輸出內(nèi)容不是有害和失真的，并基于用戶反饋和PPO策略對(duì)模型進(jìn)行大規(guī)模或小規(guī)模的迭代訓(xùn)練。這一過(guò)程中需要的算力將為OpenAI帶來(lái)成本，具體的算力需求和成本金額取決于模型的迭代速度。

預(yù)計(jì)ChatGPT單月Finetune算力需求至少為1350.4PFlop/s-day。根據(jù)IDC的預(yù)測(cè)，在2022年中國(guó)人工智能服務(wù)器負(fù)載中，推理和訓(xùn)練的比例分別為58.5%和41.5%。如果假設(shè)ChatGPT對(duì)推理和訓(xùn)練的算力需求分布與之保持一致，且已知單月運(yùn)營(yíng)需要算力7034.7 PFlop/s-day、一次預(yù)訓(xùn)練需要算力3640 PFlop/s-day，那么我們可以進(jìn)一步假設(shè)每月最多進(jìn)行一次預(yù)訓(xùn)練。由此我們計(jì)算得ChatGPT單月Finetune算力成本至少為1350.4PFlop/s-day。

從 GPT-1 的 1.17 億到 GPT-2 的 15 億，超 10 倍的參數(shù)差距帶來(lái)了性能上的飛躍。這似乎意味著，隨著容量和參數(shù)量的增多，模型性能還有更大的潛力——因此，2020 年 GPT-3 的參數(shù)量翻了 100 倍：1750 億，其預(yù)訓(xùn)練數(shù)據(jù)量也高達(dá) 45TB（GPT-2 是 40GB，GPT-1 約 5 GB）。事實(shí)證明，海量參數(shù)確實(shí)讓 GPT-3 具備了更強(qiáng)大的性能，它在下游任務(wù)表現(xiàn)的非常好。即便是復(fù)雜的 NLP 任務(wù)，GPT-3 也表現(xiàn)驚艷：可以模仿人類寫作，編寫 SQL 查詢語(yǔ)句、React 或 JavaScript 代碼等。回顧 GPT-1 、GPT-2 和 GPT-3 這一路的發(fā)展，許多人對(duì) GPT-4 寄予厚望，甚至還有傳言稱 GPT-4 的參數(shù)量將高達(dá) 100 萬(wàn)億。

鑒于人類反饋機(jī)制下，模型需要不斷獲得人類指導(dǎo)以實(shí)現(xiàn)參數(shù)調(diào)優(yōu)，所以模型調(diào)整可能會(huì)多次進(jìn)行。這需要的算力成本將會(huì)更高。

ChatGPT服務(wù)器種類有哪些？

一、中國(guó)服務(wù)器發(fā)展現(xiàn)狀

各國(guó)加快提升數(shù)字經(jīng)濟(jì)發(fā)展水平，傳統(tǒng)行業(yè)的數(shù)字化進(jìn)程加速，企業(yè)的數(shù)字化智慧化需求旺盛，尤其是5G、大數(shù)據(jù)、人工智能等新興技術(shù)領(lǐng)域快速發(fā)展，持續(xù)賦能服務(wù)器行業(yè)。

1、高算力需求帶動(dòng)服務(wù)器行業(yè)迎來(lái)發(fā)展新機(jī)遇

算力作為一種核心生產(chǎn)力，應(yīng)用在互聯(lián)網(wǎng)、政務(wù)、金融等各領(lǐng)域場(chǎng)景隨著元宇宙、Web3.0等新概念的出現(xiàn)，更復(fù)雜的計(jì)算場(chǎng)景產(chǎn)生高算力需求。推動(dòng)服務(wù)器產(chǎn)品向更高計(jì)算性能方向升級(jí)。

2、大型數(shù)據(jù)中心建設(shè)加快服務(wù)器市場(chǎng)規(guī)模增長(zhǎng)

大規(guī)模數(shù)據(jù)中心建設(shè)是全球服務(wù)器市場(chǎng)增長(zhǎng)的主要?jiǎng)恿Α⒈泵馈喆笪鳉W等全球大部分地區(qū)的數(shù)據(jù)中心服務(wù)器采購(gòu)持續(xù)增長(zhǎng)。

二、ChatGPT需要的服務(wù)器：AI訓(xùn)練型服務(wù)器+AI推理型服務(wù)器

邊緣計(jì)算需要大量機(jī)器處理高負(fù)載請(qǐng)求，而傳統(tǒng)的CS模式已經(jīng)無(wú)法滿足這一需求。當(dāng)前的互聯(lián)網(wǎng)架構(gòu)正在向以CDN服務(wù)為核心的CES模式轉(zhuǎn)變，但CES模式在邊緣上處理非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和處理的需求方面存在局限性。因此，引入Edge端以解決無(wú)法處理業(yè)務(wù)的問(wèn)題。在AI訓(xùn)練場(chǎng)景下，由于計(jì)算量和數(shù)據(jù)類型的變化，C-E-S也無(wú)法滿足需求，因此計(jì)算架構(gòu)在回歸到C-S，并朝向高效率并行計(jì)算的方向演變。

計(jì)算架構(gòu)演變過(guò)程

作為硬件核心，服務(wù)器面對(duì)不同的計(jì)算場(chǎng)景，而計(jì)算架構(gòu)變化是服務(wù)器技術(shù)演進(jìn)的關(guān)鍵。隨著云計(jì)算、邊緣計(jì)算和AI訓(xùn)練等計(jì)算架構(gòu)的出現(xiàn)，服務(wù)器需求也在不斷變化。單一服務(wù)器更加關(guān)注個(gè)體性能，而云數(shù)據(jù)中心服務(wù)器更關(guān)注整體性能。邊緣計(jì)算對(duì)數(shù)據(jù)交互實(shí)時(shí)性的要求更高，并需要更多的服務(wù)器設(shè)施。AI服務(wù)器主要用于人工智能訓(xùn)練，使用向量/張量數(shù)據(jù)類型，并通過(guò)大規(guī)模并行計(jì)算來(lái)提高效率。

同一技術(shù)路線下，服務(wù)器面向數(shù)據(jù)處理需求持續(xù)迭代。復(fù)盤主流服務(wù)器發(fā)展歷程來(lái)看，隨著數(shù)據(jù)量激增、數(shù)據(jù)場(chǎng)景復(fù)雜化，不同類型服務(wù)器發(fā)展驅(qū)動(dòng)力也有所差異。具體來(lái)看：

傳統(tǒng)的通用服務(wù)器發(fā)展較為緩慢，主要是通過(guò)處理器時(shí)鐘頻率、指令集并行度、核數(shù)等硬件指標(biāo)的提升來(lái)優(yōu)化其性能。相比之下，云計(jì)算服務(wù)器快速發(fā)展成熟，這一過(guò)程始于20世紀(jì)80年代，隨后在VMware Workstation、亞馬遜AWS等產(chǎn)品的推出，以及OpenStack開(kāi)源項(xiàng)目的出現(xiàn)下加速了。目前，云計(jì)算在全球范圍內(nèi)已經(jīng)比較普及，許多公司都使用流行的云服務(wù)提供商（如AWS、Azure、Google Cloud等）來(lái)存儲(chǔ)和處理數(shù)據(jù)。邊緣計(jì)算服務(wù)器概念于2015年孵化，近年來(lái)已出現(xiàn)諸如AWS Greengrass、谷歌GMEC等邊緣計(jì)算平臺(tái)。隨著越來(lái)越多的設(shè)備（如可穿戴設(shè)備和智能家居設(shè)備）連接到互聯(lián)網(wǎng)，邊緣計(jì)算技術(shù)的需求也日益增長(zhǎng)。最后，AI服務(wù)器是為人工智能和機(jī)器學(xué)習(xí)工作量身定制的，其硬件架構(gòu)更加適合對(duì)訓(xùn)練算力的需求。隨著人工智能的應(yīng)用變得越來(lái)越廣泛，AI服務(wù)器的需求也在增加。

三、云計(jì)算服務(wù)器：大規(guī)模數(shù)據(jù)處理需求下的商業(yè)模式變革

云計(jì)算服務(wù)器的出現(xiàn)是為了滿足數(shù)據(jù)量激增所帶來(lái)的高性能計(jì)算需求。傳統(tǒng)通用服務(wù)器通過(guò)提高硬件指標(biāo)提升性能，但隨著CPU工藝和單個(gè)CPU核心數(shù)量接近極限，無(wú)法滿足數(shù)據(jù)量激增的性能需求。相比之下，云計(jì)算服務(wù)器采用虛擬化技術(shù)，將計(jì)算和存儲(chǔ)資源進(jìn)行池化，把原本物理隔離的單臺(tái)計(jì)算資源進(jìn)行虛擬化和集中化處理，并以集群化處理來(lái)達(dá)到單臺(tái)服務(wù)器所難以實(shí)現(xiàn)的高性能計(jì)算。此外，云計(jì)算服務(wù)器的計(jì)算能力可以通過(guò)增加虛擬化服務(wù)器的數(shù)量來(lái)進(jìn)行擴(kuò)展，突破單個(gè)服務(wù)器硬件限制，應(yīng)對(duì)數(shù)據(jù)量激增所帶來(lái)的性能需求。

云計(jì)算服務(wù)器實(shí)際上節(jié)約了部分硬件成本，并降低了算力采購(gòu)門檻。在過(guò)去，大規(guī)模數(shù)據(jù)處理成本極高，主要因?yàn)橥ㄓ梅?wù)器的購(gòu)置和運(yùn)維成本居高不下。而傳統(tǒng)服務(wù)器通常包含處理器摸塊、存儲(chǔ)模塊、網(wǎng)絡(luò)模塊、電源、風(fēng)扇等全套設(shè)備。云計(jì)算服務(wù)器體系結(jié)構(gòu)精簡(jiǎn)，省去重復(fù)的模塊，提高了利用率。此外，云計(jì)算服務(wù)器針對(duì)節(jié)能需求，將存儲(chǔ)模塊進(jìn)行虛擬化，并去除了主板上的非必要硬件，降低了整體計(jì)算成本。另外，流量計(jì)費(fèi)模式也有助于許多廠商負(fù)擔(dān)算力開(kāi)支，降低了算力采購(gòu)門檻。

四、邊緣服務(wù)器：高數(shù)據(jù)密度和帶寬限制下保證低時(shí)延

邊緣計(jì)算是一種在云計(jì)算基礎(chǔ)之上引入邊緣層的計(jì)算模式。它位于靠近物或數(shù)據(jù)源頭的網(wǎng)絡(luò)邊緣，通過(guò)提供計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)等資源來(lái)協(xié)助應(yīng)用程序。邊緣計(jì)算基于一個(gè)新的體系架構(gòu)，引入了邊緣層，使得云服務(wù)可以擴(kuò)展到網(wǎng)絡(luò)邊緣。在這個(gè)體系架構(gòu)中，終端層由物聯(lián)網(wǎng)設(shè)備組成，這些設(shè)備位于最靠近用戶的地方，負(fù)責(zé)收集原始數(shù)據(jù)并上傳至上層進(jìn)行計(jì)算；邊緣層則由路由器、網(wǎng)關(guān)、邊緣服務(wù)器等設(shè)備組成，這些設(shè)備由于距離用戶較近，可以運(yùn)行延遲敏感型應(yīng)用程序，滿足用戶對(duì)低時(shí)延的要求；云層則由高性能服務(wù)器等設(shè)備組成，可以處理復(fù)雜的計(jì)算任務(wù)。

邊緣計(jì)算架構(gòu)

邊緣計(jì)算相對(duì)于云計(jì)算具有實(shí)時(shí)性、低成本和安全性等優(yōu)勢(shì)。它將計(jì)算任務(wù)從云計(jì)算中心部分或全部遷移到離用戶更近的網(wǎng)絡(luò)邊緣進(jìn)行處理，從而提高了數(shù)據(jù)傳輸性能和處理的實(shí)時(shí)性。同時(shí)，邊緣計(jì)算還可以避免遠(yuǎn)距離傳輸數(shù)據(jù)帶來(lái)的成本問(wèn)題，并降低云計(jì)算中心的計(jì)算負(fù)載。此外，邊緣計(jì)算將大部分?jǐn)?shù)據(jù)在本地設(shè)備和邊緣層設(shè)備中處理，減少上傳至云端的數(shù)據(jù)量，降低了數(shù)據(jù)泄露的風(fēng)險(xiǎn)，因此具備更高的安全性。

五、AI服務(wù)器：更適合深度學(xué)習(xí)等AI訓(xùn)練場(chǎng)景

在現(xiàn)代AI領(lǐng)域中，由于大規(guī)模的計(jì)算需求，普通的CPU服務(wù)器已經(jīng)不能滿足需求。相較于CPU，GPU（圖形處理單元）具備更適合進(jìn)行大規(guī)模并行計(jì)算的架構(gòu)設(shè)計(jì)，因此AI服務(wù)器采用GPU架構(gòu)來(lái)提高計(jì)算性能。

與通用服務(wù)器不同的是，AI服務(wù)器為異構(gòu)服務(wù)器。意味著它可以使用不同的組合方式來(lái)提高計(jì)算性能，例如使用CPUGPU、CPUTPU、CPU其他加速卡等，但是以GPU提供計(jì)算能力為主要方式。

以ChatGPT模型為例，它采用了并行計(jì)算的方式。相比于RNN模型，它能夠?yàn)檩斎胄蛄兄械娜魏巫址峁┥舷挛模瑥亩粌H精度更高，而且可以一次處理所有輸入，而不是一次只處理一個(gè)詞。

從GPU的計(jì)算方式來(lái)看，GPU架構(gòu)采用了大量的計(jì)算單元和超長(zhǎng)的流水線，因此與CPU相比，可以進(jìn)行大吞吐量的并行計(jì)算。這種計(jì)算能力特別適合進(jìn)行大規(guī)模AI并行計(jì)算。

深度學(xué)習(xí)主要進(jìn)行矩陣向量計(jì)算，AI服務(wù)器處理效率更高。從ChatGPT模型結(jié)構(gòu)來(lái)看，基于Transformer架構(gòu)，ChatGPT模型采用注意力機(jī)制進(jìn)行文本單詞權(quán)重賦值，并向前饋神經(jīng)網(wǎng)絡(luò)輸出數(shù)值結(jié)果，這一過(guò)程需要進(jìn)行大量向量及張量運(yùn)算。而AI服務(wù)器中往往集成多個(gè)AI GPU，AI GPU通常支持多重矩陣運(yùn)算，例如卷積、池化和激活函數(shù)，以加速深度學(xué)習(xí)算法的運(yùn)算。因此在人工智能場(chǎng)景下，AI服務(wù)器往往較GPU服務(wù)器計(jì)算效率更高，具備一定應(yīng)用優(yōu)勢(shì)。

六、ChatGPT需要的芯片：CPU+GPU、FPGA、ASIC

GPT模型訓(xùn)練需要大算力支持，或?qū)?lái)AI服務(wù)器建設(shè)需求。我們認(rèn)為，隨著國(guó)內(nèi)廠商陸續(xù)布局ChatGPT類似產(chǎn)品，GPT大模型預(yù)訓(xùn)練、調(diào)優(yōu)及日常運(yùn)營(yíng)或?qū)?lái)大量算力需求，進(jìn)而帶動(dòng)國(guó)內(nèi)AI服務(wù)器市場(chǎng)放量。以GPT-3 175B模型預(yù)訓(xùn)練過(guò)程為例，據(jù)OpenAI，進(jìn)行一次GPT-3 175B模型的預(yù)訓(xùn)練需要的算力約3640 PFlop/s-day。我們假設(shè)以浪潮信息目前算力最強(qiáng)的AI服務(wù)器NF5688M6（PFlop/s）進(jìn)行計(jì)算，在預(yù)訓(xùn)練期限分別為3、5、10天的假設(shè)下，單一廠商需采購(gòu)的AI服務(wù)器數(shù)量分別為243、146、73臺(tái)。

AI大模型訓(xùn)練需求火熱，智能算力規(guī)模增長(zhǎng)有望帶動(dòng)AI服務(wù)器放量。據(jù)IDC數(shù)據(jù)，以半精度（FP16）運(yùn)算能力換算，2021年中國(guó)智能算力規(guī)模約155.2EFLOPS。隨著AI模型日益復(fù)雜、計(jì)算數(shù)據(jù)量快速增長(zhǎng)、人工智能應(yīng)用場(chǎng)景不斷深化，未來(lái)國(guó)內(nèi)智能算力規(guī)模有望實(shí)現(xiàn)快速增長(zhǎng)。IDC預(yù)計(jì)2022年國(guó)內(nèi)智能算力規(guī)模將同比增長(zhǎng)72.7%至268.0 EFLOPS，預(yù)計(jì)2026年智能算力規(guī)模將達(dá)1271.4 EFLOPS，2022-2026年算力規(guī)模CAGR將達(dá)69.2%。我們認(rèn)為，AI服務(wù)器作為承載智能算力運(yùn)算的主要基礎(chǔ)設(shè)施，有望受益于下游需求放量。

總結(jié)

ChatGPT是一個(gè)高性能的文件傳輸協(xié)議，需要一個(gè)可持續(xù)的服務(wù)器端架構(gòu)來(lái)支持它的持續(xù)發(fā)展。以下是一個(gè)簡(jiǎn)單的指南：

一、了解客戶需求

在構(gòu)建任何服務(wù)器端架構(gòu)之前，需要知道客戶的需求。你需要考慮的問(wèn)題包括：

1、用戶數(shù)量：預(yù)計(jì)有多少用戶使用服務(wù)？

2、數(shù)據(jù)量：每個(gè)用戶將存儲(chǔ)多少數(shù)據(jù)？預(yù)計(jì)服務(wù)將處理多少數(shù)據(jù)？

3、設(shè)備類型和平臺(tái)：用戶將使用哪些設(shè)備和平臺(tái)來(lái)訪問(wèn)服務(wù)？

二、選擇正確的基礎(chǔ)架構(gòu)

選擇正確的基礎(chǔ)架構(gòu)對(duì)于構(gòu)建可持續(xù)的服務(wù)器端架構(gòu)至關(guān)重要。其中一些常見(jiàn)的選擇包括：

1、物理服務(wù)器：這是在本地運(yùn)行服務(wù)器的經(jīng)典方式。這需要購(gòu)買服務(wù)器硬件和管理基礎(chǔ)架構(gòu)。

2、虛擬專用服務(wù)器（VPS）：VPS是在共享物理服務(wù)器上運(yùn)行的虛擬服務(wù)器。大多數(shù)云服務(wù)商都提供VPS。

3、云計(jì)算：云計(jì)算允許你根據(jù)實(shí)際使用情況逐步擴(kuò)展和縮小基礎(chǔ)架構(gòu)。其中一些提供商包括Amazon Web Services（AWS）、Microsoft Azure和Google Cloud Platform（GCP）。

三、設(shè)計(jì)可擴(kuò)展的架構(gòu)

在設(shè)計(jì)你的服務(wù)器端架構(gòu)時(shí)，你需要考慮如何擴(kuò)展它以處理更多的流量和用戶。其中一些關(guān)鍵考慮因素包括：

1、橫向擴(kuò)展：這是向系統(tǒng)添加更多服務(wù)器以處理更多流量和用戶的過(guò)程。

2、縱向擴(kuò)展：這是將相同的服務(wù)器升級(jí)以處理更多流量和用戶的過(guò)程。

3、負(fù)載均衡：這是將請(qǐng)求分配給多個(gè)服務(wù)器以減輕負(fù)載的過(guò)程。

4、緩存：這是將請(qǐng)求的結(jié)果存儲(chǔ)在內(nèi)存中以提高響應(yīng)速度的過(guò)程。

四、確保安全和可靠性

在構(gòu)建任何服務(wù)器端架構(gòu)時(shí)，安全和可靠性都是至關(guān)重要的。這意味著你需要考慮以下事項(xiàng)：

1、數(shù)據(jù)備份和恢復(fù)：你需要定期備份數(shù)據(jù)，以防止數(shù)據(jù)丟失，并在必要時(shí)能夠快速恢復(fù)數(shù)據(jù)。

2、安全性：你需要確保你的服務(wù)器端架構(gòu)是安全的，包括使用安全的傳輸協(xié)議、對(duì)數(shù)據(jù)進(jìn)行加密等。

3、監(jiān)控和警報(bào)：你需要設(shè)置監(jiān)控和警報(bào)系統(tǒng)，以便在服務(wù)器出現(xiàn)問(wèn)題時(shí)及時(shí)得到通知。

可持續(xù)的ChatGPT高性能服務(wù)器端架構(gòu)需要考慮多個(gè)因素，包括用戶需求、基礎(chǔ)架構(gòu)選擇、可擴(kuò)展性設(shè)計(jì)以及安全和可靠性保障。通過(guò)綜合評(píng)估這些要素并采取相應(yīng)的措施。

審核編輯黃宇