色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

生成式AI的I/O瓶頸,或許可以用光子IC來(lái)突破

E4Life ? 來(lái)源:電子發(fā)燒友網(wǎng) ? 作者:周凱揚(yáng) ? 2023-10-13 00:02 ? 次閱讀

電子發(fā)燒友網(wǎng)報(bào)道(文/周凱揚(yáng))從回答問(wèn)題對(duì)話到寫(xiě)文章,ChatGPT這類(lèi)應(yīng)用已經(jīng)幫我們展示了生成式AI帶來(lái)的第一波震撼,從OpenAI的路線也可以看出,他們已經(jīng)在努力把處理對(duì)象從單純的文字,轉(zhuǎn)換成圖片、音頻乃至視頻了。但這也意味著待處理的數(shù)據(jù)大小以數(shù)量級(jí)提升,畢竟再長(zhǎng)的文本和視頻文件大小比起來(lái)還是相去甚遠(yuǎn)。

I/O瓶頸

要想進(jìn)一步提升生成式AI的處理性能,我們就不得不看下背后為其提供動(dòng)力的基礎(chǔ)設(shè)備,也就是GPU、AI加速器、高帶寬內(nèi)存和光模塊。AI模型發(fā)展的早期,只需單個(gè)GPU甚至是CPU就能處理簡(jiǎn)單的AI模型,而如今這些先進(jìn)的AI模型,沒(méi)有大型機(jī)柜組成的服務(wù)器和成千上萬(wàn)個(gè)GPU,是很難運(yùn)行起來(lái)的。

比如特斯拉老版的自動(dòng)駕駛訓(xùn)練超算,就是由720個(gè)節(jié)點(diǎn)的8x英偉達(dá)A100 GPU構(gòu)成的,算力高達(dá)1.8 EFLOPS。小鵬于去年建成的智算中心扶搖算力規(guī)模高達(dá)600PFLOPS,預(yù)計(jì)也用到了上千塊GPU。

盡管部署大量GPU是擴(kuò)展算力的最直接途徑,但與此同時(shí)傳統(tǒng)的互聯(lián)方案還是創(chuàng)造了巨大的I/O瓶頸,嚴(yán)重影響了GPU的性能利用率,導(dǎo)致更多的時(shí)間花在了等待數(shù)據(jù)而不是處理數(shù)據(jù)上。

為此,常用的方案變成了添加更多的GPU來(lái)彌補(bǔ)性能和計(jì)算效率上的損失,可這樣的趨勢(shì)已經(jīng)在逐漸被淘汰,因?yàn)閺臏p少碳足跡的角度來(lái)看,全球范圍內(nèi)各個(gè)國(guó)家都在開(kāi)始考慮減少數(shù)據(jù)中心的能源損耗了。

光子IC

除此之外,另一解決方案就是利用光模塊來(lái)解決速度慢的節(jié)點(diǎn)間電氣連接,然而光模塊成本較高、密度較低,所以需要更高速、端到端又能降低成本互聯(lián)方案,即芯片到芯片之間的光學(xué)I/O。

利用更高帶寬的光學(xué)連接取代諸多并行和高速串行I/O通道,這一愿景促使了行業(yè)對(duì)近封裝光學(xué)和共封裝光學(xué)的追求。相較外部可插拔的管模塊,光子IC可將光學(xué)I/O集成到GPU封裝內(nèi)部,用來(lái)與其他的GPU節(jié)點(diǎn)進(jìn)行直接通信,進(jìn)一步提高了AI算力的擴(kuò)展效率,滿(mǎn)足了當(dāng)下持續(xù)增長(zhǎng)的AI需求。

近期,Sivers Semiconductors就在歐洲光通信展覽會(huì)上展出了他們打造的八波長(zhǎng)分布式反饋(DFB)激光器陣列,該陣列集成在了Ayar Labs的SuperNova多波長(zhǎng)光源中,支持GPU之間最高4TB/s的數(shù)據(jù)傳輸。根據(jù)Ayar Labs提供的數(shù)據(jù),新的光源配合它們的TeraPHY封裝內(nèi)光學(xué)I/O Chiplet,還提供了低上10倍的延遲和8倍的傳輸能效。

這樣的表現(xiàn)無(wú)疑極大地提升GPU的性能利用效率,解決當(dāng)下生成式AI在I/O性能瓶頸上的燃眉之急。盡管光子計(jì)算芯片目前尚不能替代傳統(tǒng)的電子半導(dǎo)體器件,但從解決帶寬和延遲需求上已經(jīng)有了長(zhǎng)足的進(jìn)步。

寫(xiě)在最后

面對(duì)生成式AI模型大小的指數(shù)級(jí)上漲,以及逐漸龐大起來(lái)的推理數(shù)據(jù)量,傳統(tǒng)的I/O性能必然會(huì)面臨淘汰,而光子IC為高性能的AI芯片提供了一條更快更高效的通路。不過(guò)仍然需要注意的是,光子IC與傳統(tǒng)IC還有設(shè)計(jì)與制造上的區(qū)別,比如需要特定的設(shè)計(jì)工具以及工藝等。因此要想發(fā)展光子IC跟上這一波趨勢(shì),就必須從EDA和晶圓代工廠開(kāi)始抓起。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • IC
    IC
    +關(guān)注

    關(guān)注

    36

    文章

    5960

    瀏覽量

    175769
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    Google兩款先進(jìn)生成AI模型登陸Vertex AI平臺(tái)

    新的 AI 模型,包括最先進(jìn)的視頻生成模型Veo以及最高品質(zhì)的圖像生成模型Imagen 3。近日,我們?cè)?Google Cloud 上進(jìn)一步推動(dòng)這一勢(shì)頭,客戶(hù)可以在Vertex
    的頭像 發(fā)表于 12-30 09:56 ?85次閱讀

    英偉達(dá)AI加速器新藍(lán)圖:集成硅光子I/O,3D垂直堆疊 DRAM 內(nèi)存

    加速器設(shè)計(jì)的愿景。 英偉達(dá)認(rèn)為未來(lái)整個(gè) AI 加速器復(fù)合體將位于大面積先進(jìn)封裝基板之上,采用垂直供電,集成硅光子 I/O 器件,GPU 采用多模塊設(shè)計(jì),3D 垂直堆疊 DRAM 內(nèi)存
    的頭像 發(fā)表于 12-13 11:37 ?234次閱讀
    英偉達(dá)<b class='flag-5'>AI</b>加速器新藍(lán)圖:集成硅<b class='flag-5'>光子</b><b class='flag-5'>I</b>/<b class='flag-5'>O</b>,3D垂直堆疊 DRAM 內(nèi)存

    生成AI工具作用

    生成AI工具是指那些能夠自動(dòng)生成文本、圖像、音頻、視頻等多種類(lèi)型數(shù)據(jù)的人工智能技術(shù)。在此,petacloud.ai小編為您整理
    的頭像 發(fā)表于 10-28 11:19 ?258次閱讀

    谷歌Vertex AI助力企業(yè)生成AI應(yīng)用

    過(guò)去的一段時(shí)間,我們看到了許多 Google Cloud 客戶(hù)對(duì)生成 AI 和 agent 的精彩應(yīng)用,令我們拍案叫絕。為了讓企業(yè)能夠更快推出功能強(qiáng)大的 AI agent,Googl
    的頭像 發(fā)表于 09-09 15:59 ?528次閱讀

    使用OpenVINO GenAI API的輕量級(jí)生成AI

    機(jī)器人的進(jìn)步很快、變化不斷,很難預(yù)測(cè)接下來(lái)會(huì)有什么突破,開(kāi)發(fā)者應(yīng)該關(guān)注什么。我們知道生成AI將繼續(xù)存在,開(kāi)發(fā)人員希望看到在本地開(kāi)發(fā)、維護(hù)和部署 A
    的頭像 發(fā)表于 07-24 15:08 ?634次閱讀

    生成AI的基本原理和應(yīng)用領(lǐng)域

    生成人工智能(Generative Artificial Intelligence,簡(jiǎn)稱(chēng)Generative AI)是一種利用機(jī)器學(xué)習(xí)算法和深度學(xué)習(xí)技術(shù),通過(guò)模擬人類(lèi)的創(chuàng)造性思維過(guò)程,生成
    的頭像 發(fā)表于 07-04 11:50 ?1547次閱讀

    原來(lái)這才是【生成AI】!!

    隨著ChatGPT、文心一言等AI產(chǎn)品的火爆,生成AI已經(jīng)成為了大家茶余飯后熱議的話題。可是,為什么要在AI前面加上“
    的頭像 發(fā)表于 06-05 08:04 ?290次閱讀
    原來(lái)這才是【<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>】!!

    請(qǐng)問(wèn)移動(dòng)端生成AI如何在Arm CPU上運(yùn)行呢?

    2023 年,生成人工智能 (Generative AI) 領(lǐng)域涌現(xiàn)出諸多用例。這一突破性的人工智能 (AI) 技術(shù)是 OpenAI 的
    的頭像 發(fā)表于 05-21 17:07 ?894次閱讀
    請(qǐng)問(wèn)移動(dòng)端<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>如何在Arm CPU上運(yùn)行呢?

    生成AI的「七宗罪」!

    面對(duì)生成AI日漸增長(zhǎng)的「罪惡」,我們?cè)撊绾谓鉀Q問(wèn)題?
    的頭像 發(fā)表于 05-07 16:34 ?1778次閱讀
    <b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>的「七宗罪」!

    軟件可配置模擬 I/O 的設(shè)計(jì)理念

    將這種荒謬變成了現(xiàn)實(shí)。如今,單一模擬集成電路 (IC) 就能實(shí)現(xiàn)多種角色。例如,[Analog Devices]的 [MAX22000] 工業(yè) I/O 設(shè)備提供六個(gè)模擬輸入和一個(gè)模擬輸出,所有輸入
    的頭像 發(fā)表于 05-05 11:10 ?899次閱讀
    軟件可配置模擬 <b class='flag-5'>I</b>/<b class='flag-5'>O</b> 的設(shè)計(jì)理念

    生成AI觸手可及 ——AirBox 正式開(kāi)放預(yù)定

    生成AI觸手可及 ——AirBox 正式開(kāi)放預(yù)定
    的頭像 發(fā)表于 04-26 08:34 ?933次閱讀
    讓<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>觸手可及 ——AirBox 正式開(kāi)放預(yù)定

    生成 AI 進(jìn)入模型驅(qū)動(dòng)時(shí)代

    人意識(shí)到,需要針對(duì)特定的應(yīng)用對(duì)模型進(jìn)行更廣泛的訓(xùn)練。因此,只要說(shuō)到“生成AI”這個(gè)詞,我們很自然地就會(huì)聯(lián)想到要使用經(jīng)過(guò)訓(xùn)練的模型。但是,生成
    的頭像 發(fā)表于 04-13 08:12 ?546次閱讀
    <b class='flag-5'>生成</b><b class='flag-5'>式</b> <b class='flag-5'>AI</b> 進(jìn)入模型驅(qū)動(dòng)時(shí)代

    生成 AI 制作動(dòng)畫(huà):周期短、成本低!

    工作室和特效公司正廣泛采用生成AI技術(shù)進(jìn)行背景生成、角色創(chuàng)作和動(dòng)作合成。這種技術(shù)的應(yīng)用不僅提高了動(dòng)畫(huà)制作的效率,還使得動(dòng)畫(huà)作品在視覺(jué)效果和創(chuàng)意上有了更大的
    的頭像 發(fā)表于 03-18 08:19 ?3670次閱讀
    <b class='flag-5'>生成</b><b class='flag-5'>式</b> <b class='flag-5'>AI</b> 制作動(dòng)畫(huà):周期短、成本低!

    博世與微軟合作開(kāi)發(fā)生成AI產(chǎn)品

    全球知名科技公司博世與微軟聯(lián)合宣布,雙方已建立合作關(guān)系,共同致力于開(kāi)發(fā)先進(jìn)的生成AI產(chǎn)品。這一合作的核心目標(biāo)在于通過(guò)利用生成
    的頭像 發(fā)表于 03-05 11:17 ?922次閱讀

    FANUC外部I/O點(diǎn)數(shù)不夠用了怎么辦?可以擴(kuò)展I/O點(diǎn)數(shù)嗎?

    FANUC外部I/O點(diǎn)數(shù)不夠用了怎么辦?可以擴(kuò)展I/O點(diǎn)數(shù)嗎? 擴(kuò)展FANUC的外部I/
    的頭像 發(fā)表于 02-18 15:21 ?1968次閱讀
    主站蜘蛛池模板: 亚洲中文日韩日本在线视频| a一级毛片视频免费看| 嫩小xxxxbbbb| 色综合欧美色综合七久久| 亚洲天码中字| 日本精品久久无码影院| 亚洲 日韩 国产 制服 在线| 高h肉肉乳共妻| 色老头色老太aaabbb| 草莓视频在线观看免费观看高清| 欧美日韩亚洲中字二区| chinese东北老年tv视频| 翘臀少妇被扒开屁股日出水爆乳| ae58老司机福利| 秋霞av伦理片在线观看| 成人免费肉动漫无遮网站| 色AV色婷婷96人妻久久久| 囯产精品麻豆巨作久久| 午夜伦理yy44008影院| 国产日韩成人内射视频| 亚洲国产成人精品不卡青青草原| 国产午夜精品理论片影院| 亚洲黄色高清| 精品无人区麻豆乱码无限制| 在线观看免费精品国产| 男女爽爽无遮挡午夜视频在线观看 | 久久精品99热超碰| 一本之道高清在线3线观看| 九九精品国产亚洲A片无码| 亚洲中文字幕无码一去台湾| 老熟女重囗味HDXX| yin荡体育课羞耻play双性| 涩涩视频在线看| 紧致肉肉高h| 99精品久久| 国产免费久久爱久久啪| 伊人国产在线视频| 内射少妇36P亚洲区| 国产成人无码免费精品果冻传媒| 小柔的性放荡羞辱日记| 久久精品亚洲|