色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

只能跑Transformer的AI芯片,卻號稱全球最快?

E4Life ? 來源:電子發燒友 ? 作者:周凱揚 ? 2024-07-01 09:03 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發燒友網報道(文/周凱揚)近日,一家由哈佛輟學生成立的初創公司Etched,宣布了他們在打造的一款“專用”AI芯片Sohu。據其聲稱該芯片的速度將是英偉達H100的20倍,但只能跑transformer架構的模型。

Sohu,比H100快上20倍

之所以打算Sohu這一自研ASIC AI芯片,是因為Etched認為GPU在性能升級上的速度太慢了。如果以H100的單位面積算力和交期作為參考,那么從2022年到2025年,英偉達的H100迭代至B200,2.5年的時間內性能只有15%的提升。所以要想有效提高性能的方式,只有走特化的ASIC芯片一途。

現在發布的任何AI芯片,在提到性能時,無疑都會把英偉達的H100作為對比參照,Etched的Sohu也不例外。根據Etched提供的數據,單個Sohu服務器運行Llama 70B時可以做到50萬Tokens每秒,這一速度是單個H100服務器的20倍以上,也是單個B200服務器的10倍以上。

在服務器的配置上,Sohu服務器和H100服務器均采用的8卡的配置,所以Etched強調一個8xSohu的服務器就可以替換掉至少160個H100,大大降低成本的同時,也不會有性能損失。

由于Sohu僅支持一種算法,所以絕大多數的控制流模塊都可以被剔除,芯片可以集成更多的數學計算單元,在算力利用率上可以達到90%以上,而GPU卻只能做到30%。這也是因為在GPU的電路設計上,用于矩陣乘法的晶體管數量甚至沒有占到10%。不過Etched對于英偉達的設計還是相當佩服的,指出如果同時想支持CNN、LSTM、SSM等其他模型,確實很難做得比英偉達更好。

當然了,這里的測試條件也必須做一個說明,測試標準為FP8精度的Llama 70B,無稀疏,其中H100是基于最新版本的TensorRT-LLM測試的,而B200由于還未交付,所以其性能是預估的。

為何專攻Transformer模型

市面上的AI芯片和GPU產品為了覆蓋更靈活的客戶需求,盡管不少都采用了ASIC的設計方案,但支持的模型卻不會局限在一類。Etched也在其官網列出了市面上一些競品方案,包括英偉達的GPU、谷歌的TPU、亞馬遜的Trainium、Graphcore的IPU、Tenstorrent的Grayskull和英特爾的Gaudi等等,這些方案無一不對廣泛的AI模型提供了支持。

但我們從市面上頭部的模型來看,幾乎占據主導地位的都是transformer架構的模型,比如GPT、Sora、Gemini和Stable Diffusion。Etched很大方地表示,如果哪一天transformer被SSM、RWKV或其他新的架構替代了,他們的芯片將變得一無是處,對于千變萬化的AI市場而言,絕大多數廠商都不敢沒法做出這樣的預測。

而Etched從2022年底,就賭transformer模型將會統治整個市場。這在當時還沒有ChatGPT的年代,是一個大膽的預測,畢竟當時圖像生成還有基于CNN的U-Net,不少自動駕駛的視覺處理也還在廣泛使用CNN。而且對于一個規模不算大的設計團隊而言,維護單一架構的軟件棧明顯壓力更小一些,他們只需要為transformer編寫驅動、內核即可。

寫在最后

至于Etched的這場豪賭是否能成功,還得看芯片的成品表現如何。雖然他們嘗試的這條路線沒人走過,但財力和研發能力均在他們之上的廠商也沒能打造出超過英偉達GPU的競品,硅谷的VC們能否造出新神,依然不能過早下定論。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • Transformer
    +關注

    關注

    0

    文章

    151

    瀏覽量

    6498
  • AI芯片
    +關注

    關注

    17

    文章

    1983

    瀏覽量

    35852
收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

  • ben1111

評論

相關推薦
熱點推薦

語音助手只能聊天?啟明云端AI語音交互方案偷偷修煉了音樂才藝!

“語音助手只能聊天?太out了!”語音交互的新樂章已經奏響!啟明云端基于樂鑫科技芯片AI語音方案正式解鎖音樂技能樹,只需一句指令,智能設備即刻變身專屬點唱機。只要版權到位,想聽什么?您說了算!多
的頭像 發表于 06-27 18:03 ?147次閱讀
語音助手<b class='flag-5'>只能</b>聊天?啟明云端<b class='flag-5'>AI</b>語音交互方案偷偷修煉了音樂才藝!

全球首個AI設計芯片系統誕生,來自中科院

電子發燒友網綜合報道,近日,中國科學院計算技術研究所處理器芯片全國重點實驗室聯合軟件研究所,推出全球首個基于人工智能技術的處理器芯片軟硬件全自動設計系統 ——“啟蒙”。 ? 該系統實現從芯片
的頭像 發表于 06-16 00:11 ?2177次閱讀

Transformer架構概述

由于Transformer模型的出現和快速發展,深度學習領域正在經歷一場翻天覆地的變化。這些突破性的架構不僅重新定義了自然語言處理(NLP)的標準,而且拓寬了視野,徹底改變了AI的許多方面。
的頭像 發表于 06-10 14:24 ?317次閱讀
<b class='flag-5'>Transformer</b>架構概述

大象機器人攜手進迭時空推出 RISC-V 全棧開源六軸機械臂產品

集成于同一硬件平臺。內置RISC-V AI核,接入ONNXRuntime加速框架,可快速部署Transformer、CNN等主流算法,實現視覺跟蹤、語音交互與自主決策的一體化應用。 低門檻開發 提供
發表于 04-25 17:59

科通技術推出DeepSeek+AI芯片全場景方案

2025年,隨著DeepSeek新版本的開源,AI技術掀起了全球普及的浪潮。在這股浪潮中,AI芯片作為關鍵算力支撐,其應用場景不斷拓展,從云端到本地,再到終端設備,
的頭像 發表于 03-24 10:33 ?671次閱讀

浙江大學杭州國際科創中心推出全球最快四足機器人

2 月 8 日消息,據央視新聞今日報道,浙江大學杭州國際科創中心最新推出了全球最快四足機器人“黑豹”,其整體重量為 38 公斤,站立高度 0.63 米。 科研人員介紹,在測試中黑豹可以穩定地跑出
的頭像 發表于 02-10 09:40 ?514次閱讀

如何使用MATLAB構建Transformer模型

Transformer 模型在 2017 年由 Vaswani 等人在論文《Attentionis All You Need》中首次提出。其設計初衷是為了解決自然語言處理(Nature
的頭像 發表于 02-06 10:21 ?3949次閱讀
如何使用MATLAB構建<b class='flag-5'>Transformer</b>模型

transformer專用ASIC芯片Sohu說明

的舊圖像模型,也不能運行CNN、RNN或LSTM。 但對于transformer來說,Sohu是有史以來最快芯片。 借助Llama 70B每秒超過50萬個token的吞吐量,Sohu可以讓您構建在GPU上無法實現的產品
的頭像 發表于 01-06 09:13 ?1139次閱讀
<b class='flag-5'>transformer</b>專用ASIC<b class='flag-5'>芯片</b>Sohu說明

Transformer模型的具體應用

如果想在 AI 領域引領一輪新浪潮,就需要使用到 Transformer
的頭像 發表于 11-20 09:28 ?1544次閱讀
<b class='flag-5'>Transformer</b>模型的具體應用

Transformer模型能夠做什么

盡管名為 Transformer,但它們不是電視銀幕上的變形金剛,也不是電線桿上垃圾桶大小的變壓器。
的頭像 發表于 11-20 09:27 ?984次閱讀
<b class='flag-5'>Transformer</b>模型能夠做什么

英偉達推出歸一化Transformer,革命性提升LLM訓練速度

英偉達團隊近日在AI領域投下了一枚震撼彈,他們提出了一種全新的神經網絡架構——歸一化Transformer(nGPT)。這一創新架構基于超球面(hypersphere)進行表示學習,為AI領域帶來
的頭像 發表于 10-23 11:30 ?858次閱讀

天璣9400權威測試AI能跑分第一,領跑行業

聯發科近日隆重推出其最新旗艦芯片——天璣9400,這款芯片是天璣家族的第二代全大核SoC,并且成為首款集成智能體AI的5G旗艦芯片。在繼天璣9300成功將生成式
的頭像 發表于 10-14 14:57 ?907次閱讀
天璣9400權威測試<b class='flag-5'>AI</b>性<b class='flag-5'>能跑</b>分第一,領跑行業

北京見 | 賽昉科技邀您參加2024全球AI芯片峰會

9月6-7日,2024全球AI芯片峰會(GACS2024)將在北京遼寧大廈盛大舉辦。全球AI芯片
的頭像 發表于 09-04 08:03 ?651次閱讀
北京見 | 賽昉科技邀您參加2024<b class='flag-5'>全球</b><b class='flag-5'>AI</b><b class='flag-5'>芯片</b>峰會

Transformer能代替圖神經網絡嗎

Transformer作為一種在處理序列數據方面表現出色的深度學習模型,自其提出以來,已經在自然語言處理(NLP)、時間序列分析等領域取得了顯著的成果。然而,關于Transformer是否能完全代替圖神經網絡(GNN)的問題,需要從多個維度進行深入探討。
的頭像 發表于 07-12 14:07 ?879次閱讀

Transformer語言模型簡介與實現過程

在自然語言處理(NLP)領域,Transformer模型以其卓越的性能和廣泛的應用前景,成為了近年來最引人注目的技術之一。Transformer模型由谷歌在2017年提出,并首次應用于神經機器翻譯
的頭像 發表于 07-10 11:48 ?2972次閱讀
主站蜘蛛池模板: 亚洲精品中文字幕制 | 99精品网站| av无码在线日本天堂 | 亚洲欧美日韩综合影院 | 亚洲国产成人精品无码区5566 | 久久综合色一综合色88中文 | 在线观看精品视频看看播放 | 亚洲国产欧美国产综合在线 | bl 纯肉 高Hbl被强文 | 在线视频免费观看 | 国产成人在线视频 | 一个人高清在线观看日本免费 | 妻子的妹妹在线 | 超大BBWWW| 国产人妻午夜无码AV天堂 | 羞羞影院男女爽爽影院尤物 | 亚洲欧美中文字幕网站大全 | 后式大肥臀国产在线 | 国产成人女人在线视频观看 | 久久久久久久国产精品视频 | 午夜一个人在线观看完整版 | 京香在线观看 | 在线免费观看日本 | 亚洲最大日夜无码中文字幕 | 午夜福利免费体检区 | 国产精品久久久久久精品... | 2019久久视频这里有精品15 | 伊人久久大香线蕉无码麻豆 | 麻豆天美国产一区在线播放 | 富婆夜店找黑人猛男BD在线 | 色老汉网址导航 | 九九热这里都是精品 | 真人做受120分钟免费看 | 色婷婷狠狠97成为人免费 | 成 人 网 站毛片 | 国产亚洲精品久久精品69 | 国产一区二区青青精品久久 | 九九热在线免费观看 | 人妻熟妇乱又伦精品视频中文字幕 | 亚洲精品午夜久久久伊人 | 久久精品热线免费 |

電子發燒友

中國電子工程師最喜歡的網站

  • 2931785位工程師會員交流學習
  • 獲取您個性化的科技前沿技術信息
  • 參加活動獲取豐厚的禮品