在以 ChatGPT 為代表的大模型應(yīng)用的出現(xiàn)，加速了智能計(jì)算風(fēng)暴的到來(lái)。隨著 AI 發(fā)展的浪潮，在終端本地運(yùn)行大模型推理成為下一個(gè)熱點(diǎn)。在此背景下，算能發(fā)布支持運(yùn)行大模型的終端處理器SG2300X，開啟邊緣大模型新時(shí)代！算能攜手瑞莎計(jì)算機(jī)(Radxa) 推出全球首款 SG2300X 微型智算盒子——瑞莎 Fogwise AirBox。

SG2300X：令人驚喜的端側(cè)生成式AI處理能力

SG2300X處理器擁有24T的算力，能夠流暢運(yùn)行像LLAMA-2 7B這樣的生成式AI。

SG2300X驚人的算力使其可以在更短的時(shí)間內(nèi)處理更多的數(shù)據(jù)，實(shí)現(xiàn)更快的響應(yīng)速度，為用戶帶來(lái)更加流暢和智能的體驗(yàn)。

瑞莎 AirBox：國(guó)產(chǎn)化邊緣智算設(shè)備

瑞莎 Fogwise AirBox是瑞莎計(jì)算機(jī)團(tuán)隊(duì)研發(fā)的搭載SG2300X的邊緣智算盒子，算力高達(dá) 24TOPS@INT8，支持多精度（INT8、FP16/BF16、FP32），支持私有 GPT、文本到圖像等主流智能模型部署，配備鋁合金外殼，可在惡劣環(huán)境中部署。

AirBox 的核心元器件皆采用國(guó)產(chǎn)元器件，且瑞莎計(jì)算機(jī)擁有AirBox的完全知識(shí)產(chǎn)權(quán)，無(wú)懼“卡脖子”。

極致性價(jià)比，讓每個(gè)人都擁有端側(cè)智能設(shè)備

對(duì)比目前主流的端側(cè)算力產(chǎn)品，AirBox本地運(yùn)行生成式AI的效率如何呢？

以Nvidia Jetson 系列多款支持生成式AI的設(shè)備為例。

AGX Orin 通過 MLC 加速之后 Llama-7B 47tokens/s，Llama-2-13B 25 tokens/s：airbox 上 Llama2-7B 性能是 12 tokens/s, Llama2-13B 性能是 6 tokens/s，可以支持int4、int8、fp16精度，llama2 及其各種變種模型性能相似；單芯最大可以跑20B-int4的模型。

(注：Orin數(shù)據(jù)來(lái)源英偉達(dá)官網(wǎng)；此處數(shù)據(jù)越高越好)

經(jīng)測(cè)試發(fā)現(xiàn)：AGX Orin和AirBox的每人民幣（產(chǎn)品售價(jià)）可獲得的每秒token數(shù)（實(shí)際性能），AirBox有著顯著的優(yōu)勢(shì)。

Llama-7B:

AGX Orin(64G)≈0.00301 每秒token數(shù)/每人民幣

AirBox≈0.00445每秒token數(shù)/每人民幣

Llama-13B:

AGX Orin(32G)≈0.00160 每秒token數(shù)/每人民幣

AirBox≈0.00222每秒token數(shù)/每人民幣

AGX Orin上 Stable Diffusion 每張圖耗時(shí) 2.2s，SDXL 耗時(shí) 23.1s；Airbox使用LCM加速之后，SD1.5 耗時(shí) 1.1s，SDXL耗時(shí) 7.4s。

(注：Orin數(shù)據(jù)來(lái)源英偉達(dá)官網(wǎng)；Orin未標(biāo)明步數(shù)，此處假設(shè)都是20步；此處數(shù)據(jù)越低越好)

豐富的生態(tài)應(yīng)用

瑞莎 Fogwise AirBox 可提供卓越的智能性能，滿足您對(duì)強(qiáng)大計(jì)算能力的需求。這款小巧但功能強(qiáng)大的設(shè)備可與 Tensorflow、Pytorch 和 Caffe 等領(lǐng)先的深度學(xué)習(xí)框架無(wú)縫兼容，為用戶提供便攜、高效的智能體驗(yàn)。無(wú)論您是制造商、智算愛好者、業(yè)余愛好者還是專業(yè)人士，F(xiàn)ogwise AirBox都是您的最佳選擇。

AICore SG2300X：助力企業(yè)輕松獲得高性能智算產(chǎn)品能力

Radxa AICore SG2300X 是一款配備先進(jìn) SOPHON智算處理器 SG2300X 的計(jì)算模塊，可提供強(qiáng)大的性能來(lái)釋放您的全部潛力。配備16GB內(nèi)存，和64GB eMMC存儲(chǔ)。Radxa AICore SG2300x 擁有令人印象深刻的24TOPS INT8計(jì)算能力，在各種任務(wù)中表現(xiàn)出色，并全面支持主流深度學(xué)習(xí)框架，集成核心電路及元件，可大幅加速產(chǎn)品研發(fā)速度，是企業(yè)快速開發(fā)高性能 AI 產(chǎn)品的首選。

審核編輯：劉清