Stable Diffusion是一種文本到圖像生成的大型深度學習模型,它可以根據文本的描述生成詳細的圖像,也可以用于其他任務,如圖像修復、圖像擴展、圖像翻譯等。
它是基于潛在擴散模型(Latent Diffusion Model)的一種變體,通過對圖像添加和去除噪聲來訓練和生成圖像。
該模型由Stability AI和LAION聯合開發,目前是一個開源的AI平臺,有很多用戶和開發者貢獻了不同的預訓練模型和插件。
一般情況下,跑Stable Diffusion需要的配置:
英偉達(Nvidia)的獨立顯卡,顯存不少于4GB,推薦8GB以上;內存8GB以上,推薦16GB或以上;硬盤40GB以上的可用空間,最好是固態硬盤;操作系統支持Windows 10/11,macOS(僅限Apple Silicon或更新版本),Linux等。
但最近有人在樹莓派Zero 2上運行Stable Diffusion了,而樹莓派Zero 2 只是內存512MB 的單板計算機。
它的配置和規格如下:
處理器:Broadcom BCM2710A1,四核64位SoC(Arm Cortex-A53 @ 1GHz)
內存:512MB LPDDR2
通訊:2.4GHz IEEE 802.11b/g/n無線局域網,藍牙4.2,BLE,帶天線的屏蔽罩
HAT兼容的40針I/O頭插座(未焊接)
microSD卡插槽
視頻:HDMI接口
復合的視頻和復位引腳焊點
多媒體:H.264, MPEG-4解碼(1080p30)
H.264編碼(1080p30)
OpenGL ES 1.1, 2.0圖形
工作溫度:-20°C to +70°C
Raspberry Pi Zero 2 W的尺寸是65mm × 30mm,與原來的Raspberry Pi Zero一樣。它的性能比原來的單核Raspberry Pi Zero提高了五倍。一般用于智能家居、物聯網等項目。
為了讓更多低配置的計算機也能用Stable Diffusion出圖。
一個名為vitoplantamura的開發者決定寫一個超小的推理庫,讓260MB內存的單板機也能將Stable Diffusion跑起來。終于,他成功了。
他用C++開發的OnnxStream,是一個能夠在低內存設備上運行 Stable Diffusion 的推理庫,它通過分離推理引擎和權重提供器,以及量化等技術,完成了在樹莓派 Zero 2 上生成圖像的挑戰。
與微軟的OnnxStream相比,vitoplantamura的OnnxStream只需要 1/55 的內存就可以達到同樣的效果,但(在 CPU 上的)速度只比前者慢 0.5-2 倍。
雖然運行速度較慢,但它卻是大模型在更小、更有限的設備上部署的嶄新嘗試。
審核編輯:劉清
-
連接器
+關注
關注
98文章
14476瀏覽量
136429 -
Linux系統
+關注
關注
4文章
593瀏覽量
27392 -
MacOS
+關注
關注
0文章
210瀏覽量
17497 -
英偉達
+關注
關注
22文章
3770瀏覽量
90988 -
樹莓派
+關注
關注
116文章
1706瀏覽量
105608
原文標題:樹莓派能跑Stable Diffusion了
文章出處:【微信號:IoT前哨站,微信公眾號:IoT前哨站】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論