使用OpenVINO?在算力魔方上加速stable diffusion模型
什么是stable diffusion模型？
Stable Diffusion是stability.ai開源的AI圖像生成模型，實現輸入文字，生成圖像的功能。Stable Diffusion將AI圖像生成提升到了全新高度，將引發媒體創作領域的革命。
引用自：https://github.com/Stability-AI/StableDiffusion
什么是算力魔方？
算力魔方一款可以DIY的迷你主機，采用了抽屜式設計，后續組裝、升級、維護只需要拔插模塊。通過選擇計算模塊的版本，再搭配不同額IO模塊可以組成豐富的配置，適應不同場景。性能不夠時，可以升級計算模塊提升算力，IO接口不匹配時，可以更換IO模塊調整功能，而無需重構整個系統
基于OpenVINO在算力魔方上實現Stable Diffusion模型的推理加速，獲得了14.9秒出圖(不含模型初始化)的性能。
在圖像生成過程中：CPU占用16%，內存占用7.5GB，GPU占用100%，顯存利用率98.5%。
?測試代碼如下所示，方便讀者在算力魔方上復現：https://github.com/openvinotoolkit/openvino_notebooks/tree/main/notebooks/225-stable-diffusion-text-to-image。
那么接下來，我們就為大家劃劃重點，一起來看看有哪些重要的步驟、以及生成的畫作效果如何吧。在這個代碼示例中，我們采用了Stable Diffusion模型，將模型轉換為 OpenVINO 中間表示 (IR) 格式，以便它在英特爾 GPU 上獲得高效運行。另外，通過將 FP32 模型壓縮到 FP16，我們將模型大小減少了一半（接近一半），而且運行所需的 RAM/VRAM 現在也少了很多。最重要的是，由于加入了英特爾 Xe 矩陣擴展（XMX），GPU 處理速度也獲得了顯著提升。以下是我運行這個 Notebook 得到的一些結果，非常有趣。借助英特爾銳炫 A380獨立顯卡，我可以實現大約每秒 6.0 次的迭代（未使用調試模式）。這意味著生成一幅下面的高質量圖像通常只需不到 10 秒鐘。
圖1在基于 OpenVINO Notebooks 和算力魔方(英特爾銳炫 A380)的平臺上，通過“Stable Diffusion”模型文本轉圖像功能生成的結果。看完了以上的AI作畫的結果，你有沒有心動、想自己動手試試呢？接下來，我們來看看你需要哪些主要步驟，就能在自己的機器上運行我們這個Stable Diffusion的notebook代碼示例了。
首先，這是 OpenVINO Notebooks的倉庫。它具有您今天完成演示所需要的一切。
openvino_notebooks/notebooks at main · openvinotoolkit/openvino_notebooksStable Diffusion位于 225-stable-diffusion-text-to-image 文件夾下，在notebook代碼示例 中，我們不僅介紹了著名的文本轉圖像管道，還加入了圖像轉圖像生成管道。但它的真正意義是什么？我們如何運行它？
管道
如何安裝
如需安裝 OpenVINO Notebooks，您可參照此處的說明（適用于 Windows）：https://github.com/openvinotoolkit/openvino_notebooks/wiki/Windows
如果您是 Linux 用戶，可點擊此鏈接：https://github.com/openvinotoolkit/openvino_notebooks/wiki/Ubuntu
總體而言，您可實施以下幾步：
安裝 Python 3.10.x。(或下方內容）并創建一個虛擬環境
運行所有單元格并等待 =)
現在，查看代碼。我們切實地優化 PyTorch 管道，并使用 OpenVINO 執行代碼。
?首次下載和轉換可能需要一點時間。完成之后，您將得到一組 IR 文件。為了方便，我已在這里將這些預訓練的優化模型更新到 huggingface（https://huggingface.co/bes-dev/stable-diffusion-v1-4-openvino），大家可以直接下載使用
現在，如果您有幸使用英特爾銳炫獨立顯卡，您便可將下圖中設備名稱的代碼改為“GPU”。默認情況下，它使用“ AUTO”，并會自動切換至檢測到的 GPU。
?讓它在 GPU 上運行
?自動插件。它先使用 CPU，然后自動切換至 GPU。
結 論
算力魔方是一款小巧而強大的計算設備，它們外形小巧、功耗低、接口豐富、可拓展性高，廣泛用于教育、醫療保健、機器人、自動化和物聯網等行業。
通過將算力魔方與OpenVINO相結合，可以實現各種復雜AI應用，包括加速AI模型的推理計算，實時圖像和視頻處理以及設備之間的低延遲通信等。
在算力魔方上評估OpenVINO的AI加速效果，OpenVINO Notebooks 無疑是首選。歡迎在算力魔方上下載并安裝OpenVINO Notebooks! 祝您編碼快樂。https://github.com/openvinotoolkit/openvino_notebooks
引用自：https://github.com/Stability-AI/StableDiffusion
什么是算力魔方？
算力魔方一款可以DIY的迷你主機，采用了抽屜式設計，后續組裝、升級、維護只需要拔插模塊。通過選擇計算模塊的版本，再搭配不同額IO模塊可以組成豐富的配置，適應不同場景。性能不夠時，可以升級計算模塊提升算力，IO接口不匹配時，可以更換IO模塊調整功能，而無需重構整個系統
基于OpenVINO在算力魔方上實現Stable Diffusion模型的推理加速，獲得了14.9秒出圖(不含模型初始化)的性能。在圖像生成過程中：CPU占用16%，內存占用7.5GB，GPU占用100%，顯存利用率98.5%。
?測試代碼如下所示，方便讀者在算力魔方上復現：https://github.com/openvinotoolkit/openvino_notebooks/tree/main/notebooks/225-stable-diffusion-text-to-image。
那么接下來，我們就為大家劃劃重點，一起來看看有哪些重要的步驟、以及生成的畫作效果如何吧。在這個代碼示例中，我們采用了Stable Diffusion模型，將模型轉換為 OpenVINO 中間表示 (IR) 格式，以便它在英特爾 GPU 上獲得高效運行。另外，通過將 FP32 模型壓縮到 FP16，我們將模型大小減少了一半（接近一半），而且運行所需的 RAM/VRAM 現在也少了很多。最重要的是，由于加入了英特爾 Xe 矩陣擴展（XMX），GPU 處理速度也獲得了顯著提升。以下是我運行這個 Notebook 得到的一些結果，非常有趣。借助英特爾銳炫 A380獨立顯卡，我可以實現大約每秒 6.0 次的迭代（未使用調試模式）。這意味著生成一幅下面的高質量圖像通常只需不到 10 秒鐘。圖1在基于 OpenVINO Notebooks 和算力魔方(英特爾銳炫 A380)的平臺上，通過“Stable Diffusion”模型文本轉圖像功能生成的結果。看完了以上的AI作畫的結果，你有沒有心動、想自己動手試試呢？接下來，我們來看看你需要哪些主要步驟，就能在自己的機器上運行我們這個Stable Diffusion的notebook代碼示例了。
首先，這是 OpenVINO Notebooks的倉庫。它具有您今天完成演示所需要的一切。
openvino_notebooks/notebooks at main · openvinotoolkit/openvino_notebooksStable Diffusion位于 225-stable-diffusion-text-to-image 文件夾下，在notebook代碼示例 中，我們不僅介紹了著名的文本轉圖像管道，還加入了圖像轉圖像生成管道。但它的真正意義是什么？我們如何運行它？管道
如何安裝
如需安裝 OpenVINO Notebooks，您可參照此處的說明（適用于 Windows）：https://github.com/openvinotoolkit/openvino_notebooks/wiki/Windows
如果您是 Linux 用戶，可點擊此鏈接：https://github.com/openvinotoolkit/openvino_notebooks/wiki/Ubuntu
總體而言，您可實施以下幾步：
安裝 Python 3.10.x。(或下方內容）并創建一個虛擬環境
python3 -m venv openvino_env
sourceopenvino_env/bin/activate #for linux
git clone--depth=1 https://github.com/openvinotoolkit/openvino_notebooks.git
cdopenvino_notebooks
pip install -r requirements.txt
運行 Jupyter Notebookjupyter lab notebooks
運行所有單元格并等待 =)
現在，查看代碼。我們切實地優化 PyTorch 管道，并使用 OpenVINO 執行代碼。
?首次下載和轉換可能需要一點時間。完成之后，您將得到一組 IR 文件。為了方便，我已在這里將這些預訓練的優化模型更新到 huggingface（https://huggingface.co/bes-dev/stable-diffusion-v1-4-openvino），大家可以直接下載使用現在，如果您有幸使用英特爾銳炫獨立顯卡，您便可將下圖中設備名稱的代碼改為“GPU”。默認情況下，它使用“ AUTO”，并會自動切換至檢測到的 GPU。
?讓它在 GPU 上運行
?自動插件。它先使用 CPU，然后自動切換至 GPU。
結 論
算力魔方是一款小巧而強大的計算設備，它們外形小巧、功耗低、接口豐富、可拓展性高，廣泛用于教育、醫療保健、機器人、自動化和物聯網等行業。
通過將算力魔方與OpenVINO相結合，可以實現各種復雜AI應用，包括加速AI模型的推理計算，實時圖像和視頻處理以及設備之間的低延遲通信等。
在算力魔方上評估OpenVINO的AI加速效果，OpenVINO Notebooks 無疑是首選。歡迎在算力魔方上下載并安裝OpenVINO Notebooks! 祝您編碼快樂。https://github.com/openvinotoolkit/openvino_notebooks
審核編輯 ：李倩
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
物聯網
+關注
關注
2909文章
44557瀏覽量
372784 -
AI
+關注
關注
87文章
30728瀏覽量
268886 -
模型
+關注
關注
1文章
3226瀏覽量
48809
原文標題：使用OpenVINO?在算力魔方上加速stable diffusion模型
文章出處：【微信號：SDNLAB，微信公眾號：SDNLAB】歡迎添加關注！文章轉載請注明出處。
發布評論請先 登錄
相關推薦
Stability AI開源圖像生成模型Stable Diffusion
Stable Diffusion 的很多用戶已經公開發布了生成圖像的樣例，Stability AI 的首席開發者 Katherine Crowson 在推特上分享了許多圖像。基于 AI
在AI愛克斯開發板上用OpenVINO?加速YOLOv8目標檢測模型
《在 AI 愛克斯開發板上用 OpenVINO 加速 YOLOv8 分類模型》介紹了在 AI 愛
使用OpenVINO?在算力魔方上加速stable diffusion模型
Stable Diffusion 是 stability.ai 開源的 AI 圖像生成模型，實現輸入文字，生成圖像的功能。Stable Diffus
AI愛克斯開發板上使用OpenVINO加速YOLOv8目標檢測模型
《在AI愛克斯開發板上用OpenVINO加速YOLOv8分類模型》介紹了在AI愛克斯開發板
優化 Stable Diffusion 在 GKE 上的啟動體驗
Diffusion 等應運而生。Stable Diffusion 是一個文字生成圖像的 Diffusion 模型，它能夠根據給定任何文本輸
在AI愛克斯開發板上用OpenVINO?加速YOLOv8-seg實例分割模型
《在 AI 愛克斯開發板上用 OpenVINO 加速 YOLOv8 目標檢測模型》介紹了在 AI
iPhone兩秒出圖，目前已知的最快移動端Stable Diffusion模型來了
近日，Snap 研究院推出最新高性能 Stable Diffusion 模型，通過對網絡結構、訓練流程、損失函數全方位進行優化，在 iPhone 14 Pro
在AI愛克斯開發板上用OpenVINO?加速YOLOv8-seg實例分割模型
《在 AI 愛克斯開發板上用 OpenVINO 加速 YOLOv8 目標檢測模型》介紹了在 AI
使用OpenVINO在Stable Diffusion V2.1上實現AI硬件加速的方法
隨著 AIGC 模型越來越強大，并取得了更驚人的結果，任意運行 AIGC 模型, 比如 Stable Diffusion，對于開發人員來說仍然面臨一些挑戰。首先，GPU 的安裝設置需要
美格智能團隊成功在高算力AI模組上運行大模型Stable Diffusion
研發團隊成功在自研高算力模組上運行文生圖大模型StableDiffusion，而這僅僅是我們將思索變為實際行動的第一步，AIGC的大時代，才
樹莓派能跑Stable Diffusion了？
Stable Diffusion是一種文本到圖像生成的大型深度學習模型，它可以根據文本的描述生成詳細的圖像，也可以用于其他任務，如圖像修復、圖像擴展、圖像翻譯等。
OpenVINO賦能BLIP實現視覺語言AI邊緣部署
人類通過視覺和語言感知世界。人工智能的一個長期目標是構建智能體，通過視覺和語言輸入來理解世界，并通過自然語言與人類交流。比如，在《幾行代碼加速 Stable Diffusion
使用OpenVINO 2024.4在算力魔方上部署Llama-3.2-1B-Instruct模型
前面我們分享了《三步完成Llama3在算力魔方的本地量化和部署》。2024年9月25日，Meta又發布了Llama3.2：一個多語言大型語言模型
工商網監
評論