圖生圖 | PC集群 | PC Farm | Stable

文生圖 | 生成式AI | Stable Diffusion

在當今計算領域中，PC集群和Stable Diffusion技術的應用已經成為不可或缺的一部分。這些技術在深度學習、AI繪畫、高性能計算、人工智能、大數據、ChatGPT、AIGC等領域中都具有重要的應用價值。特別是在AI生成式內容創作方面，使用PC集群和Stable Diffusion技術可以有效解決大型計算任務所帶來的挑戰，并實現高質量的生成式AI內容。

通過結合這些技術的創新應用，我們可以更好地利用大規模的訓練數據來調整和訓練生成式AI模型，以提高其生成質量和準確性。同時，借助創新的加速技術和穩定擴散模型，可以提高AI生成式內容的生成速度和質量。比如，使用PC集群和Stable Diffusion技術配合AI生成式技術可以快速地生成高品質的圖像、視頻、音樂等內容，節約用戶時間和精力，提高生產效率和創作效果。

另外，在企業和辦公室環境中，PC集群也是一種非常有效的計算資源管理方法。該方法將任務分解成小的子任務，并分配給不同的計算節點進行處理，提高了計算效率和速度。通過使用PC集群，企業可以降低硬件和維護成本，并實現更高的計算性能和吞吐量，以滿足不同任務的需求。同時，PC集群還具有容錯機制和易于管理的優點，使得企業能夠保持高效的生產和數據訪問，減少停機時間和數據丟失風險。

藍海大腦PC集群解決方案是為了滿足用戶在進行高性能計算和人工智能相關任務時，基于高效、穩定、易于管理的部署方式而設計的。它采用4U機架式設計，每個機架可插拔4個PC節點，兼具服務器的穩定性和PC的高主頻、高性價比的特點，使得用戶既可以享受到高性能的計算能力，同時也能夠控制相關成本開支。

此外，還集成了Stable Diffusion AI模型，該模型可以幫助用戶快速生成高品質的創作內容。相較于傳統的人工創作方式，Stable Diffusion Al模型具有更快的產出速度和更高的品質保證，這對于那些需要不斷地生產創意和創作內容的用戶來說是非常有益的。并且，由于該模型將AI技術應用到了創意生產領域，它對于優化創意生產流程，為企業降低創意生產成本等方面也具有重要意義。

同時在設計上也充分體現了可維護性與升級性。該解決方案采用了模塊化可插拔設計，使得維護和升級變得更加容易。這不僅可以為用戶節省時間和精力，同時也可以降低因為硬件故障或者設備升級等因素帶來的生產中斷和數據丟失的風險。

在本文中，我們將介紹生成式AI技術以及Stable Diffusion的原理和應用。同時，我們還將介紹如何使用PC Farm來加速模型的訓練，以及如何優化模型的性能。我們希望通過本文的介紹，能夠幫助讀者更好地理解生成式AI技術，并且能夠在實際應用中取得更好的效果。

Stable Diffusion教程

一、背景

Stable Diffusion是2022年發布的深度學習文本到圖像生成模型，可根據文本描述生成詳細圖像。盡管官方項目不適合新手直接使用，但一些基于Stable Diffusion封裝的WebUI開源項目已經出現，使得通過交互式界面使用Stable Diffusion變得更加容易。以下是幾個比較熱門的WebUI項目：github.com/AUTOMATIC11…和github.com/Sygil-Dev/s…。其中，AUTOMATIC1111的Stable Diffusion WebUI擁有最多的功能和最好的易用性，強烈推薦使用。

二、配置要求

要順利運行stable-diffusion-webui和模型， 需要足夠大的顯存，最低配置4GB顯存，基本配置6GB顯存，推薦配置12GB顯存。

三、安裝Stable Diffusion模型

關于Stable Diffusion的安裝方式，小編在之前的文章中已經有了詳細介紹。這里小編就不多做介紹，大家如果感興趣，可以加小助手微信發送安裝教程。

四、啟動項目

完成安裝配置后，只需直接運行工程下的webui-user.bat文件（或在類Unix系統中運行webui-user.sh），即可開始使用。可以通過執行命令.webui.bat --theme dark來啟動WebUI，并設置主題為dark。

1、啟動的是夜間模式（不加theme參數就是日間模式）

首次啟動時，系統將自動下載項目所需的Python依賴庫（具體哪些庫請見工程下的requirements.txt），以及相應的配置和模型文件（例如v1-5-pruned-emaonly.safetensors，約4GB大小）。這個過程可能需要一些時間。完成初始化后，下次啟動就會更快了。如果輸出中顯示Launching Web UI with arguments: ... Running on local URL: http://127.0.0.1:7860，則表示啟動成功。可以打開指定的網址來使用程序的運行界面。要創建公共鏈接，請在launch()函數中設置參數share=True。

2、tips：如何安裝webUI簡體中文語言包

此擴展可以在Extension選項卡里面通過加載官方插件列表直接安裝

3、官方下載

點擊Extension選項卡，點擊Avaliable子選項卡

取消勾選localization，再把其他勾上，然后點擊橙色按鈕，如下圖

在zh_CN Localization這一項的右邊點擊install

4、通過網址安裝

點擊Extension選項卡，點擊Install from URL子選項卡

復制本 git 倉庫網址：

https://github.com/dtlnor/stable-diffusion-webui-localization-zh_CN

粘貼進 URL 欄，點擊Install，如圖

5、配置

重啟webUI以確保擴展已經加載了

在Settings選項卡，點擊頁面右上角的橙色Reload UI按鈕刷新擴展列表

在 Extensions 選項卡，確定已勾選本擴展??；如未勾選，勾選后點擊橙色按鈕啟用本擴展。

選擇簡體中文語言包（zh_CN）

在Settings選項卡中，找到User interface子選項

然后去頁面最底部，找到Localization (requires restart)小項，找到在下拉選單中選中zh_CN（如果沒有就按一下 按鈕），如圖

然后按一下 頁面頂部左邊的橙色Apply settings按鈕保存設置，再按 右邊的橙色Reload UI按鈕重啟webUI

五、開始使用

stable-diffusion-webui 的功能很多，主要有如下 2 個：

文生圖（text2img）：根據提示詞（Prompt）的描述生成相應的圖片。

圖生圖（img2img）：將一張圖片根據提示詞（Prompt）描述的特點生成另一張新的圖片。

1、文生圖（text2img）

在開始使用文生圖之前，有必要了解以下幾個參數的含義：

接下來我們來生成一張賽博朋克風格的貓咪圖片，配置以下參數后，

點擊 "生成" 即可：

Prompt：a cute cat, cyberpunk art, by Adam Marczyński, cyber steampunk 8 k 3 d, kerem beyit, very cute robot zen, beeple | Negative prompt：(deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation, flowers, human, man, woman CFG scale：6.5 Sampling method：Euler a Sampling steps：26 Seed：1791574510

注：提示詞（Prompt）越多，AI 繪圖結果會更加精準，另外，目前中文提示詞的效果不好，還得使用英文提示詞。

2、模型文件

上面截圖里左上角 Stable Diffusion checkpoint 的值怎么跟之前截圖里的不一樣？這是因為我換了一個模型文件，還記得前面提到那個將近 4 個 G 大小的模型文件（v1-5-pruned-emaonly.safetensors）嗎？那是 stable-diffusion-webui 的默認模型文件，用這個模型文件生成出來的圖片比較丑，因此我換了另一個模型文件。模型文件下載的網站幾個，比較出名的就是 civitai，這上面共享的都是別人訓練好的模型。
模型文件下載地址：

civitai：civitai.com/

默認的 v1-5-pruned-emaonly：huggingface.co/runwayml/st…

模型庫

根據你要生成的圖片風格（比如：動漫、風景），挑選合適的模型查看，前面那個文生圖的例子，使用的就是這個 Deliberate 模型，直接點擊 "Download Latest" 即可下載該模型文件。

注：模型文件有 2 種格式，分別是 .ckpt（Model PickleTensor） 和 .safetensors（Model SafeTensor），據說 .safetensors 更安全，這兩種格式 stable-diffusion-webui 都支持，隨意下載一種即可。

將下載好的模型文件放到 stable-diffusion-webuimodelsStable-diffusion 目錄下：

放置好模型文件之后，需要重啟一下 stable-diffusion-webui（執行 webui-user.bat）才能識別到。

這些模型文件一般會附帶一組效果圖，點擊任意一張，就可以看到生成該效果圖的一些參數配置：

將某些參數配置到"stable-diffusion-webui"中，然后點擊"生成"按鈕就可以生成類似的圖片。需要注意的是，由于AI繪圖具有隨機性，因此生成的圖片可能與效果圖略有不同。文生圖功能可以用來生成獨一無二的圖片，但要使用它，必須掌握提示詞（Prompt）的語法規則。推薦參考兩篇詳細說明Prompt的文章："全網Stable Diffusion Prompt運用技巧"和"Prompt工具網站"。更深入的圖生圖及模型訓練方面攻略將在下期講解。

游戲引擎加入生成式AI技術

生成式AI技術以ChatGPT為代表，全球爆火，引發了科技生產力上的巨大沖擊。現階段，生成式AI技術的發展對創作領域的影響逐漸提升。無論現階段是否采用、多大程度采用生成式AI技術，游戲開發者、游戲廠商已難以回避生成式AI是否、以及多久可能從根本上游戲開發的問題。這不會一夜之間發生，但已經促使很多人思考結合AI后的游戲開發與游戲設計。

作為具有較強創作工具屬性的游戲引擎，背后的技術人員與相關公司，已開始探索通過結合AI，提升工具易用性、簡化創作過程。在現階段，較為務實的落地方向包括幫助開發者優化創作流程，批量生產、處理、放置資產；同時也能降低開發門檻，使開發者更專注于創意本身。

一些游戲公司也開始儲備相關人才，尋求有豐富AI經驗的人才，調整、優化自身引擎和系統，順應了新一輪AI能力引入游戲引擎的趨勢。這些公司也在探索如何將生成式AI技術應用于游戲中，以提高游戲的可玩性和創新性。

一、與生成式AI技術結合，強化游戲引擎創作工具能力

最近在GDC 2023上，Unity推出了生成式AI工具，進一步推動了AIGC（人工智能游戲創作）的發展。除此之外，育碧與Roblox也加入了AI陣容，推出了新的AI工具。同時，不少第三方開發者也為引擎開發插件，增強引擎的AI能力。總之，隨著AI技術能力的提升，游戲引擎越來越多地投資并擴展其人工智能領域，為游戲開發者提供更全面、更完整的解決方案。

二、游戲引擎結合AI，滲透游戲制作多個環節

1、美術、3D資產及場景生成

近年來，AI生成2D圖像的技術已成熟，主流產品如Stable Diffusion、DALLE-2等多以擴散模型為技術路線。游戲引擎本身也有推出相關功能，例如Unity的Unity ArtEngine，可以通過API連接外部的AI圖片生成工具，幫助角色立繪制作、材質和貼圖生成等。而3D資產生成是生成式AI的熱門方向之一，許多技術大廠和創業公司都積極投入研發，推出了Magic3D、Point E等產品。雖然各家公司的技術路線不盡相同，但目前都處于探索階段。在游戲中，場景資源的需求量巨大，難以單純依靠人工進行地編。一些游戲引擎已經引入了AI驅動的場景生成技術，例如Unity的Unity World Generation，通過機器學習技術自動生成并放置植被等資產，可以更有效地提高開發效率。

2、動畫

游戲中的角色動畫制作通常先在Maya等建模軟件中進行模型制作和骨骼綁定，然后將模型導入游戲引擎中制作動畫。近年來，游戲引擎開始引入AI能力來優化綁定和動作制作等流程。例如Unity的Deep Pose功能可以通過控制某個關節，自動模擬出該動作下其他關節的正確反應；Kinematica則免去了開發者安排角色在兩個動作之間切換的Blend Tree或狀態機步驟，只需給定骨骼姿勢和所需軌跡運動，即可自動生成相應動作。虛幻引擎5還推出了機器學習變形器（ML Deformer）功能，用于創建高保真模型，同時顯著減少GPU內存占用。這些技術的引入可以有效提高動畫制作效率并改善角色變形效果。

3、對話、語音

游戲引擎在AI生成對話方面的進展得益于預訓練大語言模型技術的迭代。育碧最近公布了AI寫作工具Ghostwriter，用于NPC臺詞的生成。開發者可以輸入基礎臺詞或發言動機，就能自動生成多個版本可用臺詞。此外，該工具采用強化學習技術，并結合人類反饋，使其越來越有效和準確。

國內市場的Cocos則通過與百度文心一言合作，把智能對話技術應用在3D實時創作領域。角色的臺詞不僅限于文字，語音也很重要。近年來AI語音生成技術逐漸成熟，包括語音識別、自然語言處理、語言生成和語音合成等多項技術。越來越多公司和個人為游戲引擎開放SDK和插件，例如百度的語音識別SDK和IBM Watson Unity SDK等。此外，語音驅動嘴型與面部動畫生成是近期一個熱門技術方向，包括英偉達、網易、聲網等多家公司。這些技術路線包括神經輻射場、生成對抗網絡、擴散模型等。

4、AI NPC

NPC是大多數游戲都不可或缺的要素之一，創建AI驅動的NPC也是游戲引擎最早引入的功能之一。在游戲中創建一個高逼真的AI NPC時，需要涉及到AI行為樹、環境查詢和AI感知等多個環節。例如，在虛幻引擎4中，AI NPC的控制是通過行為樹（UBehaviorTree）實現的，行為樹中的各節點不斷做出檢測和判斷，從而驅動AI NPC做出預設的行為。場景查詢系統（EQS）使AI能夠從周圍環境中收集數據，并將這些信息用于行為樹的操作決策中，例如尋找附近的彈藥等。此外，虛幻引擎4的AI架構還包括AI感知系統（AI Perception System），通過AI感知組件來獲取環境中的刺激源，如噪音、AI受到傷害或AI看到了什么。

三、生成式AI技術在人工智能創作中的應用

生成式AI技術已經被廣泛應用于人工創作、游戲、圖像和視頻生成、醫療、垃圾信息識別等領域，并取得了顯著的成果和收益。隨著技術的不斷發展和完善，我們相信其在更多領域中的應用會變得更加廣泛和深入。

1、生成式AI技術在人工創作領域的應用

生成式AI技術已經在人工創作領域得到廣泛的應用，如詩歌、小說、繪畫等方面。通過對大量數據的訓練，神經網絡可以學習并模仿人類的創作方式和樣式，實現自動生成具有創意和美感的作品。這種方法被稱為“生成式對抗網絡”（GAN），它通過兩個神經網絡競爭的方式來不斷改進生成效果。

例如，OpenAI的GPT-3可以自動生成獨特而富有表現力的文本內容，包括新聞、博客、散文、詩歌等，且在語言理解、邏輯推論等方面表現出色。此外，一些公司正在探索使用GAN生成藝術品，并將其應用于數字媒體和虛擬現實項目上。

這種技術的應用可以極大地提高人們的創作效率和質量，同時也激發了更多非專業人士的興趣和熱情。

2、生成式AI技術在游戲領域的應用

生成式AI技術在游戲領域的應用主要是以增強游戲場景、角色和任務設計的效率和效果。通過GAN和強化學習技術，生成式AI可以自動生成具有情感、特征、能力等方面的角色，并生成復雜而富有變化的游戲任務和場景。

例如，《失落的深淵》是一款利用GAN生成各種可愛精靈形象的手機游戲，玩家可以收集、養成和對戰這些精靈。此外，一些公司正在使用生成式AI來設計游戲關卡和障礙，以增加游戲的挑戰性和趣味性，同時縮短游戲開發周期。

3、生成式AI技術在圖像和視頻生成領域的應用

生成式AI技術在圖像和視頻生成領域的應用涉及到圖像處理、圖像生成和視頻合成等方面。通過對大量數據進行訓練和優化，生成式AI可以通過輸入關鍵詞或語音命令，自動生成符合需求的圖片和視頻，從而為企業和個人提供更高效、更創新、更獨特的視覺內容。

例如，Nvidia公司推出了StyleGAN技術，可以生成具有藝術性的頭像、場景等靜態圖像，展現出比較好的真實感和多樣性。同時，也有一些公司在探索使用GAN生成虛擬演員或優化視頻剪輯過程，以改善視覺效果并提高生產效率。

4、生成式AI技術在醫療領域的應用

生成式AI技術在醫療領域的應用主要包括醫學圖像分析、疾病診斷、基因編輯等方面。通過將數據輸入到神經網絡中進行訓練和調整，生成式AI可以提高醫學圖像分析的準確度和速度，并且能夠自動發現疾病的特征和規律，大大縮短診斷時間和提高治療效率。

例如，谷歌公司的DeepMind團隊與英國國家健康服務系統（NHS）合作研究使用GAN來優化眼科診斷，結果證明該方法能夠在短時間內為患者提供準確的眼部放射圖像，從而加速診斷和治療過程。此外，一些公司正在探索生成式AI在藥物研究和基因編輯方面的應用，以提高醫學領域的創新和效率。

這種技術的應用可以極大地改變醫療領域的現狀，讓患者受益于更快、更準確、更個性化的醫療服務。

5、生成式AI技術在垃圾信息識別領域的應用

隨著數字時代的到來，人們越來越依賴自動化系統來管理、篩選和分類數據，但是同樣存在越來越多的垃圾信息，給用戶帶來麻煩。通過使用生成式AI技術，可以幫助識別垃圾郵件、廣告、欺詐信息等，從而讓用戶受益于更干凈、更安全的互聯網環境。

例如，谷歌公司使用深度學習技術創建的“垃圾肉類識別器”（Spam Filter）可以對電子郵件進行分類，并將垃圾郵件過濾出去。此外，許多社交媒體平臺和在線商店也都使用生成式AI技術來識別不良信息、網絡攻擊行為等，以確保網絡環境的安全性和可靠性。這種技術的應用可以極大地提高數據管理的效率和準確度，并節省用戶處理垃圾信息的時間和精力。

如何利用PC Farm

訓練生成式AI模型

PC Farm（PC農場）是一個基于GPU集群的高性能計算平臺，可以為科學家、工程師和研究人員提供強大的計算能力，以便他們能夠更快地進行模擬、分析和優化。PC Farm平臺支持多種深度學習框架，包括TensorFlow、PyTorch和MXNet等，可以訓練各種類型的神經網絡模型，包括生成式模型和穩定擴散模型。

生成式模型是一種能夠生成新數據的神經網絡模型，它可以從訓練數據中學習到數據的分布規律，然后利用這些規律生成新的數據。生成式模型在圖像生成、自然語言處理和音樂生成等領域有著廣泛的應用。PC Farm平臺可以為科學家和工程師提供高性能的GPU計算能力，以便他們能夠更快地訓練生成式模型，并且可以在訓練過程中進行超參數調整和模型優化，以獲得更好的生成效果。

Stable Diffusion是一種能夠模擬物理系統的神經網絡模型，它可以模擬分子動力學、流體力學和熱力學等領域的物理現象。Stable Diffusion在材料科學、化學工程和生物醫學等領域有著廣泛的應用。PC Farm平臺可以為科學家和工程師提供高性能的GPU計算能力，以便他們能夠更快地訓練穩定擴散模型，并且可以在訓練過程中進行超參數調整和模型優化，以獲得更準確的模擬結果。

一、什么是PC Farm (PC農場）

PC Farm是一種堆疊式設備形態，通過對多個插入標準機柜中的PC進行集約管理，實現更強大的云端處理性能。相比傳統PC部署方案，PC Farm具有高性能、高效率和高回報的特點。PC Farm能夠支持市場上所有主流CPU和全系列顯卡，在一個標準機柜中最高可以部署144個算力節點，能夠勝任大量專業應用。PC Farm配備遠程帶外管理技術和容器、虛擬化產品技術，可以真正實現算力資源共享，提升客戶投資回報率。

PC Farm自2018年公布以來，經過了多次迭代和升級。先后增加了對獨立顯卡的支持和IPMI帶外管理系統，升級了即插即用功能，進一步擴大和完善了合作伙伴生態圈，覆蓋了通信服務提供商。2022年發布了最新的PC Farm4.0版，新增支持第12代、13代酷睿和至強W處理器，以及英特爾Arc顯卡的支持。

PC Farm主要應用于云游戲、云電競、云網吧、云VR、云渲染、測繪建模等場景。客戶對PC Farm提出了多方面的需求，英特爾對PC Farm（PC農場）進行了更加精準的設計，包括通用組件支持、IPMI協議開放和模塊化插拔設計。現在已經有幾千家網吧和電競酒店在使用PC Farm的方案，并且國內通信服務提供商也在進行相關布局。

PC Farm（PC農場）的商業應用情況很廣泛，如在云游戲方面實現了高性能的云游戲服務，讓玩家無需在本地安裝游戲，可以隨時隨地跨平臺暢玩高品質游戲；在網吧和電競酒店方面降低了部署難度和成本；在VR領域通過PC Farm（PC農場）將算力部署在云端，通過串流技術就能夠連接到前端的VR設備，能夠讓消費端用戶享受到更加輕便快捷的VR游戲娛樂體驗。

二、PC Farm平臺的優勢主要體現在以下幾個方面

1、高性能計算能力

PC Farm平臺可以為科學家和工程師提供高性能的GPU計算能力，以便他們能夠更快地進行模擬、分析和優化。PC Farm平臺采用了分布式計算的方式，可以將計算任務分配到多個GPU上并行計算，從而大大縮短了計算時間。

2、多種深度學習框架支持

PC Farm平臺支持多種深度學習框架，包括TensorFlow、PyTorch和MXNet等，可以訓練各種類型的神經網絡模型，包括生成式模型和穩定擴散模型。科學家和工程師可以根據自己的需求選擇最適合自己的深度學習框架。

3、超參數調整和模型優化

PC Farm平臺可以在訓練過程中進行超參數調整和模型優化，以獲得更好的生成效果和更準確的模擬結果。科學家和工程師可以根據自己的需求進行超參數調整和模型優化，從而獲得最佳的模型性能。

4、靈活的計算資源配置

PC Farm平臺提供了靈活的計算資源配置方式，科學家和工程師可以根據自己的需求選擇最適合自己的計算資源配置方式。PC Farm平臺支持按需分配計算資源，可以根據任務的需求動態調整計算資源的配置。

5、安全可靠的計算環境

PC Farm平臺提供安全可靠的計算環境，可以保障科學家和工程師的計算任務不受干擾和攻擊。PC Farm平臺采用了多層安全機制，包括網絡安全、數據安全和身份認證等，可以保障計算任務的安全性和可靠性。

PC Farm、生成式AI和Stable Diffusion模型都是非常有用的工具和技術，可以幫助用戶快速構建和管理計算機集群，生成高質量的數據和圖像，提高模型的泛化能力和魯棒性。它們在不同領域有廣泛的應用，可以幫助用戶解決各種實際問題。

審核編輯 黃宇