用于視覺(jué)生成式 AI 的多模態(tài)架構(gòu) NVIDIA Edify 正在邁入全新維度。

Edify 為開(kāi)發(fā)者和視覺(jué)內(nèi)容提供商推出了多種全新功能（例如 3D 資產(chǎn)生成功能），通過(guò) AI 圖像生成助力實(shí)現(xiàn)更高的創(chuàng)意自由度。

多媒體內(nèi)容和數(shù)據(jù)提供商 Shutterstock 基于 Edify 架構(gòu)打造的應(yīng)用編程接口（API）將開(kāi)放搶先體驗(yàn)。通過(guò)該 API，創(chuàng)作者可使用提示文本或圖像來(lái)快速生成用于虛擬場(chǎng)景的 3D 物體。

Getty Images 是一家視覺(jué)內(nèi)容創(chuàng)作公司，同時(shí)也是一個(gè)視覺(jué)內(nèi)容交易市場(chǎng)，其生成式 AI 服務(wù)可在商業(yè)領(lǐng)域安全使用。該服務(wù)將新增定制微調(diào)功能，幫助企業(yè)客戶(hù)生成符合其品牌準(zhǔn)則與風(fēng)格的視覺(jué)效果。該服務(wù)還將增設(shè)其他新功能，幫助客戶(hù)進(jìn)一步把控生成圖像的結(jié)果。

NVIDIA NIM 是一組用于推理的微服務(wù)，于NVIDIA GTC 2024 大會(huì)上推出。開(kāi)發(fā)者可通過(guò) NVIDIA NIM 以 API 的形式試用由 Getty Images 和 Shutterstock 提供的預(yù)訓(xùn)練 Edify 模型。此外，通過(guò) NVIDIA Picasso（基于 NVIDIA DGX 云構(gòu)建的 AI 代工服務(wù)），開(kāi)發(fā)者還可使用 Edify 架構(gòu)訓(xùn)練和部署自己的生成式 AI 模型。

NVIDIA 與 Adobe 正在協(xié)作為數(shù)百萬(wàn) Firefly 和 Creative Cloud 的創(chuàng)作者帶來(lái)基于 Edify 構(gòu)建的全新 3D 生成式 AI 技術(shù)。

直播平臺(tái) Be.Live 正在使用 NVIDIA Picasso 代工服務(wù)來(lái)提供實(shí)時(shí)生成式 AI，以便自動(dòng)創(chuàng)建各種視覺(jué)效果，為觀眾提供別樣的互動(dòng)體驗(yàn)。Bria 是一個(gè)功能齊全的平臺(tái)，專(zhuān)為開(kāi)發(fā)負(fù)責(zé)任的視覺(jué)生成式 AI 企業(yè)量身打造，該平臺(tái)現(xiàn)已采用 Picasso 來(lái)運(yùn)行推理。Cuebric 創(chuàng)意工作室正在開(kāi)發(fā)由 Picasso 提供支持的生成式 AI 應(yīng)用，以便打造沉浸式虛擬環(huán)境，助力電影制作和內(nèi)容創(chuàng)作。

加速 3D 創(chuàng)作：Shutterstock 3D AI 生成器現(xiàn)已開(kāi)放搶先體驗(yàn)

Shutterstock 的 3D AI 服務(wù)現(xiàn)已開(kāi)放搶先體驗(yàn)，該服務(wù)可以幫助創(chuàng)作者生成用于布景和構(gòu)思的各種虛擬物體。這種功能可以使場(chǎng)景原型設(shè)計(jì)大幅加速，從而讓藝術(shù)家有更多的時(shí)間來(lái)專(zhuān)注于主要角色和物體的創(chuàng)作。

運(yùn)行中的 Shutterstock 3D 生成器（視頻來(lái)源：Shutterstock）

借助這些工具，創(chuàng)意專(zhuān)業(yè)人員可利用文本提示或參考圖像快速創(chuàng)建資產(chǎn)，并能以各種熱門(mén) 3D 格式導(dǎo)出資產(chǎn)文件。Edify 3D 服務(wù)還帶有內(nèi)置保護(hù)措施，可以過(guò)濾生成的內(nèi)容。

這款可在商業(yè)領(lǐng)域安全使用的模型是基于 Shutterstock 的授權(quán)數(shù)據(jù)訓(xùn)練的。考慮到藝術(shù)家的內(nèi)容知識(shí)產(chǎn)權(quán)在訓(xùn)練生成技術(shù)方面所起到的重要作用，Shutterstock 已向數(shù)十萬(wàn)名藝術(shù)家支付了相應(yīng)報(bào)酬，未來(lái)預(yù)計(jì)還會(huì)有數(shù)百萬(wàn)名藝術(shù)家獲得報(bào)酬。

惠普和 Shutterstock 在 GTC 大會(huì)上宣布將協(xié)作利用 Edify 3D 來(lái)為設(shè)計(jì)師提供大量原型設(shè)計(jì)選項(xiàng)，進(jìn)而提升定制化 3D 打印體驗(yàn)。

Shutterstock 的 3D AI 生成器可幫助設(shè)計(jì)師快速迭代概念并創(chuàng)建各種數(shù)字資產(chǎn)，而惠普則能將創(chuàng)建的數(shù)字資產(chǎn)通過(guò)自動(dòng)化工作流轉(zhuǎn)換成可供 3D 打印的模型。隨后，惠普 3D 打印機(jī)便可將這些模型打印出來(lái)，制成實(shí)體原型，幫助設(shè)計(jì)師激發(fā)產(chǎn)品設(shè)計(jì)靈感。

Mattel 正在利用 Shutterstock 提供的 3D 生成式 AI 加快設(shè)計(jì)構(gòu)思過(guò)程。借助 AI，玩具設(shè)計(jì)師可以通過(guò)簡(jiǎn)單的文字描述將他們對(duì)新產(chǎn)品的想法可視化。通過(guò)降低創(chuàng)建高保真概念設(shè)計(jì)的技術(shù)門(mén)檻，設(shè)計(jì)師們可以探索更廣泛的創(chuàng)意庫(kù)，并加快迭代速度。

此外，Shutterstock 還在開(kāi)發(fā)各種基于 Edify 的工具，以便通過(guò)文本或圖像提示生成 360 HDRi 環(huán)境，為 3D 場(chǎng)景提供照明。

達(dá)索系統(tǒng)（Dassault Systèmes）正在通過(guò)其先進(jìn)的 3DEXCITE 應(yīng)用程序進(jìn)行 3D 內(nèi)容創(chuàng)作，將 Shutterstock 的生成式 360 HDRi API 整合到其基于 NVIDIA Omniverse（用于開(kāi)發(fā)基于 OpenUSD 的 3D 工作流和應(yīng)用的計(jì)算平臺(tái)）的工作流中，CGI 工作室 Katana 也在推進(jìn)相同的整合工作。

全球最大的技術(shù)賦能創(chuàng)意集團(tuán) Accenture Song 正在 Omniverse 平臺(tái)中使用計(jì)算機(jī)輔助設(shè)計(jì)（CAD）數(shù)據(jù)生成 Defender 車(chē)型的高保真圖像并將其用于營(yíng)銷(xiāo)。借助由 Edify 提供支持的生成式 AI 微服務(wù)，Accenture Song 能夠通過(guò)對(duì)話(huà)式提示構(gòu)建電影級(jí)交互式 3D 環(huán)境，進(jìn)而營(yíng)造一個(gè)可提供完全沉浸式體驗(yàn)的 3D 場(chǎng)景，將所生成的逼真環(huán)境與 Defender 車(chē)型的數(shù)字孿生完美融合在一起。

把控全局：借助 Getty Images 的定制微調(diào)功能，將視覺(jué)創(chuàng)意轉(zhuǎn)變?yōu)楝F(xiàn)實(shí)

Getty Images 將持續(xù)豐富其可在商業(yè)領(lǐng)域安全使用的生成式 AI 服務(wù)的功能，并為使用該服務(wù)生成內(nèi)容的用戶(hù)提供適當(dāng)知識(shí)產(chǎn)權(quán)報(bào)酬。

在 1 月的 CES 展會(huì)上，Getty Images 發(fā)布了由 Edify 提供支持的圖像修復(fù) API，用于添加、刪除或替換圖像中的物體。該 API 還可通過(guò)擴(kuò)圖功能擴(kuò)展創(chuàng)意空間。上述功能現(xiàn)已在 Gettyimages.com 和 iStock.com 上推出。

從 5 月開(kāi)始，Getty Images 還將提供定制微調(diào)服務(wù)，以便公司根據(jù)其品牌和視覺(jué)風(fēng)格對(duì) Edify 基礎(chǔ)模型進(jìn)行調(diào)整。

通過(guò)該服務(wù)，各類(lèi)公司均可上傳專(zhuān)有數(shù)據(jù)集，查看自動(dòng)生成的標(biāo)簽，提交微調(diào)任務(wù)，并在得到結(jié)果后再將其部署至生產(chǎn)，整個(gè)過(guò)程完全自助，且無(wú)需使用任何代碼。

對(duì)圖像輸出進(jìn)行更精細(xì)的控制一直是生成式 AI 面臨的最大挑戰(zhàn)之一。為此，Getty Images 還將推出一套 API，并將其作為定制微調(diào)工具的一部分提供，這些 API 可幫助用戶(hù)更好地把控圖像輸出結(jié)果。

很快，開(kāi)發(fā)者將能使用“草圖（Sketch）”、“深度（Depth）”和“分割（Segmentation）”功能。“草圖”功能可讓用戶(hù)提供草圖以指導(dǎo) AI 生成圖像；“深度”功能可讓用戶(hù)通過(guò)深度圖復(fù)制參考圖像的構(gòu)圖；“分割”功能可讓用戶(hù)分割部分圖像，以便添加、刪除或改進(jìn)角色或物體。

多家領(lǐng)先的創(chuàng)意公司和廣告商均已在使用 Getty Images 的 API 服務(wù)，其中包含：

電通 (Dentsu Inc.)：日本廣告公司電通正在使用 Getty Images 的生成式 AI API 服務(wù)為 MAFA: Manga Anime For All 應(yīng)用提供支持，該應(yīng)用可為營(yíng)銷(xiāo)案例創(chuàng)建漫畫(huà)和動(dòng)畫(huà)風(fēng)格的內(nèi)容。此外，電通創(chuàng)意（Dentsu Creative）正在使用 NVIDIA Picasso 為領(lǐng)先的會(huì)員制倉(cāng)儲(chǔ)零售商山姆會(huì)員商店微調(diào) Getty Images 模型。

麥肯 (McCann)：這家創(chuàng)意公司借助生成式 AI 為客戶(hù)利潔時(shí)（Reckitt）的非處方感冒藥 Mucinex 開(kāi)發(fā)了一款具有創(chuàng)新性的游戲，讓玩家享受到了與品牌吉祥物互動(dòng)的樂(lè)趣。

Refik Anadol Studio：這家工作室因使用生成式 AI 進(jìn)行藝術(shù)創(chuàng)作而聞名，并且在 GTC 大會(huì)上展出了以熱帶雨林為靈感的藝術(shù)作品。該裝置是利用 Getty Images 的AI模型與 Refik 的熱帶雨林目錄進(jìn)行微調(diào)后創(chuàng)作的。

WPP：這家營(yíng)銷(xiāo)與傳播服務(wù)公司正在與可口可樂(lè)公司合作，探索如何通過(guò)微調(diào) Getty Images 的模型，以幫助構(gòu)建符合品牌風(fēng)格和準(zhǔn)則的自定義視覺(jué)效果。

審核編輯：劉清