近幾年，深度生成網(wǎng)絡(luò)取得了令人印象深刻的成果，盡管如此，這些模型通常會(huì)在數(shù)據(jù)集的細(xì)節(jié)上浪費(fèi)很多資源，這也許是由于解碼器中弱感應(yīng)偏差造成的。于是這時(shí)，圖形引擎就派上了用場(chǎng)，因?yàn)樗鼈兡軐⒌退降募?xì)節(jié)變得抽象，然后用高水平的程序表示圖像。目前將深度學(xué)習(xí)和渲染器結(jié)合的方法受限于似然性或距離函數(shù)，需要大量的監(jiān)督，或難于將其推理算法擴(kuò)展到更豐富的數(shù)據(jù)集中。于是，DeepMind的研究人員推出了SPIRAL，該智能體經(jīng)過(guò)訓(xùn)練后能生成一個(gè)程序，它能通過(guò)圖像引擎解釋并采樣圖像。以下是對(duì)原文的編譯。

人類的眼睛所看到的，并不僅僅是角膜反射的圖像。例如當(dāng)我們看到一幢建筑，沉迷于它精妙的設(shè)計(jì)時(shí)，我們會(huì)感嘆工匠的高超技藝。這種通過(guò)思考創(chuàng)造它們的工具來(lái)欣賞物體的能力，使我們對(duì)世界有了更加豐富的理解，這也是人類智慧的一個(gè)重要方面。

我們希望系統(tǒng)可以創(chuàng)造出相似的對(duì)世界豐富的知覺(jué)。例如，在觀察一幅油畫(huà)作品時(shí)，我們想讓它們了解繪畫(huà)的筆觸，而不僅僅是屏幕上單純的像素。

在這項(xiàng)研究中，我們給智能體配備了與人類繪畫(huà)相同的工具，可以讓它們明白數(shù)位、字符和人像是如何繪制出來(lái)的。重要的是，它們完成的這一切都靠自我學(xué)習(xí)，無(wú)需人類標(biāo)記過(guò)的數(shù)據(jù)集。這與最近一個(gè)需要人類數(shù)據(jù)集的研究不同，這一過(guò)程可能非常耗時(shí)。

我們?cè)O(shè)計(jì)了一款深度強(qiáng)化學(xué)習(xí)智能體SPIRAL，它可以和計(jì)算機(jī)的繪畫(huà)程序交互，可以在電子畫(huà)布上繪畫(huà)，也可以改變筆刷的大小、按壓強(qiáng)度和顏色。未經(jīng)訓(xùn)練的智能體最初會(huì)漫無(wú)目的地在畫(huà)布上涂鴉，于是我們必須創(chuàng)造出一種獎(jiǎng)勵(lì)智能體的方法，促使它畫(huà)出有意義的作品。

為了這一目的，我們訓(xùn)練了另一個(gè)神經(jīng)網(wǎng)絡(luò)，稱為判別器（discriminator），它的作用是判斷該作品是否是智能體生成的，或者僅僅是從真實(shí)照片中采樣的一張圖片。繪畫(huà)智能體是通過(guò)欺騙判別器認(rèn)為繪畫(huà)是真實(shí)與否的程度來(lái)獲得獎(jiǎng)勵(lì)的。換句話說(shuō)，智能體的獎(jiǎng)勵(lì)信號(hào)本身就是學(xué)習(xí)來(lái)的。雖然這很像生成對(duì)抗網(wǎng)絡(luò)（GAN），但是二者的不同之處在于GAN中的生成器通常是直接輸出像素的神經(jīng)網(wǎng)絡(luò)，而我們的智能體通過(guò)編寫(xiě)圖形程序生成圖像，從而在繪圖環(huán)境中進(jìn)行交互。

在實(shí)驗(yàn)的第一個(gè)裝置中，智能體用于訓(xùn)練生成類似MNIST數(shù)字一樣的圖像：最后發(fā)現(xiàn)這些數(shù)字看上去很像MNIST，但畫(huà)的方式不一樣。為了生成能夠欺騙過(guò)判別器的圖像，智能體學(xué)著控制筆刷，然后讓其適應(yīng)不同數(shù)字的風(fēng)格，這種技術(shù)成為視覺(jué)程序合成。

我們同樣訓(xùn)練它重現(xiàn)具體的圖像。在這里，判別器的目的是判斷重新生成的圖像是否是目標(biāo)圖像的復(fù)制品，還是真的由智能體生成的。判別器判斷得越困難，智能體得到的獎(jiǎng)勵(lì)就越多。

重要的是，該框架也是可解釋的，因?yàn)樗苌梢淮畡?dòng)作用來(lái)控制模擬筆刷。這意味著模型可以將其所學(xué)應(yīng)用到模擬繪畫(huà)軟件上，在其他相似的環(huán)境中重新創(chuàng)造作品，例如在機(jī)械臂上。

該框架也可以擴(kuò)展到真實(shí)數(shù)據(jù)集上。當(dāng)我們訓(xùn)練智能體畫(huà)出名人的臉時(shí)，它能夠捕捉到臉部主要的特征，比如臉型、膚色和發(fā)型，有點(diǎn)街頭藝人用僅有的畫(huà)筆為人畫(huà)肖像的感覺(jué)：

從原始感知中復(fù)原結(jié)構(gòu)表示是人類能夠輕易獲得并經(jīng)常使用的能力。在這項(xiàng)工作中，我們證明可以通過(guò)給智能體配備與人類相同的感知工具生成相似的表示。在這一過(guò)程中，它們學(xué)會(huì)制作可視化程序，這些程序能簡(jiǎn)潔地表達(dá)產(chǎn)生這種觀察的因果關(guān)系。

盡管我們的工作僅是邁向靈活程序合成的一小步，但我們希望未來(lái)能有更多的技術(shù)，讓人工智能體具備人類的感知、概括和交流能力。