人工智能（Artificial Intelligence，AI）主要研究人類思

　　維、行動中那些尚未算法化的功能行為， 使機器像人的大

　　腦一樣思考、行動。長期以來， 圍棋作為一種智力博弈游

　　戲， 以其變化莫測的博弈局面， 高度體現(xiàn)了人類的智慧， 為

　　人工智能研究提供了一個很好的測試平臺， 圍棋人工智能

　　也是人工智能領域的一個重要挑戰(zhàn)。

　　傳統(tǒng)的計算機下棋程序的基本原理， 是通過有限步數(shù)

　　的搜索樹， 即采用數(shù)學和邏輯推理方法， 把每一種可能的

　　路徑都走一遍， 從中選舉出最優(yōu)路徑， 使得棋局勝算最大。

　　這種下棋思路是充分發(fā)揮計算機運算速度快、運算量大等

　　優(yōu)勢的“暴力搜索法”， 是人類在對弈規(guī)定的時間限制內無

　　法做到的。但是由于圍棋局面數(shù)量太大， 這樣的運算量對

　　于計算機來講也是相當之大， 目前的計算機硬件無法在對

　　弈規(guī)定的時間內， 使用計算機占絕對優(yōu)勢的“暴力搜索法”

　　完成圍棋所有局面的擇優(yōu)， 所以這樣的下棋思路不適用于

　　圍棋對弈。

　　搜索量巨大的問題一直困擾著圍棋人工智能， 使其發(fā)

　　展停滯不前，直到2 0 0 6 年， 蒙特卡羅樹搜索的應用出現(xiàn)，

　　才使得圍棋人工智能進入了嶄新的階段， 現(xiàn)代圍棋人工智

　　能的主要算法是基于蒙特卡洛樹的優(yōu)化搜索。

　　2 圍棋人工智能基本原理

　　目前圍棋人工智能最杰出的代表， 是由谷歌旗下人工

　　智能公司DeepMind創(chuàng)造的AlphaGo圍棋人工智能系統(tǒng)。它

　　在與人類頂級圍棋棋手的對弈中充分發(fā)揮了其搜索和計

　　算的優(yōu)勢， 幾乎在圍棋界立于不敗之地。

　　Alph a G o系統(tǒng)的基本原理是將深度強化學習方法與蒙

　　特卡洛樹搜索結合， 使用有監(jiān)督學習策略網絡和價值網

　　絡， 極大減少了搜索空間， 即在搜索過程中的計算量， 提高

　　了對棋局估計的準確度。

　　2.1 深度強化學習方法

　　深度學習源于人工神經網絡的研究， 人類大量的視覺

　　聽覺信號的感知處理都是下意識的， 是基于大腦皮層神經

　　網絡的學習方法， 通過模擬大腦皮層推斷分析數(shù)據(jù)的復雜

　　層狀網絡結構， 使用包含復雜結構或由多重非線性變換構

　　成的多個處理層對數(shù)據(jù)進行高層抽象， 其過程類似于人們

　　識別物體標注圖片。現(xiàn)如今， 應用最廣泛的深度學習模型

　　包括： 卷積神經網絡、深度置信網絡、堆棧自編碼網絡和遞

　　歸神經網絡等。

　　強化學習源于動物學習、參數(shù)擾動自適應控制等理

　　論， 通過模擬生物對環(huán)境以試錯的方式進行交互達到對環(huán)

　　境的最優(yōu)適應的方式， 通過不斷地反復試驗， 將變化無常

　　的動態(tài)情況與對應動作相匹配。強化學習系統(tǒng)設置狀態(tài)、

　　動作、狀態(tài)轉移概率和獎賞四個部分， 在當前狀態(tài)下根據(jù)

　　策略選擇動作， 執(zhí)行該過程并以當前轉移概率轉移到下一

　　狀態(tài)， 同時接收環(huán)境反饋回來的獎賞， 最終通過調整策略

　　來最大化累積獎賞。

　　深度學習具有較強的感知能力， 但缺乏一定的決策能

　　力； 強化學習具有決策能力， 同樣對感知問題無能為力。深

　　度強化學習方法是將具有感知能力的深度學習和具有決

　　策能力的強化學習結合起來， 優(yōu)勢互補， 用深度學習進行

　　感知， 從環(huán)境中獲取目標觀測信息， 提供當前環(huán)境下的狀

　　態(tài)信息； 然后用強化學習進行決策， 將當前狀態(tài)映射到相

　　應動作， 基于初期匯報評判動作價值。

　　深度強化學習為復雜系統(tǒng)的感知決策問題提供了一

　　種全新的解決思路。

　　2.2 蒙特卡洛樹搜索

　　蒙特卡洛樹搜索是將蒙特卡洛方法與樹搜索相結合

　　形成的一種搜索方法。所謂蒙特卡洛方法是一種以概率統(tǒng)

　　計理論為指導的強化學習方法， 它通常解決某些隨機事件

　　出現(xiàn)的概率問題， 或者是某隨機變量的期望值等數(shù)字特征

　　問題。通過與環(huán)境的交互， 從所采集的樣本中學習， 獲得關

　　于決策過程的狀態(tài)、動作和獎賞的大量數(shù)據(jù)， 最后計算出

　　累積獎賞的平均值。

　　蒙特卡洛樹搜索算法是一種用于解決完美信息博弈

　　（perfect information games，沒有任何信息被隱藏的游戲）

　　的方法，主要包含選擇（Selection）、擴展（Expansion）、模擬