AlphaStar再次展現了DeepMind對研究方向的精準把控和卓越的工程實力。本文根據DeepMind博文及相關資料做了推演，試圖在研究論文公布前復現AlphaStar的訓練過程。沿用這套方法，你也創建自己的星際2訓練環境！

自AlphaGo解決圍棋問題之后，《星際爭霸2》就成了DeepMind公司的新目標。在2018年6月，DeepMind發表了一篇論文，展示如何運用深度強化學習，解決諸如采礦最大化這樣的小游戲。

沒想到僅6個月后，他們的AI就已經可以和職業選手過招了。AlphaStar在Catalyst LE地圖上打神族內戰（PvP），以 5:0 戰勝了職業選手TLO與MaNa，只是到了現場比賽時，被MaNa找到了一個無法應對棱鏡騷擾的Bug致敗。DeepMind公司那批機器學習天才們，研究方向掌握之精準，工程控制能力之強大，令人印象深刻。

這樣的表演賽是DeepMind常見的預熱，相信不久后它就會對Serra l 和Maru這樣的頂級職業選手提出挑戰。后者假如迎戰，大概率菊花不保。

不過，與圍棋不同的是，星際爭霸這類即時戰略游戲還有操作技能這一環。AlphaStar有不切屏看大地圖的功能，以及偶爾爆出超越人類極限的有效手速（eAPM），都被指責為不夠公平。相信DeepMind在正式邀戰時會解決這些問題。

很多人最關心的一個問題是，AlphaStar究竟是如何訓練出來的呢？我們嘗試在正式論文尚未放出之前，通過DeepMind的博客文章作一些分析解讀。

玩星際爭霸的AI面對的問題

星際爭霸2是一個困難的即時戰略游戲。玩家必須實時地在成百上千個可行的操作中作出決斷。

與人類相仿，AI的控制流同樣由一輪輪操作組成。在每一輪中，AI先獲取當前游戲狀態，據此衡量并選擇一次操作，然后提交給星際爭霸2環境。

AI經由Blizzard和DeepMind聯合創建的PySC2接口，與星際爭霸2的游戲核心進行交互。每一步中，AI能夠獲取的游戲信息是一個矩形網格，網格的每個位置代表地圖上的一個位置。每個位置上都有若干數值，代表此地的有效信息。

另一種理解方式是，游戲信息被組織成若干個網格，每份網格代表某一項特定信息（見上圖右側）。比如說“fog-of-war”網格代表是否存在戰爭迷霧；“height-map”網格代表地形高度；“unit-type”網格代表建筑或者作戰單位。詳細說明可參考報告論文[1]的第3.2節。

在操作方面，AI定義了300多個“宏操作”，在每一輪中，AI從這個集合內選取某個宏操作執行。宏操作由一系列基本操作組成。例如，“把當前選中的單位移到A處”，可以分成三步：1) 決定移動，2) 決定是否把操作排隊，3) 點擊某個地圖位置。而上述操作又可以進一步分解為“按m鍵；松開m鍵；決定是否按shift鍵；地圖A處按下鼠標左鍵；松開鼠標左鍵”。

不同粒度的操作分解，會將問題焦點分配到不同抽象層面。如果操作種類特別基本，到了按鍵盤鼠標的程度，單個操作的意義就非常小，探索有意義的策略就很難。反之，如果宏操作非常復雜，雖然意義顯著，但每一步的選擇空間又變得過于寬廣，選中合適的策略也很難。PySC2取了一個平衡點，每個宏操作的意義，與人類邏輯層面上感知的操作接近，比如上面移動單位的例子，它就給了一個專門的操作。

AI一旦從決策空間選定了宏操作之后，就會生成一條 (a0, a1, a2, a3, a4, ...) 形式的指令，其中“a0”指定了300多個基本操作之一，而“a1, a2…”是操作參數，比如給需要移動單位指定目的地。直觀圖示如下：

為什么都說星際爭霸2問題難？

因為需要探索的空間太大。

根據DeepMind的報告，考慮操作和參數的各種組合，在典型對戰環境中，決策空間的大小約有10^26 (簡短的介紹可參見報告論文[1]第3.3節)。如果把星際爭霸想像成一盤棋局，那么

棋局的狀態就是戰場的全部信息，但由于戰爭迷霧的存在，星際2中一位弈者相當于遮擋住部分棋盤來對局；

每一步可以落子的位置對應于此步可以進行的操作，其可能性的數量級大致相當于一大瓶可樂里水分子的數量。

注意以上討論的僅僅是AI決定單步操作時需要面對的挑戰，在對戰中每一步對應一個的時間節點，如果按照職業玩家的操作頻率來計算，每分鐘需要行棋數百步，每步都在前一步的基礎上以乘數拓展一個狀態空間！

學習一步的操作固然困難，但尚可算入當前最成熟的統計學習方法——監督學習——可實際解決的問題的范疇。即給機器提供大量可觀測的輸入，即學習樣本，并提供期望產生的輸出。AI從這些配對樣本中，學到輸入與輸出的變量應該怎樣對應。

監督學習方便簡單，而且從工程實現的意義來說，其實是我們唯一可以成熟使用的范式。但實際應用到學習對戰這種任務上立即就會呈現出局限性 。

我們想象一個最簡單例子，監督學習范式可以方便地運用到單個人臉識別，單個數字識別，單個物體識別這樣的任務中。但如果不是“單個”數字識別，而是識別“一串”手寫數字，那么我們應當如何構建監督學習呢？

1) 可觀測的輸入：整個圖像；期望產生的輸出：類似于“02971736”這樣的數字串。

假設輸出的數字有個固定的長度上限，比如5位數字。那么對一副圖像就可能有高達10^5種可能的輸出。想訓練好一個“5位數字串”識別器，就需要對每一種可能的字串，提供與其對應的圖像例子，比如10000張不同的“01234”圖像。那么，對所有的類別，“34567”，“34555”，“23588”…都提供10,000張用于訓練的例子，其耗費將不可忍受。而每種類別10,000個例子的數量還是十分保守的估計，在典型的數字圖像數據集，比如MNIST中，每個單個數字“0”，“1”，……的例子就有此數。

2) 可觀測的輸入：矩形圖像塊；期望產生的輸出：“0”，……，“9”這類單個數字

在這種情況下，我們只需要針對10個數字作訓練，例子數量呈指數級縮減。但它并不能直接解決“從圖像中識別數字串”這個問題，因為還需面對“發現原始輸入圖像的哪些區域包含有意義的數字并截取”的難題。我們要仔細制定規則來確認哪些區域包含數字及其順序，這是OCR任務中常用的方法，但恰如批評所言，這屬于“人工+智能”。

3) 可觀測的輸入：整個圖像，一個初始的矩形區域；期望產生的輸出：矩形區域中的圖像內容“0……9”，矩形區域在圖像上的下一步移動，是否終止檢測。

這就開始脫離監督學習的范式了。系統并非一次性的完成對輸入的分析，產生輸出，而是試圖做一個決策流，每個步驟都要根據一個本步觀測（輸入）得到一個相應的決策（輸出）。而一個步驟的決策又會影響下一個步驟的觀測。如下圖所示：

它更加符合人類智能解決實際問題的方式，而游戲環境則是這類方案天然的試煉場。這也是通過人工智能程序玩游戲，在近年來獲得如此關注的原因之一。事實上：

把上面流程中的“數字串原始圖像”換成“星際爭霸2游戲環境”，

把判定和決策的輸出結果換成上面討論過的單步宏操作，

把“截取出的圖像塊”換成上面討論過的AI的對游戲的觀測，

我們就基本定義好了“玩星際爭霸的AI”所面對的問題。

AlphaStar面對的就是這樣一個問題，我們從它的博客文章[2]提到的若干技術要素出發，對其訓練方法進行解說與猜測。它使用的這套技術分為如下三個大類：

宏觀訓練策略

單個智能體強化學習策略

智能體的構造和訓練的具體實現

拆解：AlphaStar的訓練策略

1. 宏觀的群體學習策略

簡略地講，AlphaStar 的總體訓練過程，是一組多回合的“AI聯賽”。在介紹聯賽規則之前，我們先講為什么要訓練一群，而不是一個AI，來挑戰星際爭霸2。首先，星際爭霸2本質上是一個對抗性游戲，玩家追求勝利需要考慮對手的活動，并無全局意義上的最優策略。其次，相比于圍棋，星際爭霸2對戰場狀態只能作不完全觀測，且其狀態空間更加龐大，導致一系列AI會各有偏好并相互克制。

對于一個的AI算法來說，強化學習任務中的諸要素，自然地分作兩類：受控變量和外界環境。在學習的每個時間點，AI選擇好的動作和觀測結果，是兩邊交換信息的載體。

算法設計者須將外界環境視為黑箱，不能或不會在學習過程中加以控制。比如設計一個 AI 來挑戰 Atari 主機中的某個游戲，算法設計者只能啟動強化學習 AI 后從旁觀察。對于星際爭霸這類對戰式的任務，被AI視為“外界環境”的元素，除游戲程序之外，對手一方同樣滿足：

不在AI的控制范圍

對“本” AI 的行動作出反饋

影響游戲狀態，從而影響“本” AI 在下一個時間節點取得的觀測結果

因此解決方案中需要考慮對手，為此構建的學習環境中也需要包含一個對手。

AlphaStar從一個單一的“種子選手”啟動聯賽，每一輪挑選有潛力的互相挑戰，對優勝AI略微變通后令其加入擴大聯賽隊伍。一輪接一輪地將聯賽開展下去。啟動的種子AI來自基礎的監督學習：從Blizzard戰網下載人類玩家對戰數據，訓練深度神經網絡學習每局對戰每個時刻的（游戲狀態，玩家操作）的對應關系。（更詳細的，我們猜測應該是若干步的游戲狀態序列和操作流之間的對應關系）

獲得啟動種子后的聯賽式訓練見下圖（取自Deepmind blog）

博客中詳細介紹的是第四輪訓練Network-006的過程。首先我們注意到這個訓練過程能夠進行就有兩個前提條件：i) 本輪的Network-006是前一輪Network-004的兩個變異后裔之一。ii）Network-006被選中參加本輪聯賽的比賽，以綠色表示，而每一輪當中不參加比賽的AI選手以藍色表示。無論是否參加比賽，一輪當中所有的AI選手都會被原封不動地拷貝到下一輪。

之后，Network-006本場比賽的對手選定為Network-008，設定好學習參數，就可以進行強化學習訓練了。注意Network-008在這次訓練中充當“陪練”的角色，其本身的網絡參數不會獲得調整。Network-006將Network-008當作靶子來訓練，會習得專門對付008的方案。至于008的出場是根據“Matchmaking Probability”算法抽取的，大約是在隨機分布的基礎上，讓高等級選手出場的機會略多，具體計算方式必須等論文出來才能確定。

“星際爭霸AI大聯盟”始終保留其歷史上的所有會員，每個AI都有出場機會。這樣可以避免學習終局的那些高等級AI，只會針對其它高等級AI，反而不懂如何應對菜鳥的事件。訓練的時候還會給一些比較弱的人工指導，比如“初期鼓勵出狂戰士”等。這類指導策略也是隨機選取的，為的是進一步提升下一輪聯盟中AI選手的多樣性。

從他們博文看來，聯賽舉行了800輪之多。最后一輪過后，“星際爭霸AI大聯盟”中存在高達877個訓練過的AI神經網絡。在測試階段出戰者的選擇方式，則是從這些AI選手中以Nash Distribution采樣。

2. 單個 AI 的訓練

下面我們分析特定輪比賽中AI個體的學習問題。這是一個強化學習任務。

在“強化學習”中，AI 自行嘗試輸出不同的決策，訓練者反饋給 AI 激勵和新的數據。這些配對數據用于后期的“監督學習”，從機器在探索中得到的數據對，來學習環境輸入與操作輸出這兩大要素之間的聯系，在星際爭霸2單個AI訓練中，我們將這兩個層面稱作“強化學習探索”和“構建 AI 模型本體來學習樣本數據中的關聯”。

從“種子”選手開始，每個 AI 模型就繼承了以前的模型從它們對戰經驗數據中學習到的決策策略。而首個種子選手繼承的是人類選手的經驗。一旦啟動學習，AI 就立即面臨強化學習領域經典的“守成探索不能得兼”(exploitation-vs-exploration)的問題。

根據 Deepmind 的介紹，AlphaStar 強化學習的骨干算法選用了“實干家-批評家”方法（Actor-Critic，AC）。為了加速訓練以及取得穩定和可靠的效果，AlphaStar 使用了大規模并行的 AC 實現，另外結合了若干節約和利用有效經驗的技巧來對付星際爭霸2任務中學習遠期回報的挑戰。

AlphaStar 具體使用的 AC 算法是2018 年 DeepMind提出的 IMPALA 算法[5]。其設計目的是解決高度并行的大規模學習問題。運行星際爭霸2這樣的大型游戲環境，令 AI 與之互動產生數據，是一個昂貴的計算任務。由于在 AC 算法框架下對模型參數的求導是一個伴隨劇烈波動的隨機性操作，用這種方法估計出來的導數來優化策略模型，只能讓策略大致上變得越來越好。這個所謂“大致”的靠譜程度，就取決于我們能不能把導數的“劇烈波動”處理得不是那么劇烈。

一個自然的想法是：把策略多跑幾遍，導數多求幾次，求平均值。并行 AC 學習算法[6]就是對上述思路的直接實現—— 由于在 AC 架構中實際產生數據，探索環境的乃是“實干家”。我們在分配計算資源時偏向它，多雇傭實干家（多分配一些相應的策略執行進程），同時生成多條執行軌跡，并通過一個中心學習者從這些多線歷史中估算策略參數的導數，結果會更準確，這些實干家相當于中心學習者的分身。IMPALA 框架則更進一步，所有分身實干家都只是“傀儡執行者”，既不需要優化策略參數，也不需要計算導數，只是負責執行生來所繼承的策略，把經驗數據忠實地記載下來，傳回中心學習算法。

即便不考慮對穩定導數計算的作用，這種做法也極大緩解了高并行復雜模型學習中的節點通訊問題。“傀儡執行者”和學習核心的關系，見上圖，它們之間的通信頻率比起頻繁傳遞網絡參數要少得多（可以完成一個 episode 才更新一次策略參數）。而執行策略的歷史數據往往比大型網絡的導數（大小約為整個網絡參數集）來得經濟很多。

AlphaStar 還采用了幾項對 AC算法的補充措施。其中重要的一項是，每個 AI 選手在訓練期間，都會把自己的對戰歷史保存下來，供 AC 算法在估計參數導數時使用，即模仿自己的優秀歷史。這種在學習者“腦海”里面重放歷史經驗（Experience Replay）的做法，之前在估值方法與深度神經網絡結合的工作中采用過（Deep Q-Learning，DQN），并首次實現了AI在視頻游戲上的突破。在直接學習策略參數的方案中，一般來說，這樣做會導致估計偏差——因為 AC 算法“期望”它見到的數據是執行“本”策略得來。單采用參考歷史數據的方案算出的模型改進方向，其出發點就有一點過時了。但由于從少量樣本估計的模型參數的導數往往會有巨大波動。為更穩定地標定正確的學習方向，可以犧牲終點的最優特性。

還有一個措施，是把學習過的 AI 的策略精髓抽取出來，轉移到正在學習的 AI 模型中（Policy Distillation）[7]。這個方法可以使用更緊湊的模型（參數小一個數量級）來逼近更大更復雜的模型的表現；可以合并多個策略來形成一個比其中每個個體都更可靠的策略——注意由于優秀策略的分布不是連續的，這不是一個簡單平均的問題。比如考慮超級瑪麗兄弟：策略A是跳起來踩扁蘑菇，策略B是發射火球然后直接前進，如何在A和B之間折衷相當困難；還可以在策略學習這個層面形成迭代：每一輪的學習都把上一輪學習到策略的精髓轉移出來，在此基礎上開始。由于Deepmind語焉不詳，目前還不清楚這個方法是如何用于AlphaStar訓練上的。

3. 神經網絡模型和訓練

強化學習AI算法。最終落實到具體的調整策略/模型的單個學習步驟上，也就是訓練迭代的最內層循環中，還是要回歸到監督學習范式，變成“針對這樣的輸入，鼓勵（懲罰）模型產生如此的輸出”的優化操作。在傳統強化學習研究歷史上，建立策略或者估值是理論重點。系統的狀態往往被少數幾個變量完美的描述，比如一個牛頓力學系統中各個剛體的位置和速度。但是在任何稍微復雜一點的問題中，數據表示問題仍然是一個挑戰：即使強化學習算法非常有效，AI也必須知道當前觀察到的狀態與之前經歷過的狀態之間的聯系。星際爭霸游戲這類問題，其觀測是十分復雜的對象（序列），于是我們也就要面對統計學習中的典型問題：通過分析數據，建立（輸入，輸出）之間的聯系。

目前大家的共識是，這個問題的核心是把輸入的數據轉換成一種有效的表示，這個“有效”是從期望產生的輸出結果的角度來評判的。具體一點說，如果我們的訓練數據中有兩個樣本（輸入A，輸出A）和（輸入B，輸出B），后來又觀測到了（輸入C）。一個好的輸入數據的表達應當能幫助我們估計想要的“輸出C”。比如我們做完“輸入A->表達A”，“輸入B->表達B”和“輸入C->表達C”，然后比一比相似度（表達C，表達A）和（表達C，表達B），然后從A和B當中挑選更相似的那個，用它的輸出來預估C的輸出。如果這種估計方式真的能得到對于C來說合適的輸出，我們說這個表達方式對于這個數據分析任務來說是好的。如果能完美的完成這個相似度辨別的任務，那么很多問題就可以簡化成“查詢一下現在遇到的狀況跟訓練時碰到的哪個情況類似，照當初的經驗辦理”。從另一方面說，如果能將每一個原始數據樣本變換到一個多維向量，這些向量之間可以用簡單的做差算距離來衡量相似度，那么這個變換也算解決了衡量數據樣本之間的相似度的問題。這個任務有個術語叫做“數據表示”。

注意從上面的討論我們可以看出，沒有絕對“好”的數據表示，我們根據對某個特定的任務是否有效來衡量一種表示方法的好壞。數據表達的質量可不僅僅取決于輸入數據的形式，而是跟整個數據分析的任務密切相關。比方說輸入的對象是自然人，人當然是個十分復雜的對象，如果要量化描述之，那么對于“預估此人能否成為優秀的籃球隊員”這個任務，“身高、摸高、100米跑時間”這些量化的指標就比較合理；而對于“預估此人會不會去觀看某部電影”的任務，“票價與此人月收入的對比、前一年上映的每部電影此人是否觀看過……”這些量化指標就顯得合適。

深度學習的興起的最大功臣是在隨這類模型而得到的有效數據表示：從輸入到輸出之間架構好深度神經網絡之后，我們就自然而然地把輸入數據的轉換，預測輸出的數據模型，模型產生的輸出與真實樣例之間的對比，這三者統一到了同一個訓練過程中。神經網絡的結構也就同時規定了“怎樣整理轉換輸入數據”和“怎樣用整理過的輸入數據預測所需的輸出”這兩個在數據分析中的關鍵步驟。

?序列轉換模型

根據Deepmind的說法，AlphaStar 采用了基于注意力機制的序列轉換的表示模型。這種數據表達方法的起源是在自然語言處理領域，我們能夠想象，這種方法擅長于表示成序列出現的數據樣本。具體地說，transformer模型來自于自然語言處理中的翻譯任務，把一句話——即一串單詞和標點（語言的基本單位，tokens）——轉換成另一種語言的基本單位。Deepmind同樣沒有詳述這個模型在 AlphaStar 中的具體使用方法。不過據上文提到的使用人類對戰數據預訓練作為“種子AI”的做法來看，有可能預訓練的任務被制定成了學習從輸入“游戲狀態序列”到輸出“操作指令序列”之間的聯系。

?策略模型

基于注意力機制的序列轉換目前已經發展成為一個大的模型家族（剛剛在自然語言處理領域大放異彩的BERT也是其中一員），Deepmind 提到 AlphaStar 的輸出策略的計算模型是一種產生“指針”來“引用”自己的輸入序列從而構建輸出序列的自回歸(auto-regression)模型。

?基于多智能體的批評家

AlphaStar 的強化學習核心是“實干家-批評者”（AC）算法族。其具體的選擇是引入一種更加適應多個AI共同學習，但每個AI的觀測受限的學習環境的估值方法。其基本原理是采用“要不然”式估值（原名為Counterfactual Multiagent，直譯為“反事實多智能體”），批評家在評判AI之前做的一項決策的價值時，使用“要是當時不這么做”的話平均下來會有若干回報，那么當初這么做的優勢（劣勢）也就相應得出。

以上大致是我們從目前已有的知識所能推測的AlphaStar的詳細訓練方案。在Deepmind正式論文發表之后，補足其中少量細節，我們就可以沿用這套方法，創建自己的星際爭霸2訓練環境。