AI在棋牌類游戲的應(yīng)用,將促進(jìn)博弈決策的研究,以棋牌類AI應(yīng)用為基礎(chǔ)的相關(guān)AI博弈工具,在經(jīng)濟(jì)金融領(lǐng)域的風(fēng)險(xiǎn)預(yù)測(cè)、軍事領(lǐng)域的戰(zhàn)局預(yù)測(cè)等方向有著廣泛的應(yīng)用前景。
半個(gè)多世紀(jì)以來,棋牌類游戲一直是人工智能(AI)發(fā)展創(chuàng)新的舞臺(tái)。利用AI在被視作智力游戲的棋牌中打敗人類,也一直是AI研究所追求的目標(biāo)。從1997年IBM的超級(jí)電腦“深藍(lán)”擊敗國際象棋世界冠軍卡斯帕羅夫,到2016年谷歌開發(fā)的AI機(jī)器人AlphaGo戰(zhàn)勝圍棋世界冠軍李世石,AI在棋牌類比賽中屢獲突破。2019年7月,卡耐基梅隆大學(xué)與Facebook公司共同開發(fā)的AI機(jī)器人“Pluribus”,在無限制德州撲克6人對(duì)決比賽中戰(zhàn)勝5名專家級(jí)人類玩家,AI在德州撲克戰(zhàn)場(chǎng)再下一城。
Pluribus概況
Pluribus與人類的比賽分為兩種模式:1個(gè)AI與5個(gè)人類玩家和5個(gè)AI與1個(gè)人類玩家,Pluribus在這兩種模式中都取得了勝利。而為了戰(zhàn)勝人類,Pluribus在策略、算法和能耗上進(jìn)行了多次優(yōu)化。
Pluribus研發(fā)的核心策略是運(yùn)用改進(jìn)版本的蒙特卡洛遺憾最小化算法(Monte Carlo Counter factual Regret Minimization,MCCFR),通過自我博弈的方式學(xué)習(xí)。Pluribus首先隨機(jī)地選擇玩法,通過蠻力計(jì)算得到收斂的結(jié)果,并對(duì)這些行動(dòng)擬合概率分布,使得其實(shí)力在不斷自我博弈中逐步變強(qiáng)。在整個(gè)學(xué)習(xí)過程中,AI機(jī)器人和自己進(jìn)行對(duì)戰(zhàn),不使用任何人類游戲數(shù)據(jù)作為輸入。
算法上,為了解決6名玩家的額外復(fù)雜性,Pluribus整合了新的在線搜索算法,使AI能夠在游戲中向前預(yù)測(cè)并決定下一步該做什么,這種機(jī)制被稱為搜索功能。以往的棋牌類算法的每一步?jīng)Q策都需要計(jì)算到游戲結(jié)束,而在線搜索算法只需搜索前面的幾步即可。此外,Pluribus還利用了速度更快的新型self-play非完美信息游戲算法。基于上述兩種算法,使得憑借極少的處理能力和內(nèi)存來訓(xùn)練Pluribus成為可能。
能耗上,研究人員使用一個(gè)64核的服務(wù)器,利用不大于512GB的內(nèi)存,在8天時(shí)間里完成了Pluribus的自我博弈訓(xùn)練,其成本大約為150美元,同其他自我對(duì)弈的AI研究相比,成本極低。而且算法上的進(jìn)步,讓研究人員可憑借較少的資源消耗實(shí)現(xiàn)極大的性能提升。
撲克AI和其他棋牌類AI的對(duì)比
撲克AI與棋類AI的基本原理相同,都采用蒙特卡洛搜索樹算法作為基本算法,不依賴人類所提供的策略,在不斷迭代的過程中實(shí)現(xiàn)自我學(xué)習(xí)。不同的是,棋類游戲中的棋子都展現(xiàn)在棋盤上,結(jié)果種類有限,所有的結(jié)果都是可推算的,這種情況被稱為“完美信息博弈”;牌類游戲中無法知道對(duì)手的底牌,含有隱藏信息,結(jié)果可能是多樣的,導(dǎo)致其計(jì)算難度和計(jì)算量大大增加,被稱為“不完美信息博弈”。
棋類AI
棋類游戲包括西洋雙陸棋、國際象棋、圍棋等,比賽中所有的信息和決策公開,并且游戲?qū)τ谕婕襾碚f只有贏或輸兩種可能的結(jié)果,從某種意義上說,這使得訓(xùn)練AI變得更容易。棋類在理論上可通過計(jì)算機(jī)模擬出每一種可能的情況,從而進(jìn)行完美信息動(dòng)態(tài)博弈。這類完美信息博弈中AI機(jī)器人往往使用實(shí)時(shí)搜索。例如,當(dāng)模型在決定下一步該如何走時(shí),國際象棋AI通常會(huì)考慮以后的一些移動(dòng)步驟,直到算法的前瞻到達(dá)深度上限。而圍棋的棋盤變化可能性比可觀測(cè)宇宙范圍的原子總數(shù)還多,因此圍棋AI主要通過深度學(xué)習(xí)技術(shù)訓(xùn)練用于判斷結(jié)果輸贏概率的價(jià)值網(wǎng)絡(luò),來增強(qiáng)AI對(duì)弈能力。
麻將AI
麻將AI的策略需要更多地增加得點(diǎn)的期望值,盡量增大和大牌的可能性,同時(shí)盡量避免對(duì)手的大牌點(diǎn)炮,這一打牌策略顯然是有最優(yōu)解的。為了有更大的可能性和大牌,AI需要通過手牌和棄牌池里的牌,計(jì)算進(jìn)張(摸到有效牌)和鳴牌(吃、碰、杠)使手牌有進(jìn)展的概率,進(jìn)而計(jì)算和牌得分的期望值。目前最強(qiáng)的麻將AI機(jī)器人是日本東京大學(xué)開發(fā)的“暴打”。
撲克AI
以德州撲克為例,由于在游戲中,玩家無法獲取已發(fā)生事件的全部信息(如對(duì)手的底牌等),因此這個(gè)游戲?qū)儆凇安煌昝佬畔ⅰ保↖mperfect Information)類游戲。德州撲克一直是人工智能領(lǐng)域最難以攻克的重大問題之一,因?yàn)楹推孱愑螒虿煌瑩淇薃I必須推理隱藏的信息,并慎重平衡自己策略。同時(shí),相比棋類比賽,在撲克游戲中需要使用Bluff(嚇唬)等更多游戲策略。
在Pluribus之前,AI機(jī)器人曾在兩個(gè)參與者的完美信息零和博弈中取得了多次引人注目的成功,但大多數(shù)真實(shí)世界中的策略交互都涉及隱藏信息,且并非兩個(gè)參與者的零和博弈。Pluribus的成功表明,在復(fù)雜的多參與者場(chǎng)景中,基于自我博弈和搜索算法的AI能夠獲得很好的效果。
AI棋牌應(yīng)用的現(xiàn)實(shí)意義
Pluribus提出了在大型狀態(tài)空間、隱藏信息中有效地解決博弈論推理挑戰(zhàn)的方法,所開發(fā)出的技術(shù)很大程度上獨(dú)立于撲克領(lǐng)域,可用于大量不完美信息博弈。Pluribus處理的諸多問題,與真實(shí)世界中的通用問題相對(duì)應(yīng),“不知道對(duì)手的牌”對(duì)應(yīng)現(xiàn)實(shí)中的“不完整信息”,“下注策略和由此帶來的結(jié)果”對(duì)應(yīng)現(xiàn)實(shí)中的“風(fēng)險(xiǎn)管理”,“確認(rèn)對(duì)手的模式,并進(jìn)行利用”對(duì)應(yīng)現(xiàn)實(shí)中的“智能體建模”,“Bluffing(撲克中的恐嚇技巧)”對(duì)應(yīng)現(xiàn)實(shí)中的“欺騙”,“處理對(duì)手欺騙的牌”對(duì)應(yīng)現(xiàn)實(shí)中的“不可靠信息”。
事實(shí)上,棋牌類游戲的本質(zhì)是競(jìng)爭和對(duì)抗,由游戲規(guī)則定義其目標(biāo)(評(píng)價(jià)標(biāo)準(zhǔn)),玩家使用各種策略達(dá)成目標(biāo),其中涉及數(shù)量可觀的博弈過程。AI在棋牌類游戲的應(yīng)用,將促進(jìn)博弈決策的研究。以棋牌類AI應(yīng)用為基礎(chǔ)的相關(guān)AI博弈工具,在經(jīng)濟(jì)金融領(lǐng)域的風(fēng)險(xiǎn)預(yù)測(cè)、軍事領(lǐng)域的戰(zhàn)局預(yù)測(cè)等方向有著廣泛的應(yīng)用前景。
在經(jīng)濟(jì)金融領(lǐng)域,不論對(duì)經(jīng)濟(jì)發(fā)展的總體趨勢(shì)預(yù)測(cè),還是銀行、保險(xiǎn)、股市等細(xì)分行業(yè)的風(fēng)險(xiǎn)模型建立,都需要依靠大量“不完美信息”來決策。AI博弈工具可通過處理不完美信息來獲得最佳決策。政府可利用AI博弈工具對(duì)社會(huì)行業(yè)的未來趨勢(shì)進(jìn)行預(yù)測(cè),判斷供需關(guān)系,合理有序引導(dǎo)行業(yè)健康發(fā)展。銀行、保險(xiǎn)公司可利用AI工具判斷短期行業(yè)走勢(shì),高效評(píng)估企業(yè)風(fēng)險(xiǎn),以決定是否達(dá)成交易。
在軍事領(lǐng)域,具有自主學(xué)習(xí)功能的AI博弈工具與兵棋推演相結(jié)合,將爆發(fā)出極強(qiáng)的戰(zhàn)斗力,幫助軍隊(duì)獲取制勝先機(jī)。從上個(gè)世紀(jì)70年代初開始,美國陸軍就按照“全自動(dòng)兵棋”概念建立起“地面作戰(zhàn)模擬系統(tǒng)”。20世紀(jì)90年代初,美軍在海灣戰(zhàn)爭爆發(fā)前就使用兵棋游戲?qū)φ麄€(gè)戰(zhàn)爭進(jìn)行了推演,而戰(zhàn)爭的過程幾乎和美軍事前的推演如出一轍。隨著技術(shù)的進(jìn)步,算法不斷成熟使得算力需求進(jìn)一步降低,同時(shí)計(jì)算技術(shù)朝著系統(tǒng)微型化和處理高速化方向發(fā)展,具備超強(qiáng)自主學(xué)習(xí)和計(jì)算能力的AI系統(tǒng)與作戰(zhàn)模擬系統(tǒng)相結(jié)合,將提升對(duì)戰(zhàn)局的預(yù)測(cè)和把控。未來,AI系統(tǒng)將有希望直接與戰(zhàn)場(chǎng)指揮系統(tǒng)對(duì)接,其快速戰(zhàn)局推演能力、高效制定作戰(zhàn)方案的能力,將主導(dǎo)戰(zhàn)爭的勝負(fù)走向。
-
機(jī)器人
+關(guān)注
關(guān)注
211文章
28390瀏覽量
206943 -
AI
+關(guān)注
關(guān)注
87文章
30762瀏覽量
268905
原文標(biāo)題:人工智能技術(shù)在棋牌中的應(yīng)用“Pluribus”及其現(xiàn)實(shí)意義
文章出處:【微信號(hào):drc_iite,微信公眾號(hào):全球技術(shù)地圖】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論