近日，人工智能國際頂會 AAAI 2022 正在召開，大會論文獎也陸續公布。AI 科技評論獲知，中國科學院自動化所的興軍亮教授團隊獲得 AAAI 2022 的卓越論文獎(Distinguished Paper)!
AAAI 的英文全稱是“Association for the Advance of Artificial Intelligence”(美國人工智能協會)。該協會是人工智能領域的主要學術組織之一，具有一定的學術權威性。
興軍亮團隊此次獲獎的工作是他們所開發的輕量型德州撲克 AI 程序 ——AlphaHoldem。據介紹，該系統的決策速度較 DeepStack 的速度提升超 1000 倍，與高水平德州撲克選手對抗的結果表明其已經達到了人類專業玩家水平。
1 德州撲克 AI 的意義
與圍棋任務相比，德州撲克是一項更能考驗基于信息不完備導致對手不確定的智能博弈技術。
德州撲克是國際上最為流行的撲克游戲，由于最早起源于 20 世紀初美國德克薩斯州而得名。
德州撲克的規則是使用去掉王牌的一副撲克牌，共 52 張牌，至少 2 人參與，至多 22 人，一般參與人數為兩人和十人之間。
游戲開始時，首先為每個玩家發兩張私有牌作為各自的“底牌”，隨后將五張公共牌依次按三張、一張、一張朝上發出。在發完兩張私有牌、三張共有牌、第四張公共牌、第五張公共牌后玩家都可以多次無限制押注，這四輪押注分別稱為“翻牌前”、“翻牌”、“轉牌”、“河牌”。
經過四輪押注之后，若仍不能分出勝負，游戲進入“攤牌”階段，所有玩家亮出各自底牌并與公共牌組合成五張牌，成牌最大者獲勝。圖 2 給出了德州撲克不同組合的牌型解釋和大小。
德州撲克博弈的問題復雜度很大，兩人無限注德州撲克的決策空間復雜度超過 10 的 161 次方;其次，德州撲克博弈過程屬于典型的回合制動態博弈過程，游戲參與者每一步決策都依賴于上一步的決策結果，同時對后面的決策步驟產生影響;另外，德州撲克博弈屬于典型的不完美信息博弈，博弈過程中玩家各自底牌信息不公開使得每個玩家信息都不完備，玩家在每一步決策時都要充分考慮對手的各種可能情況，這就涉及到對手行為與心理建模、欺詐與反欺詐等諸多問題。
研究者認為，由于德州撲克游戲規則又非常簡單且邊界確定，特別適合作為一個虛擬實驗環境對博弈的相關基礎理論方法和核心技術算法進行深入探究。
近年來，國際研究者在德州撲克這一大規模不完美信息博弈問題的優化求解中也取得了長足進步。
比如，之前加拿大阿爾伯特大學和美國卡內基梅隆大學的研究者就設計出 AI 程序 DeepStack 和 Libratus，并先后在兩人無限注德州撲克中均戰勝了人類專業選手，隨后卡內基梅隆大學設計的 Pluribus 又在六人無限注德州撲克中戰勝了人類專業選手。
但目前主流德州撲克 AI 背后的核心思想是利用反事實遺憾最小化(Counterfactual Regret Minimization, CFR)算法逼近納什均衡策略。
具體來說，首先利用抽象(Abstraction)技術 [3][7] 壓縮德撲的狀態和動作空間，從而減小博弈樹的規模，然后在縮減過的博弈樹上進行 CFR 算法迭代。
這些方法嚴重依賴于人類專家知識進行博弈樹抽象，并且 CFR 算法需要對博弈樹的狀態結點進行不斷地采樣遍歷和迭代優化，即使經過模型縮減后仍需要耗費大量的計算和存儲資源。例如，DeepStack 使用了 153 萬的 CPU 時以及 1.3 萬的 GPU 時訓練最終 AI，在對局階段需要一個 GPU 進行 1000 次 CFR 的迭代過程，平均每個動作的計算需耗時 3 秒。Libratus 消耗了大于 300 萬的 CPU 時生成初始策略，每次決策需要搜索 4 秒以上。
這樣大量的計算和存儲資源的消耗嚴重阻礙了德撲 AI 的進一步研究和發展;同時，CFR 框架很難直接拓展到多人德撲環境中，增加玩家數量將導致博弈樹規模呈指數增長。另外，博弈樹抽象不僅需要大量的領域知識而且會不可避免地丟失一些對決策起到至關作用的信息。
2 AlphaHoldem 是何方神圣?
這個問題也吸引了很多中國研究者，中科院自動化所的興軍亮教授團隊便是其中之一。去年 12 月，他領導的博弈學習研究組針對德州撲克任務，提出了一種高水平、輕量化的兩人無限注德州撲克 AI 程序 ——AlphaHoldem。
不同于已有的基于 CFR 算法的德州撲克 AI，中科院博弈學習研究組所提出的架構是基于端到端的深度強化學習算法(如圖 4 所示)。
根據團隊介紹，AlphaHoldem 采用 Actor-Critic 學習框架，其輸入是卡牌和動作的編碼，然后通過偽孿生網絡(結構相同參數不共享)提取特征，并將一種改進的深度強化學習算法與一種新型的自博弈學習算法相結合，在不借助任何領域知識的情況下，直接從牌面信息端到端地學習候選動作進行決策。
他們還指出，AlphaHoldem 的成功得益于其采用了一種高效的狀態編碼來完整地描述當前及歷史狀態信息、一種基于 Trinal-Clip PPO 損失的深度強化學習算法來大幅提高訓練過程的穩定性和收斂速度、以及一種新型的 Best-K 自博弈方式來有效地緩解德撲博弈中存在的策略克制問題。
AlphaHoldem 使用了 1 臺包含 8 塊 GPU 卡的服務器，經過三天的自博弈學習后，戰勝了 Slumbot 和 DeepStack。每次決策時，AlphaHoldem 都僅用了不到 3 毫秒，比 DeepStack 速度提升超過了 1000 倍。同時，AlphaHoldem 與四位高水平德州撲克選手對抗 1 萬局的結果表明其已經達到了人類專業玩家水平。
3 團隊部分成員介紹
趙恩民，論文一作。中國科學院自動化研究所模式識別與智能系統專業博士四年級研究生，2018 年于清華大學獲得工學學士學位。研究方向為計算機撲克和深度強化學習。
興軍亮，中國科學院自動化研究所研究員、博士生導師、特聘青年骨干，中國科學院大學崗位教授，中國科學院人工智能創新研究院創新專家組專家。興教授 2012 年畢業于清華大學計算機科學與技術系，獲工學博士學位。
此外，他還是美國電器與電子工程學會(IEEE)高級會員、美國《科學》雜志中國官方公眾號特邀評論員、中國計算機學會(CCF)高級會員、計算機視覺專委會委員。
他的主要研究領域為計算機視覺和計算機博弈。目前已在包括頂級國際期刊如 TPAMI、IJCV、AI 以及頂級國際會議上如 ICCV、CVPR、AAAI、IJCAI 上發表論文 100 多篇，谷歌學術引用超過 10000 次，出版計算機視覺譯著 2 部，參與撰寫深度學習領域著作 1 部、人工智能領域著作 1 部。
曾獲清華大學計算機系“學術新秀”、“谷歌學者”、多次頂級國際和國內會議最佳論文獎等榮譽和獎勵，以及十余次在人臉識別、車輛識別、視頻識別等國際和國內挑戰賽中獲獎。
目前作為項目和課題負責人承擔多項國家重點項目，研發的視覺感知相關技術在國家廣電總局、微軟等得到了多次驗證應用和落地推廣，取得了良好的經濟效益和社會價值。
近年來主要圍繞深度強化學習相關的智能感知和決策問題，研發了多款針對不同游戲的博弈決策 AI，其中研發的星際爭霸 AI 曾獲 2017 年 IEEE CIG 星際爭霸 AI 第 2 名，研發的德州撲克 AI 程序 AlphaHoldem 勝率超過了目前公開的最好德州撲克 AI 程序 DeepStack，速度提升超過 1000 倍。開放了學界首個大規模不完美信息博弈平臺 OpenHoldem。
