引言
游戲開發者大會(英語:Game Developers Conference,縮寫:GDC)是規模最大的游戲開發者年度專業性質會議與展覽,每年在舊金山召開一次,已舉辦35屆。今年的GDC于2022年3月21日-25日在舊金山圓滿落幕。
GDC重頭環節是非贊助類主題演講,每屆主辦方平均邀請不足300場,分核心(Core)與峰會(Summit)兩大類別。演講嘉賓經過主辦方及其全球顧問委員會精心挑選并邀請,以高質量和創新性而備受行業認可,演講內容代表著游戲行業當前的最高水準與發展趨勢。
經過激烈的篩選,網易互娛AI Lab共有四項研究成果入選,向來自世界各地的開發者們分享了在人工智能領域,游戲研發運營、資源生產等新技術。這四項成果分別入選了GDC 2022 Core、GDC 2022 ML Summit 和 GDC 2022 Tool Summit,彰顯了網易互娛AI Lab在人工智能多個領域已經具備國際頂尖的技術創新能力,也印證了其近年來在游戲領域的技術探索和突破已經獲得了業界權威的認可。
提案介紹
以下是網易互娛AI Lab入選的4篇提案:
1. Reinforcement Learning for Efficient Cars and Tracks Design in Racing Games(《在賽車游戲中利用強化學習提高賽車和賽道設計效率》)
該方案入選 GDC 2022 Core
賽車游戲中,不同賽車的駕駛差異性和賽道的漂移感是影響游戲體驗的關鍵因素。以往在此類游戲開發階段,以上兩點需要耗費巨量的人工測試:
1.賽車的差異性需要極限水平下才能測試,高水平玩家才能更好地辨別出賽車和賽道的極致差異;
2.賽車和賽道種類的提高,極大增加了測試工作量,這給游戲的設計帶來了巨大挑戰。
此成果利用異步強化學習采樣算法,構建出能快速批量測出不同賽車的駕駛差異和驗證彎道漂移感的系統。利用非常少量的計算資源,可以實現:
1.1小時內能跑出50種不同車輛在同一賽道中超越頂級玩家的頂級水平,以驗證賽車的差異性。圖一顯示了不同賽車在不同賽道的極致時間,圖二顯示了不同賽車在統一賽道的行駛軌跡,可以看到不同的車輛的駕駛差異,例如入彎特性差異等;
2.在擬人類操作約束下,給出不同彎道是否需要手剎飄逸和飄逸區間,以驗證賽道設計的漂移感是否符合預期,極大降低了游戲開發成本。圖三中紅色線之間代表策劃人為劃出的先驗手剎區間,黃色點表示AI在該彎道的連續手剎操作。
2. An Easy-to-Use Cutscenes Preview Tool with Low Resources(《一個易用且低資源依賴的過場動畫預覽工具》)
該方案入選 GDC 2022 Tool summit
標準的劇情動畫設計通常先由游戲設計師構建故事情節,然后資源制作組基于故事情節來制作動畫。但是這個動畫設計過程往往伴隨著多次溝通和修改,因為制作的動畫不一定能與游戲設計師的想法所對應,這個過程會浪費大量的時間和人力。
為了提高角色動畫制作過程中的溝通和開發效率,我們制作了一個低資源依賴的易用過場動畫預覽工具。這個工具包含5個插件,可以根據游戲劇本一鍵生成配音和動畫原型。游戲設計師們可以輕松地利用這些插件來構造原型,方便后續溝通和修改。不僅有效減少了資源的浪費,還簡化了劇情動畫開發過程中的溝通和調整。
劇情動畫生成方案包含5個插件:小說續寫、小說轉劇本、劇本情緒分析、情感可控語音合成、嘴型表情動畫合成。每一個插件既可以相輔相成,又可以單獨拎出來成為一個小部件,即插即用。
方案的整體流程是:
1.先輸入一段小說,或者一個片段的開頭,小說續寫模塊可以天馬行空地續寫到無窮長。
2.然后基于輸入或者生成的小說形式的文本,通過小說轉劇本模塊,轉換成“角色:對白”這樣的節點圖。
3.得到節點圖后,通過劇本情緒識別模塊,對每句對白提取出對應的情緒。
4.將角色、對白以及情緒輸入到語音合成模塊中,輸出帶有情緒的配音合成文件。
5.嘴型表情動畫模型將配音和對白進行自動對齊,然后合成出對應的嘴型動畫,同時也使用情緒結果來產生對應的表情動畫。
目前方案中的4個插件已全部接入Montage和Messiah的劇情編輯器中。每個插件也可以單獨拆分,服務于相應的功能。
3. Aegis Engine: Building Multi-modal Moderation System in NetEase Games(《Aegis引擎:多模態審核系統構建及其在網易游戲中的應用》)
該方案入選 GDC 2022 ML Summit
用戶生成內容(UGC)和社交互動極大地提高了玩家的參與度和游戲的娛樂性。為了使游戲遠離違規內容,比如色情、暴力、有害信息等,構建一個內容審核系統至關重要。然而,人工審核需要耗費大量時間、人力和資金。本報告將介紹網易互娛AI Lab自研的Aegis引擎,一個運用深度學習技術搭建的多模態內容審核系統,可以審核文本、圖像以及音頻等多模態的數據。
Aegis引擎包含了三個子系統,圖像子系統挖掘細粒度識別和實時OCR算法,音頻子系統基于關鍵詞增強和噪聲魯棒的語音識別技術搭建,文本子系統包含基于文本嵌入的違規內容挖掘方法等。
Aegis系統每天可以處理千萬級別的圖片和數十萬個小時的語音數據,幾乎覆蓋了網易互娛的所有游戲。
4. AI Animator : A Real Time Motion Completion System(《AI動畫師:實時動作補全系統》)
該方案入選 GDC 2022 ML summit
快速、輕量、高質量的動畫合成是游戲業界一直所追求的。現行方案主要是利用線性插值完成簡單動作插幀,本次演講中,我們提出了一個統一的實時動作補全深度學習框架。該框架可以覆蓋常見的動畫制作場景,如手動K幀,動畫Blending銜接,動作動畫的“超分辨”等。
實驗表明,該算法目前在育碧公開的大規模高質量數據集LaFAN1(包括步行、跑步、跳舞等復雜動作)上,達到了最佳的速度和效果(比之前的的sota高17%)。除此之外,我們的方法可以實現CPU實時(30幀0.025s),抵抗30db的動作數據噪聲污染,具體來說:
1.AI輔助手動K幀(In-betweening):算法在過去的幀和提供的新關鍵幀之間逐幀生成,為美術減少工作量,同時可以為沒有美術人員的項目實現任意模型的動作動畫制作。
2.填充(In-filling)。作為中間的延伸,填充將角色置于時間線的特定位置并補充其余的幀。填充的一個子任務是動作的超分辨,其中輸入幀被視為具有相等間隔的關鍵幀,算法可以補全中間動畫。
3.銜接混合(Blending):Blending側重于自動生成一對預定義動作片段之間的過渡。例如,我們的算法可以實時生成較高復雜度的舞蹈片段中間過渡,以幫助使用者集中注意力在動畫內容本身。
藍色部分為輸入關鍵幀,中間其他色為算法生成結果。
為了增強動畫多樣性,動畫展示的是同一輸入條件下,我們控制生成的多種不同結果。
網易互娛AI Lab
網易互娛AI Lab成立于2017年,隸屬于網易互動娛樂事業群,在廣州、杭州、上海均有分部,是游戲行業領先的人工智能實驗室。實驗室致力于計算機視覺、語音和自然語言處理,以及強化學習等技術在游戲場景下的的研究,應用和落地,旨在通過AI技術助力互娛旗下熱門游戲及產品的技術升級,目前技術已應用于網易互娛旗下多款熱門游戲,如《夢幻西游》《哈利波特:魔法覺醒》《陰陽師》《天下3》等等。
關鍵詞: 網易互娛