近日，IEEE/CVF計算機視覺國際頂級會議（CVPR 2023）公布第五屆人臉表情國際挑戰賽（ABAW5）的結果，網易伏羲AI實驗室虛擬人團隊再創佳績：在人臉表情（肌肉）動作單元檢測（AU）、人臉情緒識別（EXPR）、愉悅度-喚醒度估計（VA）和情緒反應強度估計（ERI）四個賽道中，分別獲得了兩項冠軍、亞軍和季軍的優異成績，這已是網易伏羲連續三次在該賽事中獲得AU和EXPR雙賽道冠軍。這些成果充分展現了網易伏羲在人臉表情感知領域的長期沉淀和技術實力。
(資料圖片)
CVPR是全球計算機視覺領域頂級的學術會議之一，擁有40年歷史，長期享譽盛名，是學術界和工業界公認的重要會議之一。ABAW賽事是專注于自然環境下（in-the-wild）的人臉表情感知的國際賽事，本屆比賽吸引了眾多國內外知名企業和高校的參與，包括百度、思圖、天翼云、斯坦福大學、南加州大學、南洋理工大學、萊斯特大學、清華大學，中國科學技術大學、浙江大學、中國人民大學等。能從一流競賽隊伍中脫穎而出，離不開伏羲眾包平臺所提供的高質量的數據標注與管理服務。
在今年的比賽中，網易伏羲虛擬人團隊繼續優化了自研表情表征技術和基于transformer的多模態情緒分析框架，進一步提高了模型的識別準確性和泛化能力。
網易伏羲成績一覽
網易伏羲虛擬人團隊解決 ABAW5 挑戰賽難題
人臉表情分析是計算機視覺領域一個重要的研究方向，其在人機交互、心理疾病診斷與治療、刑偵安防等領域有著廣闊的應用前景。常見的人臉表情情緒表征包括表情（肌肉）動作單元、基本情緒類別以及愉悅度-喚醒度。ABAW5針對這三種表征分別提出了挑戰賽道，此外，今年還新增了ERI估計這一項新挑戰。ERI指人類在面對某種刺激時所產生情緒反應的程度，賽事將其歸納為7個情緒維度的連續值。該賽事提供的視頻數據存在復雜多樣的光照、角度、遮擋以及數據類別不均衡問題，這對模型的泛化性提出了挑戰。針對這些挑戰，網易伏羲提出自己的解決方案，為行業的實際落地提供了新的思路。
pipeline框架圖
利用自研MAE-Face技術，網易伏羲成功實現了人臉視覺細粒度特征集成模型。該技術借鑒了Masked Autoencoder (MAE) 的結構，基于大規模的人臉數據集，采用掩碼的自監督訓練方式，同時結合伏羲在表情表征技術的長期積累，實現了隱空間細粒度的表情表征能力。同時，為了優化性能，該技術使用了時序和音頻等多模態信息的融合，并運用transformer技術進行特征整合，取得了多個賽道的領先成績。
除此以外，網易伏羲還加入了基于對比學習的表情編碼預訓練特征，該特征在前兩屆比賽中也得到了應用。為了進一步加強這一特征，在本次比賽中，網易伏羲制造了更多的對比樣本并基于網易有靈眾包平臺完成了高質量、高效率的人工標注。具體來說，網易有靈眾包在"人工樣本標注"和"人工檢驗"階段將相應的眾包任務通過低代碼平臺發布到眾包平臺中，然后經過人類標注的數據再通過AOP規范化接口輸入到AI能力系統中，喂給表情編碼算法進行表情相似度的訓練，值得一提的是, 眾包數據的質量直接影響著表情編碼表征細粒度表情的效果。網易有靈眾包平臺提供了基于用戶畫像的區間估計、真值推斷等自動質檢功能，在降本增效、縮短標注周期、保證質量等方面都有一系列的前沿算法舉措。得益于有靈機器人平臺提供的能力支撐，網易伏羲才能在短時間內提升了表情編碼的表征，為最后的獲勝打下了堅實的基礎。
人類表情AI感知技術廣泛應用于游戲、數字文旅、心理測試等領域。以游戲場景為例，人類表情AI感知技術能夠提高AI對于玩家情緒的精準感知，并以更為自然合理的方式進行回應。網易伏羲的模型提取到的表情特征，能夠幫助游戲開發者實現更為細膩、傳神的NPC表情動畫，配合語音生成表情技術，進一步提升AI合成動畫的質量，縮短游戲研發周期，降低制作成本。
持續深化虛擬人領域的探索與實踐
網易伏羲在AI人臉表情遷移、情緒識別等研究領域取得了顯著成果，并已在網易集團內外部多個產品中得到驗證，為產品及用戶提供了更加便捷、高效、智能化的服務。例如，伏羲人臉表情遷移技術可以將真實人臉的表情遷移到虛擬人物上，使虛擬人物與用戶進行更加自然流暢的交互，提高互動體驗。
網易伏羲將持續深化在虛擬人科研領域的探索，積極將最新的 AI 人臉表情分析技術應用于游戲、文旅、文娛等產業，為用戶提供更為自然、流暢的虛擬人互動體驗。借助智能捏臉、動畫遷移、動畫合成、語音合成、語音轉換等完善的虛擬人能力服務，推動 AI 技術在實際應用中發揮更大價值，為行業帶來前嶄新的AI+應用體驗。
關于網易伏羲
網易伏羲成立于2017年，是國內專業從事游戲與泛娛樂AI研究和應用的頂尖機構。網易伏羲已經發表200多篇AI頂會論文，擁有400多項發明專利，以及數字人、智能捏臉、AI創作、AI反外掛、AI推薦匹配、AI競技機器人等多個領域的領先技術。目前，網易伏羲正在向游戲、文旅、文娛等產業開放AI技術及產品，已服務超200家客戶，應用日均調用量超數億次。
（免責聲明：此文內容為廣告，相關素材由廣告主提供，廣告主對本廣告內容的真實性負責。本網發布目的在于傳遞更多信息，并不代表本網贊同其觀點和對其真實性負責，請自行核實相關內容。廣告內容僅供讀者參考。）
（責任編輯：賀翀 ）關鍵詞：
