美國(guó)加州大學(xué)伯克利分校、西蒙弗雷澤大學(xué)和喬治亞理工學(xué)院的聯(lián)合機(jī)器人團(tuán)隊(duì)最近創(chuàng)建了一種強(qiáng)化學(xué)習(xí)模型，能讓四足機(jī)器人以守門(mén)員的身份高效踢足球。在arXiv上預(yù)先發(fā)表的一篇論文中介紹的該模型，通過(guò)反復(fù)試驗(yàn)不斷提高了機(jī)器人的技能。
研究人員稱(chēng)，通過(guò)讓四足機(jī)器人踢足球，可突破四足機(jī)器人的人工智能極限。守門(mén)員是一項(xiàng)有趣但具有挑戰(zhàn)性的任務(wù)，它需要機(jī)器人對(duì)快速移動(dòng)的球作出反應(yīng)，有時(shí)需在空中飛行，并在很短的時(shí)間內(nèi)(通常在一秒鐘內(nèi))動(dòng)態(tài)攔截它。
新研究的主要目標(biāo)是創(chuàng)造一個(gè)四足機(jī)器人守門(mén)員，它可像人類(lèi)守門(mén)員一樣在比賽中完善其技能。為此，研究人員開(kāi)發(fā)了一種強(qiáng)化學(xué)習(xí)模型，讓該模型通過(guò)試錯(cuò)而不是固定的人工設(shè)計(jì)策略來(lái)訓(xùn)練機(jī)器人。
研究人員解釋說(shuō)，機(jī)器人首先學(xué)習(xí)不同的運(yùn)動(dòng)控制策略來(lái)執(zhí)行不同的技能，例如躲避、前撲和跳躍，同時(shí)記錄機(jī)器人腳趾的隨機(jī)軌跡。基于這些控制策略，機(jī)器人接著學(xué)習(xí)高級(jí)規(guī)劃策略，在檢測(cè)到球的位置和自身狀態(tài)后，選擇最佳技能和動(dòng)作來(lái)攔截球。
經(jīng)過(guò)一系列模擬足球比賽，團(tuán)隊(duì)訓(xùn)練了強(qiáng)化學(xué)習(xí)模型。隨后他們將它學(xué)到的策略部署在麻省理工學(xué)院開(kāi)發(fā)的四足機(jī)器人MiniCheetah上，并在現(xiàn)實(shí)世界中測(cè)試了它的性能。
研究表明，強(qiáng)化學(xué)習(xí)框架可極大地提高M(jìn)iniCheetah作為足球守門(mén)員的能力。在真實(shí)世界測(cè)試的40次隨機(jī)射門(mén)中，機(jī)器人撲救成功率達(dá)87.5%。
研究人員稱(chēng)，此項(xiàng)工作最酷炫的是，四足機(jī)器人MiniCheetah能執(zhí)行跳躍和前撲等非常敏捷的運(yùn)動(dòng)技能，以及快速和精確的操作技能，例如在一瞬間擺動(dòng)機(jī)器腿把球推開(kāi)。這實(shí)際上突破了機(jī)器人領(lǐng)域“腿運(yùn)動(dòng)”的界限，表明腿也可以是一個(gè)機(jī)械手。
由于該模型可提高四足機(jī)器人的敏捷性和身體能力，因此這些機(jī)器人還可用于處理完全不同的任務(wù)，例如搜索和救援任務(wù)。也許不久的將來(lái)，四足機(jī)器人也可與人類(lèi)足球運(yùn)動(dòng)員同場(chǎng)競(jìng)技。
關(guān)鍵詞： 美國(guó)加州大學(xué) 伯克利分校 西蒙弗雷澤大學(xué) 喬治亞理工學(xué)院
