首頁(yè) > 資訊 > > 正文

              網(wǎng)易伏羲中文預(yù)訓(xùn)練模型玉言登頂FewClue,AI助力低碳發(fā)展

              2021-12-31 17:22:28    來(lái)源:壹點(diǎn)網(wǎng)

              近日,網(wǎng)易伏羲在中文語(yǔ)言理解權(quán)威評(píng)測(cè)基準(zhǔn)FewClue榜單登頂,在IFLYTEK(長(zhǎng)本文分類 )、 CLUEWSC(代詞消歧)、CSL(論文關(guān)鍵詞識(shí)別)、CSLDCP(學(xué)科文獻(xiàn)分類)等多項(xiàng)單任務(wù)中取得第一。這也是FewClue榜單上,第一次有人工智能模型與人類標(biāo)注水平的差距縮小到10分以內(nèi),其中CSLDCP(學(xué)科文獻(xiàn)分類)任務(wù)首次超過(guò)人類水平。

              image.png

              據(jù)了解,F(xiàn)ewCLUE是CLUE推出的一項(xiàng)中文小樣本學(xué)習(xí)評(píng)測(cè)榜單,用來(lái)評(píng)估預(yù)訓(xùn)練模型是否能夠通過(guò)小樣本學(xué)習(xí)來(lái)掌握特定的自然語(yǔ)言處理任務(wù)。同時(shí),研究人員也可通過(guò)相關(guān)測(cè)試評(píng)估AI模型再學(xué)習(xí)能力和快速應(yīng)用能力。而從結(jié)果來(lái)看,網(wǎng)易伏羲的模型玉言對(duì)中文的理解能力,已經(jīng)接近甚至在部分任務(wù)上超過(guò)一個(gè)受過(guò)相關(guān)訓(xùn)練的人類。

              更值得一提是,玉言具備的自然語(yǔ)言處理能力可應(yīng)用于語(yǔ)音助手、智能客服、新聞傳媒、游戲創(chuàng)作、智能決策等領(lǐng)域。而在獲得這些能力背后的模型訓(xùn)練體系及應(yīng)用方法則驗(yàn)證了基于超級(jí)模型進(jìn)行二次訓(xùn)練和快速應(yīng)用的可能性。在目標(biāo)領(lǐng)域通過(guò)少量標(biāo)注樣本極大的提升應(yīng)用的效果,從而節(jié)省大量的人力成本。

              人工智能研究的誕生到現(xiàn)在已經(jīng)有60多年的歷史,近些年的深度學(xué)習(xí)掀起了人工智能的新一波浪潮。OpenAI 發(fā)布的GPT系列模型將自然語(yǔ)言處理水平推向了新的高度,也證明了大規(guī)模預(yù)訓(xùn)練的潛力,為智能服務(wù)應(yīng)用場(chǎng)景提供最重要的基石。但是,這些如雨后春筍般涌現(xiàn)的大規(guī)模預(yù)訓(xùn)練模型都是以文本生成為導(dǎo)向,在語(yǔ)義理解方面受限于其技術(shù)局限,效果不佳。

              因此,業(yè)界為語(yǔ)義理解任務(wù)重新訓(xùn)練模型,例如BERT、DEBERTA等。文本生成任務(wù)和語(yǔ)言理解任務(wù)分別訓(xùn)練,這不僅是對(duì)算力和成本的巨大消耗,也不符合當(dāng)下社會(huì)對(duì)低碳發(fā)展的要求。是否將預(yù)訓(xùn)練生成模型通過(guò)少量的二次訓(xùn)練轉(zhuǎn)換為理解模型?玉言模型正是基于這個(gè)出發(fā)點(diǎn)的一次成功嘗試,將生成模型通過(guò)少量的二次訓(xùn)練轉(zhuǎn)換為高準(zhǔn)確度的語(yǔ)義理解模型。更重要的是,這一方法的成功實(shí)踐,能有效幫助中小企業(yè)降本節(jié)能。

              據(jù)該項(xiàng)目團(tuán)隊(duì)介紹,玉言模型的前身是網(wǎng)易伏羲自研的50億GPT2生成模型,通過(guò)二次訓(xùn)練變成語(yǔ)義理解能力較好的Prefix-LM,相比于原來(lái)的GPT2模型,只是attention mask形狀不同,Prefix-LM可以直接使用許多開(kāi)源的GPT加速庫(kù)進(jìn)行推斷加速。

              玉石二次訓(xùn)練的主要方法包括在Prefix部分增加MLM損失函數(shù),同時(shí)使用增強(qiáng)Position Embebedding的方法去進(jìn)一步強(qiáng)化Prefix部分的編碼效果等。在任務(wù)數(shù)據(jù)集處理方面使用類似于T0的基于模板的方法,將FewClue的數(shù)據(jù)集在二次訓(xùn)練時(shí)混入訓(xùn)練語(yǔ)料中。

              另外,F(xiàn)ewClue提供的無(wú)標(biāo)簽數(shù)據(jù)同樣被構(gòu)造模板,處理完成后加入訓(xùn)練語(yǔ)料中。使用模板的方法可以自然地實(shí)現(xiàn)多任務(wù)學(xué)習(xí),大大降低語(yǔ)義理解大模型的訓(xùn)練成本,更加有利于工程落地。“同時(shí)也非常感謝浪潮共享了他們的部分預(yù)訓(xùn)練文本,為玉言模型訓(xùn)練提供了充分的數(shù)據(jù)。”項(xiàng)目團(tuán)隊(duì)相關(guān)負(fù)責(zé)人表示。

              網(wǎng)易伏羲成立于2017年,是國(guó)內(nèi)專業(yè)從事游戲與泛娛樂(lè)AI研究和應(yīng)用的頂尖機(jī)構(gòu)。網(wǎng)易伏羲已經(jīng)發(fā)表100多篇AI頂會(huì)論文,擁有200多項(xiàng)發(fā)明專利,以及數(shù)字人、智能捏臉、AI創(chuàng)作、AI反外掛、AI推薦匹配、AI競(jìng)技機(jī)器人等多個(gè)領(lǐng)域的領(lǐng)先技術(shù)。目前,網(wǎng)易伏羲正在向游戲、文旅、文娛等產(chǎn)業(yè)開(kāi)放AI技術(shù)及產(chǎn)品,目前已服務(wù)超100家客戶,應(yīng)用日均調(diào)用量超數(shù)億次。

              免責(zé)聲明:市場(chǎng)有風(fēng)險(xiǎn),選擇需謹(jǐn)慎!此文僅供參考,不作買賣依據(jù)。

              相關(guān)熱詞搜索:

              上一篇:COLMO營(yíng)養(yǎng)冰箱獨(dú)家受邀出席第23屆高交會(huì)再引關(guān)注
              下一篇:最后一頁(yè)

              熱點(diǎn)話題

              熱點(diǎn)推薦

              頭條

              ? 亚洲精品国产福利在线观看| 中文字幕无码精品亚洲资源网久久 | 亚洲精品无码成人片久久不卡| 亚洲第一页日韩专区| 一本色道久久综合亚洲精品| 亚洲午夜久久久久久尤物| 亚洲人午夜射精精品日韩| 亚洲制服丝袜第一页| 亚洲高清成人一区二区三区| 国产亚洲精品美女| 亚洲精品第五页中文字幕| 久久综合亚洲鲁鲁五月天| 亚洲中文字幕无码永久在线| 亚洲中文字幕乱码熟女在线| 亚洲AV男人的天堂在线观看| 亚洲AV无码不卡无码| 色婷婷六月亚洲综合香蕉| 亚洲毛片免费视频| 亚洲国产精品成人久久| 亚洲精品尤物yw在线影院| 亚洲综合在线一区二区三区| 亚洲午夜在线播放| 亚洲精品无码久久久久YW| 国产精品亚洲精品久久精品| 亚洲精品亚洲人成在线观看麻豆| 久久亚洲日韩精品一区二区三区| 中文字幕精品亚洲无线码一区| 国产成人综合亚洲亚洲国产第一页| 亚洲色大成网站www永久一区| 亚洲国产精品无码av| 日韩精品亚洲人成在线观看| 亚洲精品高清国产麻豆专区| 亚洲免费在线视频观看| 亚洲日韩中文字幕一区| 亚洲人成伊人成综合网久久| 亚洲精品国产成人专区| 亚洲阿v天堂在线| 亚洲视频在线观看| 亚洲国产精品无码久久久| 2020亚洲男人天堂精品| 亚洲免费网站观看视频|