首頁(yè) > 資訊 > > 正文

              網(wǎng)易伏羲中文預(yù)訓(xùn)練模型玉言登頂FewClue,AI助力低碳發(fā)展

              2021-12-31 17:22:28    來(lái)源:壹點(diǎn)網(wǎng)

              近日,網(wǎng)易伏羲在中文語(yǔ)言理解權(quán)威評(píng)測(cè)基準(zhǔn)FewClue榜單登頂,在IFLYTEK(長(zhǎng)本文分類 )、 CLUEWSC(代詞消歧)、CSL(論文關(guān)鍵詞識(shí)別)、CSLDCP(學(xué)科文獻(xiàn)分類)等多項(xiàng)單任務(wù)中取得第一。這也是FewClue榜單上,第一次有人工智能模型與人類標(biāo)注水平的差距縮小到10分以內(nèi),其中CSLDCP(學(xué)科文獻(xiàn)分類)任務(wù)首次超過(guò)人類水平。

              image.png

              據(jù)了解,F(xiàn)ewCLUE是CLUE推出的一項(xiàng)中文小樣本學(xué)習(xí)評(píng)測(cè)榜單,用來(lái)評(píng)估預(yù)訓(xùn)練模型是否能夠通過(guò)小樣本學(xué)習(xí)來(lái)掌握特定的自然語(yǔ)言處理任務(wù)。同時(shí),研究人員也可通過(guò)相關(guān)測(cè)試評(píng)估AI模型再學(xué)習(xí)能力和快速應(yīng)用能力。而從結(jié)果來(lái)看,網(wǎng)易伏羲的模型玉言對(duì)中文的理解能力,已經(jīng)接近甚至在部分任務(wù)上超過(guò)一個(gè)受過(guò)相關(guān)訓(xùn)練的人類。

              更值得一提是,玉言具備的自然語(yǔ)言處理能力可應(yīng)用于語(yǔ)音助手、智能客服、新聞傳媒、游戲創(chuàng)作、智能決策等領(lǐng)域。而在獲得這些能力背后的模型訓(xùn)練體系及應(yīng)用方法則驗(yàn)證了基于超級(jí)模型進(jìn)行二次訓(xùn)練和快速應(yīng)用的可能性。在目標(biāo)領(lǐng)域通過(guò)少量標(biāo)注樣本極大的提升應(yīng)用的效果,從而節(jié)省大量的人力成本。

              人工智能研究的誕生到現(xiàn)在已經(jīng)有60多年的歷史,近些年的深度學(xué)習(xí)掀起了人工智能的新一波浪潮。OpenAI 發(fā)布的GPT系列模型將自然語(yǔ)言處理水平推向了新的高度,也證明了大規(guī)模預(yù)訓(xùn)練的潛力,為智能服務(wù)應(yīng)用場(chǎng)景提供最重要的基石。但是,這些如雨后春筍般涌現(xiàn)的大規(guī)模預(yù)訓(xùn)練模型都是以文本生成為導(dǎo)向,在語(yǔ)義理解方面受限于其技術(shù)局限,效果不佳。

              因此,業(yè)界為語(yǔ)義理解任務(wù)重新訓(xùn)練模型,例如BERT、DEBERTA等。文本生成任務(wù)和語(yǔ)言理解任務(wù)分別訓(xùn)練,這不僅是對(duì)算力和成本的巨大消耗,也不符合當(dāng)下社會(huì)對(duì)低碳發(fā)展的要求。是否將預(yù)訓(xùn)練生成模型通過(guò)少量的二次訓(xùn)練轉(zhuǎn)換為理解模型?玉言模型正是基于這個(gè)出發(fā)點(diǎn)的一次成功嘗試,將生成模型通過(guò)少量的二次訓(xùn)練轉(zhuǎn)換為高準(zhǔn)確度的語(yǔ)義理解模型。更重要的是,這一方法的成功實(shí)踐,能有效幫助中小企業(yè)降本節(jié)能。

              據(jù)該項(xiàng)目團(tuán)隊(duì)介紹,玉言模型的前身是網(wǎng)易伏羲自研的50億GPT2生成模型,通過(guò)二次訓(xùn)練變成語(yǔ)義理解能力較好的Prefix-LM,相比于原來(lái)的GPT2模型,只是attention mask形狀不同,Prefix-LM可以直接使用許多開(kāi)源的GPT加速庫(kù)進(jìn)行推斷加速。

              玉石二次訓(xùn)練的主要方法包括在Prefix部分增加MLM損失函數(shù),同時(shí)使用增強(qiáng)Position Embebedding的方法去進(jìn)一步強(qiáng)化Prefix部分的編碼效果等。在任務(wù)數(shù)據(jù)集處理方面使用類似于T0的基于模板的方法,將FewClue的數(shù)據(jù)集在二次訓(xùn)練時(shí)混入訓(xùn)練語(yǔ)料中。

              另外,F(xiàn)ewClue提供的無(wú)標(biāo)簽數(shù)據(jù)同樣被構(gòu)造模板,處理完成后加入訓(xùn)練語(yǔ)料中。使用模板的方法可以自然地實(shí)現(xiàn)多任務(wù)學(xué)習(xí),大大降低語(yǔ)義理解大模型的訓(xùn)練成本,更加有利于工程落地。“同時(shí)也非常感謝浪潮共享了他們的部分預(yù)訓(xùn)練文本,為玉言模型訓(xùn)練提供了充分的數(shù)據(jù)。”項(xiàng)目團(tuán)隊(duì)相關(guān)負(fù)責(zé)人表示。

              網(wǎng)易伏羲成立于2017年,是國(guó)內(nèi)專業(yè)從事游戲與泛娛樂(lè)AI研究和應(yīng)用的頂尖機(jī)構(gòu)。網(wǎng)易伏羲已經(jīng)發(fā)表100多篇AI頂會(huì)論文,擁有200多項(xiàng)發(fā)明專利,以及數(shù)字人、智能捏臉、AI創(chuàng)作、AI反外掛、AI推薦匹配、AI競(jìng)技機(jī)器人等多個(gè)領(lǐng)域的領(lǐng)先技術(shù)。目前,網(wǎng)易伏羲正在向游戲、文旅、文娛等產(chǎn)業(yè)開(kāi)放AI技術(shù)及產(chǎn)品,目前已服務(wù)超100家客戶,應(yīng)用日均調(diào)用量超數(shù)億次。

              免責(zé)聲明:市場(chǎng)有風(fēng)險(xiǎn),選擇需謹(jǐn)慎!此文僅供參考,不作買賣依據(jù)。

              相關(guān)熱詞搜索:

              上一篇:COLMO營(yíng)養(yǎng)冰箱獨(dú)家受邀出席第23屆高交會(huì)再引關(guān)注
              下一篇:最后一頁(yè)

              熱點(diǎn)話題

              熱點(diǎn)推薦

              頭條

              ? 亚洲国产人成在线观看| 亚洲男人的天堂在线| 亚洲一区二区三区四区视频| 亚洲人成依人成综合网| 久久综合九九亚洲一区| 人人狠狠综合久久亚洲婷婷| 亚洲日本乱码在线观看| 亚洲色欲久久久综合网| 国产精品亚洲二区在线观看| 久久99亚洲综合精品首页| 亚洲国产专区一区| 亚洲伊人久久综合影院| 国产精品亚洲玖玖玖在线观看| 国产亚洲精品看片在线观看| 91麻豆精品国产自产在线观看亚洲| 国产精品亚洲综合一区| 国产亚洲精久久久久久无码| 亚洲精品无码专区久久久| 亚洲国产精品无码专区影院| 婷婷亚洲久悠悠色悠在线播放| 亚洲成a人片77777老司机| 久久综合亚洲鲁鲁五月天| 亚洲精品在线网站| 国产精品亚洲片在线va| 亚洲欧美成人综合久久久| www亚洲精品久久久乳| 亚洲国产综合无码一区二区二三区 | 国产成人麻豆亚洲综合无码精品 | 亚洲毛片不卡av在线播放一区| 亚洲欧洲国产成人综合在线观看| 区三区激情福利综合中文字幕在线一区亚洲视频1 | 亚洲午夜日韩高清一区| 亚洲色婷婷一区二区三区| 亚洲AV永久无码区成人网站| 久久久久亚洲AV成人片| 亚洲AV无码乱码在线观看代蜜桃| 久久久久久亚洲精品影院| 极品色天使在线婷婷天堂亚洲| 亚洲午夜AV无码专区在线播放| 亚洲精品无码MV在线观看| 亚洲日本在线看片|