(資料圖片)
【Techweb】8月10日消息，在中文語言理解領(lǐng)域最為權(quán)威的CLUE榜單中，螞蟻集團保險科技團隊以92.475的得分，打破了CLUE閱讀理解榜的歷史紀(jì)錄，排名第一。
一直以來，機器閱讀理解技術(shù)由于難度高、理解復(fù)雜，是語義理解領(lǐng)域最為關(guān)鍵的能力之一。據(jù)了解，憑借多年來在自然語言處理方面的深耕，螞蟻保險科技團隊自主研發(fā)了預(yù)訓(xùn)練語言模型—AntInsBert，該模型僅包含十億參數(shù)量，卻一舉登頂CLUE閱讀理解榜，刷新歷史紀(jì)錄。
據(jù)悉，之所以AntInsBert僅使用1/10的參數(shù)量便取得了比肩甚至超越百億大模型的成績，主要是在兩個技術(shù)上進行了升級。首先，AntInsBert對傳統(tǒng)語言模型預(yù)訓(xùn)練方案做了改進，設(shè)計了基于Prompt的知識增強預(yù)訓(xùn)練方案，將海量知識圖譜內(nèi)容引入到預(yù)訓(xùn)練模型當(dāng)中。
其次，為進一步挖掘AntInsBert在機器閱讀理解算法上的潛力，該方案將文本分類、信息抽取、指代消解等常見的中文語義理解任務(wù)，通過模板轉(zhuǎn)化為閱讀理解任務(wù)，模型的范化性得到了進一步提升。
關(guān)鍵詞： AntInsBert CLUE
