夢晨 發自 凹非寺

量子位 | 公眾號 QbitAI

預訓練大模型，自誕生以來不斷刷新AI能力，成為業界競爭的焦點。

參數規模突破千億直奔萬億，開發難度和成本也隨之增大。

到了這個份上，大模型的開發與應用似乎成了“巨頭專屬”，效果越來越驚艷，離普通人卻越來越遠了。

不過，例外正在發生。

最近一場AI創意賽上，全國各地近2000人參與，大家腦洞大開，使用大模型能力開發出各類趣味應用。

如B站UP主同濟同濟子豪兄的這款論文起名神器，輸入摘要就可自動生成論文標題。

開發出這些作品的人其實很多并非AI從業者，甚至沒有計算機專業背景，比如文科生，還有創業公司產品經理等。

這些作品本身倒不是本文的重點，只是，使用大模型什么時候門檻這么低了？

這場由百度舉辦的比賽，提供的是文心知識增強大模型做技術支持，此外還有一個特別的標簽——

業界首次大模型能力向公眾開放。

要知道，大模型能力像要向公眾開放，不能光是發發論文、開源一下代碼了事。

背后還要額外付出努力，提供一系列低門檻的開發平臺和工具、相應的培訓和教學，才能讓沒有AI基礎、甚至不會編程的人都能“玩轉大模型”。

為什么要做到這一步？

百度集團副總裁吳甜這樣回答：

這個世界上有技術背景的人還是少數，AI想要落地不能僅靠技術人員，創意在民間。

只有技術門檻低到了所有人都可以的時候，創意才會真正大規模爆發起來，這是人工智能落地路上必然的趨勢。

大模型落地難在哪？

想要理解這個趨勢，得先跳出比賽本身，看看AI落地、特別是大模型落地到底遇到了什么困難。

最近，微軟認知服務團隊發表的一篇大模型遭遇“不可能三角”論文，引發業內關注。

論文提出，目前的預訓練語言模型對于模型規模、精調能力、小樣本能力三者不可兼得。

目前業內的普遍做法，是試圖得其二的同時努力往第三點靠。

放棄控制規模開發超大模型，可以再用知識蒸餾等手段做小型化。

不追求少樣本能力，可以在缺少數據的任務上做數據增強。

不追求精調能力，改用提示學習(Prompt learning)做少樣本任務的方法最近也火了起來。

不過妥協的辦法總歸是有這樣那樣的問題，從效果或成本上阻礙大模型進一步應用落地。

如何突破這個“不可能三角”，各家都有著自己的答案。

微軟論文中給出一種可能路徑，先從個別任務上打開突破口，如命名實體識別或文本摘要，實現單一任務占據全部三項優勢后再圖橫向拓展。

谷歌近日推出的下一代AI架構Pathway，則是從提升訓練效率角度嘗試解決。也就是不怕模型大，轉而追求把煉大模型的難度降低。

百度的技術路線則是知識增強，讓AI在大規模知識的指導下以更高效率學習到海量數據(603138)中蘊含的規律。

百度靠引入大規模知識圖譜，只用百億級參數規模就在語言模型權威測評SuperGlue上登頂全球榜首，超越人類水平0.8個百分點。

后來發布的全球首個千億級知識增強大模型鵬城-百度·文心，更是在機器閱讀理解、文本分類、語義相似度計算等60多項任務中都取得了最好效果，在30多項小樣本和零樣本任務上，也刷新了基準。

……

關于模型本身的事先說到這里，現階段要想真正解決大模型落地問題，百度還提出一個觀點：

光靠技術手段是遠遠不夠的。

跳出技術之外

文心大模型家族自2019起開始打造，百度對其定位是產業級知識增強大模型。

知識增強前面已經介紹，那么該如何理解“產業級”這個定位？

吳甜解釋其含義為“來源于產業實踐，同時服務于產業實踐，在實踐當中建設起來”。

一方面，百度研發大模型的初衷就來自產業的落地實踐。

AI落地場景越多，模型面臨泛化性差的問題就越突出。每面臨一個新的場景就需要收集新的數據，進行新的模型訓練。

預訓練模型的出現，通過集中提供通用算法、打造技術底座，大幅降低了人工智能的應用門檻，從開發階段就應該是面向產業的。

開發設計階段用到的數據要來源于產業。百度走的知識增強路線，意味著深入到金融、醫療等特定行業時，除了收集該行業的非結構化數據，還要積累專業知識。

做不同的任務設計，模型最后學到的是不一樣的。百度會結合大量的產業應用，借助任務構建器不斷地提煉任務、挖掘任務，讓模型持續進行學習。

另一方面，文心又依托于百度功能完備的產業化大生產平臺輸出到百行千業，為行業使用大模型帶來更大的便捷。

文心大模型開放了配套大模型開發、輕量化和部署的工具，推進產業落地應用，激發創意。

依托百度飛槳平臺自主研發的端到端自適應分布式訓練框架與4D混合并行技術，以及百舸AI異構計算平臺，解決了大模型訓練過程中多個世界性難題，使大模型訓練速度提升、模型效果更優。

在落地應用上，文心若僅提供API調用只能滿足離技術較近行業的少量需求。

因此，百度還會提供配套的數據標注、模型輕量化、邊緣部署等一系列工具和平臺。

如此開發出的產業級知識增強大模型，核心價值在于驅動AI的規模化應用。

人工智能在與眾多這些產業結合時，場景非常分散、長尾。

針對高頻次、容易流程化和標準化的場景，可以直接提供開發好的AI能力，如保險行業的合同處理，可以靠智能文檔分析能力完成。

但還有很多如制造業、教育等行業中更碎片化的場景，數字化基礎薄弱，行業知識更依靠人類專家經驗、師徒間口口相傳。

這就回到了文章開頭的問題，為什么要把AI大模型能力做到向公眾開放？

數量眾多的場景，要是靠AI工程師去一個一個去深入調研、做適配，無法解決所有的問題。

只有讓有需求的人都能認識、接觸、親手用上大模型，才能激發創意，取得應用落地上的更大突破。

為此，百度飛槳提供了零門檻AI開發平臺EasyDL，擁有從數據采集、標注、清洗到模型訓練、部署的一站式AI開發能力，無需編程和算法基礎就能使用。

對更復雜的需求，也有BML全功能AI開發平臺，提供開發環境、功能組件和高性價比的算力資源。

通過不斷降低門檻，構建大模型生態，文心大模型對外調用量超5000萬次，服務了6萬+開發者、企業、科研機構。

為了讓更多人看到大模型、了解大模型、用上大模型，百度舉辦了面向公眾的AI創意賽。

此外還有面向產業的首席AI架構師培養計劃，已向業界輸送247位AI架構師，遍布工業、農業、金融、交通、能源等數十個行業。

人工智能高校師資培訓，免費培訓AI專業教師3000余人，助力700多個高校開設深度學習課程，培養了數萬名在校生。

去年底，還宣布成立百度松果學堂，打造源于產業的AI人才培養平臺，致力于讓每個人都能更便捷地獲取AI知識，學習AI技術。

所有積累的行業知識、產業應用、人才都將匯聚在文心大模型生態，以及背后更大的百度飛槳深度學習生態中進一步推動AI落地，形成正向循環。

到底什么才是一個好的大模型？

當今，各大研究機構、科技公司都爭相打造自己的大模型。

參數規模上千億、訓練數據也上千GB。單體稠密模型之外，也有稀疏模型路線，參數更是突破萬億。

各大基準測試榜單也不斷被刷新，超越人類平均水平已是過去式，追上人類最佳水平成了新的目標。

層出不窮的進展讓人眼花繚亂，到底該如何評價一個大模型的優劣？

若是單純比參數大小，缺失了成本和效率的維度。若只看跑分高低，也看不出真正落地時的效果。

如此看下來，一個大模型好壞的新標準也呼之欲出:

能否在性能領先的同時支撐大量產業應用。

從這個角度看，開發者數量超過6萬、在數百個場景中落地應用的文心大模型，真正可稱作“產業級”大模型。

而且百度打造大模型，從技術和難度上來說，并無意外之處。

但最值得關注的還是入場的初心和立場。

據稱文心大模型問世，核心是來自于產業實際的需求，并非閉門造車的結果。

一方面，產業有需求，于是百度有了響應，并且很快實現了技術工程化，再通過飛槳快速實現了產業應用。

另一方面，產業的反饋證明了大模型的價值。在文心落地中，不僅各類大小企業實現了產業化升級，而且側面證明了大模型在商業化落地上的可能性和可行性之路。

在AI模型中，輸入、輸出以及反饋是缺一不可的關鍵要素，而文心大模型的實踐，同樣完成了這樣的閉環。

但這種路徑在大模型上是否可復制？

答案或許還不能言之鑿鑿。

首先要考慮的是技術能力，其次還得有產業生態，最后還能真正從開發者的反饋中獲得認可。

文心之路，多少有點百度飛槳的“凡爾賽”意味，其所具備的要素，并非其他玩家兼具。

但至少，一條大模型的商業化落地路徑，現在已經清晰可見。

文心模式，就是這條路線。

參考資料：

[1]https://arxiv.org/abs/2204.06130

本文首發于微信公眾號：量子位。文章內容屬作者個人觀點，不代表和訊網立場。投資者據此操作，風險請自擔。

關鍵詞：