首頁 > 資訊 > > 正文

              中國大模型公司提出新架構,解決Context無限長問題,開啟Agent時代

              2025-01-16 21:07:04    來源:今日熱點網

              日月開新元,萬象啟新篇。

              1月15日,MiniMax發布并開源新一代01系列模型,包含基礎語言大模型 MiniMax-Text-01 和視覺多模態大模型MiniMax-VL-01。該系列模型使用多項突破性創新,以大規模應用線性注意力機制打破Transformer傳統架構記憶瓶頸,在綜合性能比肩GPT-4o、Claude-3.5等海外領軍模型的基礎上,能夠高效處理高達400萬token的輸入,可輸入長度是GPT-4o的32倍,Claude-3.5-Sonnet的20倍。

              目前,MiniMax-01系列開源模型已應用于MiniMax旗下產品海螺AI并在全球上線,企業與個人開發者可前往MiniMax開放平臺使用API。

              以架構創新實現高效超長文本輸入

              2017年,具有里程碑意義的論文《Attention Is All You Need》正式發表,Transformer架構問世并逐步發展成為該領域的主流技術范式。自2023年起,自然語言處理領域迎來了一股創新浪潮,對模型架構的創新需求日益增加。

              MiniMax-01系列模型首次將線性注意力機制擴展到商用模型的級別,并使其綜合能力達到全球第一梯隊。而受益于此次架構創新,該系列模型在處理長輸入的時候具有非常高的效率,接近線性復雜度。從Scaling Law、與MoE的結合、結構設計、訓練優化和推理優化等層面綜合考慮,MiniMax選擇模型參數量為4560億,其中每次激活459億,能夠高效處理高達400萬token的上下文,將有效替代Transformer傳統架構并開啟超長文本輸入時代。

              MiniMax-01模型發布后,在國內外迅速掀起了熱議浪潮。海外媒體與AI從業者聚焦該模型,深入探討其技術內涵與潛在價值,對其所展現出的創新性給予了高度肯定。

              性能比肩國際領軍模型

              在應用創新架構之外,MiniMax大規模重構了01系列模型的訓練和推理系統,包括更高效的MoE All-to-all通訊優化、更長的序列的優化,以及推線性注意力層的高效Kernel實現,使得模型能力可與全球頂級閉源模型相媲美。

              在業界主流的文本和多模態理解任務處理表現上,MiniMax-01系列模型大多情況下可以追平海外公認最先進的兩個模型,GPT-4o-1120以及Claude-3.5-sonnet-1022。過往的模型能力評測中,Google的自研模型Gemini有著顯著的長文優勢。而在01系列模型參評的長文任務下,相較于Gemini等一眾全球頂級模型,MiniMax-01隨著輸入長度變長,性能衰減最慢,效果及其出眾。

              ▲ 多項任務評測結果顯示,MiniMax-01系列模型核心性能穩居全球第一梯隊。(圖源MiniMax-01系列模型技術報告)

              ▲ MiniMax-01系列模型長上下文處理能力全球領先。(圖源MiniMax-01系列模型技術報告)

              加速AI Agent時代到來

              2025年,AI將迎來至關重要的發展節點,AI Agent有望成為新一年最重要的產品形態,引領AI從傳統的“工具”角色向更具互動性與協作性的“伙伴”角色轉變。AI Agent時代,由于智能體處理的任務變得越來越復雜,涉及的數據量也越來越大,單個智能體的記憶以及多個智能體協作間的上下文都會變得越來越長。因此,長上下文能力與多模態處理能力的提升,是AI Agent為各行業帶來更為豐富、高效、智能的解決方案的必要條件。

              MiniMax在Github上開源了Text-01模型、VL-01模型的完整權重,以便于更多開發者做有價值、突破性的研究。MiniMax表示,“我們認為這有可能啟發更多長上下文的研究和應用,從而更快促進Agent時代的到來,二是開源也能促使我們努力做更多創新,更高質量地開展后續的模型研發工作。”

              憑借開放、共享、協作的特點,開源模型激發AI產業的創新活力,正在成為賦能新質生產力發展的關鍵引擎。受益于Linear Attention層面的架構創新、算力層面的優化,以及集群上的訓推一體的設計,MiniMax以業內極具性價比的價格提供文本模型和多模態理解模型的API服務,標準定價是輸入token 1元/百萬token,輸出token 8元/百萬token。

              論文鏈接:https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf

              免責聲明:市場有風險,選擇需謹慎!此文僅供參考,不作買賣依據。

              關鍵詞:

              上一篇:哈銀消費金融合規經營,持續穩健發展
              下一篇:最后一頁

              ? 亚洲精品成人无限看| 亚洲成a人片在线观看无码专区| 亚洲视频日韩视频| 亚洲av无码专区在线观看亚| 久久国产亚洲观看| 亚洲AV成人潮喷综合网| 亚洲va乱码一区二区三区| 中文字幕在亚洲第一在线| 中文字幕乱码亚洲无线三区| 亚洲A∨无码无在线观看| 亚洲无av在线中文字幕| 亚洲色成人WWW永久在线观看| 亚洲午夜免费视频| 国产性爱在线观看亚洲黄色一级片| 亚洲电影日韩精品 | 亚洲色大成网站www永久男同| 亚洲欧洲春色校园另类小说| 亚洲精品国产美女久久久| 亚洲人成影院在线无码按摩店| 亚洲伊人久久精品影院| 亚洲乱色熟女一区二区三区丝袜| 亚洲午夜久久久久久噜噜噜| 亚洲精品无码MV在线观看| 亚洲av永久无码精品表情包| 亚洲天堂男人天堂| 亚洲精品不卡视频| 亚洲精品综合一二三区在线 | 亚洲国产精品自产在线播放| 亚洲欧洲av综合色无码| 久久亚洲中文字幕无码| 国产精品亚洲片在线va| 久久亚洲中文字幕精品有坂深雪| 中文字幕在线观看亚洲| 亚洲一区无码中文字幕乱码| 亚洲熟妇AV一区二区三区浪潮| 美国毛片亚洲社区在线观看 | 日韩亚洲人成网站| 亚洲av成人片在线观看| 一本色道久久88综合亚洲精品高清| 一本色道久久综合亚洲精品蜜桃冫| 亚洲精品无码久久久久久|