當(dāng)前,生成式AI(AIGC)已經(jīng)成為AI產(chǎn)業(yè)化發(fā)展的主戰(zhàn)場,隨著大模型參數(shù)量和數(shù)據(jù)量的爆發(fā)式增長,多源異構(gòu)數(shù)據(jù)的傳、用、管、存,正在成為制約生成式AI落地的瓶頸之一。為了化解生成式AI的數(shù)據(jù)存儲與管理瓶頸,浪潮信息(000977)在“數(shù)智未來”AIGC數(shù)據(jù)應(yīng)用創(chuàng)新論壇上,正式發(fā)布面向生成式AI的存儲解決方案,該方案以極致融合、極致性能、極致節(jié)能,和熱溫冷冰四級數(shù)據(jù)全生命周期管理,助力開啟生成式AI新局面,創(chuàng)造智慧時代新機(jī)遇。

生成式AI亟待突破多源異構(gòu)和存儲性能瓶頸

(資料圖片)

生產(chǎn)式AI是人工智能從1.0時代進(jìn)入2.0時代的重要標(biāo)志,其具備強(qiáng)大的認(rèn)知智能,在搜索引擎、藝術(shù)創(chuàng)作、影音游戲,以及金融、教育、醫(yī)療、工業(yè)等領(lǐng)域有著廣闊的應(yīng)用前景。Gartner預(yù)測,到2023年將有20%的內(nèi)容被AIGC所創(chuàng)建;到2025 年人工智能生成數(shù)據(jù)占比將達(dá)到10%。據(jù)分析師預(yù)測,到2032年,生成式人工智能市場規(guī)模將達(dá)到2,000億美元,占據(jù)人工智能支出總額的約20%,顯著高出當(dāng)前的5%。換言之,未來十年市場規(guī)模可能每兩年就會翻一番。

生成式AI主要應(yīng)用場景涵蓋文本生成、語音生成、圖片生成、視頻生成、代碼生成、虛擬人生成等,在每種應(yīng)用的背后是基于行業(yè)上下游對數(shù)據(jù)進(jìn)行采集、標(biāo)注、訓(xùn)練、推理、歸檔,其特征是數(shù)據(jù)量大、多元數(shù)據(jù)類型復(fù)雜、服務(wù)協(xié)議多樣、性能要求苛刻、要求服務(wù)持續(xù)在線。生成式AI對數(shù)據(jù)存儲提出如下挑戰(zhàn):

● 異構(gòu)數(shù)據(jù)的融合:生成式AI訓(xùn)練模型的數(shù)據(jù)呈現(xiàn)來源多、格式多的多源異構(gòu)現(xiàn)狀,傳統(tǒng)存儲面向單一數(shù)據(jù)類型設(shè)計,需要以搬移數(shù)據(jù)的方式實現(xiàn)多協(xié)議訪問,存儲成為應(yīng)用平臺的關(guān)鍵瓶頸;

● 持續(xù)的低延遲與高帶寬:模型訓(xùn)練過程中,頻繁地從數(shù)據(jù)集取Token,每個Token一般4字節(jié),實時高并發(fā)小IO性能需要極低的延遲;存儲模型Checkpoint時,為Checkpoint數(shù)據(jù)可快速寫入,需要高帶寬;

● EB級大容量存儲需求:越多的數(shù)據(jù)投喂結(jié)果越精準(zhǔn)的工作原理,決定了大模型訓(xùn)練存在深度學(xué)習(xí)網(wǎng)絡(luò)層數(shù)多、連接多、參數(shù)和數(shù)據(jù)集種類復(fù)雜、數(shù)據(jù)量大的特征,隨著模型參數(shù)和數(shù)據(jù)量的快速增長,對于存儲的大容量和擴(kuò)展需求也迫在眉睫。

數(shù)據(jù)存儲產(chǎn)業(yè)需要進(jìn)行全方位的技術(shù)升級,通過在多源異構(gòu)融合、數(shù)據(jù)高速傳輸、海量數(shù)據(jù)(603138)管理等方面持續(xù)創(chuàng)新,打造專業(yè)的生成式AI存儲產(chǎn)品與解決方案。

浪潮信息讓生成式AI智慧有數(shù)

浪潮信息是最早布局大模型的企業(yè)之一,打造了算力、算法、數(shù)據(jù)全棧的解決方案能力。在數(shù)據(jù)存儲領(lǐng)域,浪潮信息準(zhǔn)確識別行業(yè)痛點、積極布局,經(jīng)過持續(xù)攻關(guān),在融合存儲架構(gòu)、系統(tǒng)性能設(shè)計、數(shù)據(jù)全生命周期管理算法等方面不斷突破,打造出生成式AI存儲解決方案。

浪潮信息生成式AI存儲解決方案基于AS13000融合存儲系統(tǒng),可以支撐AIGC產(chǎn)業(yè)上中下游業(yè)務(wù)應(yīng)用,并針對不同業(yè)務(wù)階段的數(shù)據(jù)存儲需求,提供熱溫冷冰四級存儲,實現(xiàn)數(shù)據(jù)在各級存儲間自動流轉(zhuǎn)。用高性能節(jié)點形態(tài)來滿足數(shù)據(jù)訓(xùn)練、數(shù)據(jù)推理兩個階段的高帶寬、低延時、高并行讀寫性能存儲需求,用大容量節(jié)點形態(tài)來滿足數(shù)據(jù)采集、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)歸檔三個階段的海量多元數(shù)據(jù)存儲需求,方案具備極致融合、極致性能、極致節(jié)能三大能力,以及熱、溫、冷、冰四級數(shù)據(jù)全生命周期存儲管理能力,助力生成式AI突破海量數(shù)據(jù)存力瓶頸,加速釋放數(shù)據(jù)的價值。

● 極致融合。為了應(yīng)對不同模態(tài)的多樣性需求,浪潮信息提出“協(xié)議互通、數(shù)據(jù)融合”設(shè)計理念,一個集群內(nèi)支持多個存儲池,一個存儲池內(nèi)支持文本、圖片、音頻、視頻等多種類型數(shù)據(jù)存儲,一份數(shù)據(jù)又可以被前端不同業(yè)務(wù)場景同時以文件、對象、大數(shù)據(jù)、視頻四種存儲協(xié)議進(jìn)行并行訪問。用一套存儲實現(xiàn)支持多模態(tài)場景應(yīng)用,免除了數(shù)據(jù)跨應(yīng)用時的復(fù)制,實現(xiàn)真正意義上非結(jié)構(gòu)化數(shù)據(jù)的協(xié)議互訪互通,讓數(shù)據(jù)融合。

● 極致性能。AIGC場景數(shù)據(jù)類型多樣化,文件大小不一、數(shù)量多,且讀寫頻繁,對存儲系統(tǒng)的百GB級高帶寬、百萬級IOPS需求成了常態(tài)。浪潮信息在軟件方面,通過數(shù)控分離架構(gòu)減少東西向數(shù)據(jù)量的轉(zhuǎn)發(fā),通過GDS、RMDA技術(shù)縮短I/O路徑,通過SPDK、緩存零拷貝技術(shù)減少I/O路徑上的數(shù)據(jù)拷貝,以及基于自研NVMe SSD開發(fā)的盤控協(xié)同技術(shù),減少I/O訪問SSD盤的次數(shù),使存儲性能得到進(jìn)一步釋放。在硬件方面,優(yōu)化IO路徑通道,均衡IO路徑,最大化發(fā)揮硬件性能,全閃單節(jié)點帶寬超過50GB/s,IOPS超過50萬;此外,創(chuàng)新性地引入雙控全閃節(jié)點,帶寬超100GB/s,IOPS超100萬,真正使系統(tǒng)具備千萬級IOPS、EB級帶寬,充分滿足AIGC場景對存儲系統(tǒng)的苛刻要求。

● 極致節(jié)能。浪潮信息近期最新發(fā)布了G7硬件平臺,存儲專用的液冷服務(wù)器涵蓋性能型和容量型,且均采用模塊化冷板組件設(shè)計模式。在系統(tǒng)方案層面,浪潮信息具有風(fēng)液式、液液式等完善的端到端解決方案,能夠為用戶全方位打造液冷數(shù)據(jù)中心交鑰匙工程,并且完成了業(yè)界首次液冷整機(jī)柜批量交付,實現(xiàn)PUE端到端的數(shù)據(jù)全生命周期管理。除了三大“極致”能力之外,得益于“資源互通、管理融合”的設(shè)計理念,浪潮生成式AI存儲方案基于閃存、磁盤、磁帶、光盤四種介質(zhì)提供熱溫冷冰四種存儲資源,通過資源互通實現(xiàn)數(shù)據(jù)全生命周期管理?；跀?shù)據(jù)的熱度識別,自動釋放在線存儲空間,可以將海量數(shù)據(jù)自動歸檔到光盤庫,降低長期存儲成本;實現(xiàn)冷數(shù)據(jù)的分鐘級快速回調(diào),滿足0~4級應(yīng)用的存儲需求。四種介質(zhì)、四類存儲節(jié)點,提供熱溫冷冰自動流轉(zhuǎn),滿足各類應(yīng)用的靈活配置需求,通過性能型、均衡型、容量型、高密容量型四種機(jī)型的按需靈活配置,進(jìn)一步降低整體投入。

目前,浪潮信息生成式AI存儲解決方案已經(jīng)在全球領(lǐng)先的中文語言大模型“源1.0”中成功落地,面對千億級參數(shù)量和數(shù)據(jù)量帶來的挑戰(zhàn),浪潮信息通過AS13000高吞吐并行存儲系統(tǒng)實現(xiàn)了多存儲協(xié)議互通、數(shù)據(jù)融合,利用全閃的極致性能,助力“源1.0”大模型實現(xiàn)了16天完成訓(xùn)練的超高效率。國內(nèi)AI獨角獸公司采用浪潮信息提供的并行文件存儲,承載5000億參數(shù)量的NLP語言類大模型的數(shù)據(jù)集Token和CheckPoint文件,輕松應(yīng)對大/小文件的讀寫挑戰(zhàn),配置AS13000全閃存儲集群,支持高性能RocE組網(wǎng)和GPU直通存儲功能,帶寬超過300GB、存儲性能超過350萬 IOPS,保證存儲集群的高可用與敏捷擴(kuò)容。

面對生成式AI掀起的變革熱潮,誰能掌握數(shù)字化變革的先機(jī),誰就能把握未來AI革命的致勝關(guān)鍵,而數(shù)據(jù)底座將成為千行百業(yè)創(chuàng)新變革的重要基石。浪潮信息存儲秉承“存儲即平臺”的產(chǎn)品理念,精耕數(shù)據(jù)存儲產(chǎn)品與解決方案,攜手合作伙伴,助力生成式AI在金融虛擬客服、圖片編輯設(shè)計、智能駕駛、跨模態(tài)檢索等場景的落地,激活數(shù)據(jù)要素新潛能,駕馭智慧化轉(zhuǎn)型新趨勢,在機(jī)遇與挑戰(zhàn)并存的新格局下,為行業(yè)轉(zhuǎn)型注入新價值、新動能。

（免責(zé)聲明：此文內(nèi)容為廣告，相關(guān)素材由廣告主提供，廣告主對本廣告內(nèi)容的真實性負(fù)責(zé)。本網(wǎng)發(fā)布目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點和對其真實性負(fù)責(zé)，請自行核實相關(guān)內(nèi)容。廣告內(nèi)容僅供讀者參考。）

關(guān)鍵詞：