背景:大海里,魚類可以毫不費力地做到兼具速度與優雅于一身,最快游速達每小時 70 英里,而人類甚至難以達到每小時 4 英里,即便潛艇也只能達到每小時 50 英里。魚類為何能獲得如此快的速度,這個問題令物理學家、生物學家和工程師們著迷;如今面對“數據密集型”新范式,為了幫助企業在數據海洋里游出加速度,各家存儲廠商也紛紛放出大招。
真實海洋里,魚類的高速游動涉及到復雜的3D流體動力作用
圖片來源:麻省理工科技評論
【資料圖】
在數據“海洋”,浪潮面對數據密集型新范式帶來的性能挑戰提出應對策略
正文:
7月28日,2022全球閃存峰會線上召開,匯聚了國內外專家學者,共同論道全球閃存與存儲半導體產業發展趨勢。浪潮信息(000977)存儲產品線副總經理李博樂表示,隨著云、大數據、AI等新技術快速發展,數據成為數字經濟時代的關鍵要素和核心引擎。浪潮存儲的使命是秉承浪潮信息智慧計算戰略,為企業構建以存儲平臺為核心的業界領先的數據基礎設施,基于盤控協同充分釋放閃存力量。
浪潮信息存儲產品線副總經理 李博樂
數據密集型新范式 考驗數據處理能力
模擬腦神經網絡,探索人腦上千億個神經元之間是如何連接與工作的,帶來每秒百TB級數據高吞吐量;1000輛自動駕駛汽車每天產生數十PB的實時數據,用來訓練AI視覺識別算法;油氣勘探,一次三維勘探會產生PB級原始實時數據,后期數據分析和處理中還會生成15倍體量的次生數據……
數字經濟時代,在“數據密集型”的新范式驅動下,傳統數據中心正在向云化數據中心快速演進。這是因為在傳統數據中心中,應用與基礎設施緊耦合,IT架構呈現孤島狀,數據不流動、不共享,如同一潭死水。而在云化數據中心中,計算資源實現了虛擬化,信息孤島被打通,涓涓數據河流匯聚成汪 洋大海,各個行業可以基于海量數據(603138)間的相關性分析加速業務創新,創造新商業、新業態。
例如,在當前非常熱門的類腦科學研究,有一個重要的方向就是多模態多尺度數據分析理論與應用。首先建立腦成像中心,全套磁共振成像設備對小動物或者人體進行腦成像,不斷采集和分析腦科學數據,構建起多模態多尺度腦數據庫;然后,再利用模式識別、深度學習等類腦智能方法尋找基因、腦影像和認知功能的診斷指標,以揭示腦疾病致病機制、提升腦疾病臨床診斷以及藥物療效評估的準確性和效率。這個例子只是冰山一角,“數據密集型”新范式已經成為驅動各行各業創新型發展、高質量增長的加速器。
然而,正如硬幣的AB面,數據密集型新范式、數據中心云化在為大數據挖掘帶來利好的同時,也使得數據基礎設施需要面對海量的客戶端、應用,爆炸式增長的海量多模態數據,對數據基礎設施的處理能力提出了更高要求。
以盤控協同為核心 釋放閃存潛能
面對海量新數據、新應用挑戰,浪潮存儲如何釋放閃存的性能呢?對此,李博樂表示,浪潮提出新存儲之道,堅持存儲即平臺理念,以盤控協同策略為核心,充分發揮閃存性能,打造極致性價比。
浪潮存儲
首先,存儲系統要想發揮出閃存的性能,需要闖過三道關。第一,隨著NAND介質、NVMe協議、SCM等新介質的出現,存儲系統性能的瓶頸已經不在盤上,而在于軟件棧,要想用好性能較高的閃存盤,就需要優化存儲系統軟件棧,解決系統性能瓶頸。第二,過去的若干年CPU的發展一直遵循摩爾定律,性能飛躍式發展,但最近幾年,CPU性能的發展進入瓶頸期,性能提升緩慢,如果想進一步提升存儲系統性能,就需要借助DPU、FPGA、數據壓縮卡等額外的硬件做協處理,對系統進行加速。第三,數據存儲需要優化元數據和數據的寫入策略,減少不必要的垃圾回收,提升系統性能。
其次,存儲系統如何降低閃存的使用成本。雖然閃存的成本在趨勢上不斷下降,會替代2.5寸機械盤,但成本仍高于3.5寸大容量機械盤。另外,不同閃存介質,對應的可擦寫次數或者說使用壽命是不同的,而且差異很大,比如當前主流的TLC和QLC介質可擦寫次數就相差5倍。所以根據數據熱度的不同,合理使用介質,以及提升介質壽命和空間利用率,可以有效降低使用成本。
對于上面兩個難題,李博樂認為,盤控協同是最優解。
比如在提升性能方面,浪潮存儲是業界唯一具備存儲軟件棧和閃存盤全棧的技術研發能力的廠商,可以通過盤控協同,推進閃存盤面向特定場景的定向調優,存儲系統性能;還能基于元數據與數據的寫入優化,降低寫放大,讓系統性能再上一個臺階。在SPC-1國際基準測試中,浪潮存儲六次刷新存儲性能世界記錄。
李博樂表示,今年IPF上,浪潮存儲還出新一代PCIe 4.0 NVMe 企業級SSD。我們通過拓展NAND與控制器之間的通道,大幅提升SSD性能,實現業界領先的性能水平,其中順序寫性能超過5GB/s,隨機寫性能超過45萬IOPS,超越所有主流廠商。
又如圍繞降低閃存使用成本這個難題,浪潮存儲采用介質分層技術,將不同熱度的數據存在不同的介質中,避免介質性能瓶頸和介質“大材小用”,此外,像浪潮這樣擁有介質研發能力的廠商,通過不斷優化數據管理算法和容錯算法,能夠提升SSD盤本體壽命,降低客戶TCO;并且通過盤控協同,通過合理的數據組織減少寫放大縮減閃存盤的OP,提升SSD的空間利用率。
李博樂表示,目前,浪潮信息聚焦智慧計算戰略,以算力、算法、數據、網絡四大支柱,為客戶構建開放、敏捷、集約、高效的數字信息基礎設施。浪潮存儲近幾年表現非常亮眼,市場增速中國第一,存儲裝機容量已經位居全球前三、中國前一。今后,浪潮存儲希望借助新一代G6存儲平臺、企業級SSD,以全棧技術創新加速存儲業務增長,釋放數據價值加速數實相融。
在數據“海洋”,浪潮面對數據密集型新范式帶來的性能挑戰提出應對策略
【廣告】
（免責聲明：此文內容為廣告，相關素材由廣告主提供，廣告主對本廣告內容的真實性負責。本網發布目的在于傳遞更多信息，并不代表本網贊同其觀點和對其真實性負責，請自行核實相關內容。廣告內容僅供讀者參考。）
關鍵詞：
