SequoiaDB從「多模數(shù)據(jù)湖」、「實(shí)時(shí)數(shù)據(jù)湖」發(fā)展到「湖倉一體」架構(gòu)，為客戶提供「數(shù)據(jù)核心」所需的全量數(shù)據(jù)存儲(chǔ)，實(shí)時(shí)對(duì)客服務(wù)，及基于統(tǒng)一數(shù)據(jù)源的分析能力，充分激活客戶的離線數(shù)據(jù)。當(dāng)中，多模數(shù)據(jù)的融合管理，以及非結(jié)構(gòu)化數(shù)據(jù)的管理能力是個(gè)關(guān)鍵。

(資料圖片僅供參考)

IDC研究報(bào)告顯示，到2024年，全球數(shù)據(jù)總量將超過145ZB，且每年以22%的速度持續(xù)增長(zhǎng)。其中，非結(jié)構(gòu)化數(shù)據(jù)的規(guī)模尤其明顯。在金融銀行業(yè)中，對(duì)非結(jié)構(gòu)化數(shù)據(jù)的利用，已經(jīng)成為提高業(yè)務(wù)效率和提升盈利能力的有效方法。

數(shù)據(jù)來自IDC

隨著移動(dòng)互聯(lián)網(wǎng)的飛速發(fā)展和企業(yè)數(shù)字化轉(zhuǎn)型的深入，金融銀行業(yè)的應(yīng)用場(chǎng)景不斷豐富，非結(jié)構(gòu)化數(shù)據(jù)已經(jīng)深入到日常業(yè)務(wù)辦理的各個(gè)環(huán)節(jié)中并發(fā)揮重要作用。

因此，企業(yè)內(nèi)容管理平臺(tái)，被賦予了新的使命：

首先，要服務(wù)于各業(yè)務(wù)系統(tǒng)，面向客戶提供即時(shí)在線、多樣化、高效率的數(shù)據(jù)服務(wù)，提升業(yè)務(wù)辦理效率；

其次，面對(duì)金融業(yè)日益嚴(yán)格的政策法規(guī)約束，要面向監(jiān)管，提供數(shù)據(jù)的長(zhǎng)周期保存，為事后監(jiān)督、審計(jì)、司法查詢等提供數(shù)據(jù)基礎(chǔ)，確保業(yè)務(wù)安全合規(guī)；

再者，數(shù)字化轉(zhuǎn)型中，內(nèi)容數(shù)據(jù)不再是靜態(tài)的文件。對(duì)內(nèi)容數(shù)據(jù)進(jìn)行有效的集中整合、分類治理、標(biāo)簽化管理，再結(jié)合OCR、機(jī)器學(xué)習(xí)算法對(duì)比分析后，內(nèi)容數(shù)據(jù)將具備更多元化的業(yè)務(wù)屬性，為集中風(fēng)控、經(jīng)營(yíng)決策等提供豐富的信息輸入，從而盤活數(shù)據(jù)資產(chǎn)的潛在價(jià)值。

這就對(duì)內(nèi)容管理平臺(tái)底層的數(shù)據(jù)存儲(chǔ)架構(gòu)，提出了更高的要求：

統(tǒng)一標(biāo)準(zhǔn)，集中存儲(chǔ)，全量在線：例如某省農(nóng)信社，有近百個(gè)系統(tǒng)產(chǎn)生非結(jié)構(gòu)化數(shù)據(jù)，如信用卡、信貸、渠道、柜面、國(guó)結(jié)等，一方面數(shù)據(jù)規(guī)格差異較大（KB~百M(fèi)B），一方面，除了非結(jié)構(gòu)化文件本身，還需要實(shí)現(xiàn)元數(shù)據(jù)的存儲(chǔ)和管理（如標(biāo)簽、業(yè)務(wù)屬性等）。企業(yè)希望采用簡(jiǎn)潔、易于維護(hù)、具備高可用及容災(zāi)能力的數(shù)據(jù)存儲(chǔ)架構(gòu)，提供統(tǒng)一訪問接口，保持全量數(shù)據(jù)即時(shí)在線，從而降低技術(shù)復(fù)雜度，提升開發(fā)效率。

高性能，全面對(duì)客：海量數(shù)據(jù)(603138)迅速積累的同時(shí)，用戶對(duì)于業(yè)務(wù)體驗(yàn)的要求與日俱增。滿足高并發(fā)、低延時(shí)的業(yè)務(wù)訪問請(qǐng)求，對(duì)數(shù)據(jù)存儲(chǔ)架構(gòu)的性能指標(biāo)提出了嚴(yán)峻的考驗(yàn)。例如銀行的無人營(yíng)業(yè)網(wǎng)點(diǎn)，要求用戶實(shí)時(shí)上傳身份證、簽字頁等掃描件，并為用戶身份識(shí)別、信貸審核等環(huán)節(jié)提供高頻的實(shí)時(shí)調(diào)閱。

數(shù)據(jù)管理：非結(jié)構(gòu)化數(shù)據(jù)具有種類多、容量大的特點(diǎn)，是企業(yè)資源消耗的“大戶”，如何設(shè)計(jì)精細(xì)化的內(nèi)容數(shù)據(jù)管理策略，如生命周期管理、版本管理、數(shù)據(jù)分層治理、租戶管理等，來降低維護(hù)成本，提升數(shù)據(jù)質(zhì)量，也成為當(dāng)前非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用領(lǐng)域的熱點(diǎn)話題。

傳統(tǒng)數(shù)據(jù)存儲(chǔ)架構(gòu)的局限性

一直以來，企業(yè)內(nèi)容管理系統(tǒng)以國(guó)外ECM軟件為主流, 典型產(chǎn)品如IBM CM、Filenet及EMC Documentum等，其底層均采用集中式數(shù)據(jù)存儲(chǔ)架構(gòu)。該架構(gòu)無論從性能、擴(kuò)展性，還是維護(hù)成本方面，遇到了嚴(yán)峻的挑戰(zhàn)，已經(jīng)無法適應(yīng)新時(shí)代內(nèi)容數(shù)據(jù)的管理需求。

架構(gòu)復(fù)雜 & 成本高昂傳統(tǒng)內(nèi)容管理解決方案的底層數(shù)據(jù)架構(gòu)，有兩套技術(shù)來支撐：一套文件存儲(chǔ)（NAS或集中式陣列）來管理非結(jié)構(gòu)化文件，一套關(guān)系型數(shù)據(jù)庫（如DB2/Oracle等）實(shí)現(xiàn)元數(shù)據(jù)管理、標(biāo)簽化管理。技術(shù)架構(gòu)的復(fù)雜性，導(dǎo)致管理難度和軟硬件維護(hù)成本居高不下。

并發(fā)性、擴(kuò)展性局限集中式數(shù)據(jù)存儲(chǔ)架構(gòu)，其性能和容量均存在明顯瓶頸，更缺乏靈活的水平伸縮能力，無法滿足爆炸性增長(zhǎng)的業(yè)務(wù)需求和數(shù)據(jù)管理需求。

高可用、容災(zāi)能力不足隨著非結(jié)構(gòu)化數(shù)據(jù)開始發(fā)揮更大的作用，內(nèi)容管理平臺(tái)的重要級(jí)別也不斷提升。在監(jiān)管要求下，其業(yè)務(wù)連續(xù)性、容災(zāi)能力要求越來越高。以往由兩套技術(shù)（數(shù)據(jù)庫+文件存儲(chǔ)）實(shí)現(xiàn)的容災(zāi)方案，切換時(shí)間長(zhǎng)，也無法實(shí)現(xiàn)絕對(duì)的數(shù)據(jù)一致，必然達(dá)不到更高等級(jí)的RTO/RPO要求。

此外，也有國(guó)內(nèi)開發(fā)商采用『關(guān)系型數(shù)據(jù)庫+對(duì)象存儲(chǔ)』方案，來構(gòu)建內(nèi)容管理系統(tǒng)，例如『MySQL+Ceph及其衍生品』。相比于前一種方案，存儲(chǔ)容量和擴(kuò)展性得以增強(qiáng)，成本有所降低。但同樣無法解決復(fù)雜的技術(shù)棧帶來的學(xué)習(xí)成本高、難于維護(hù)的問題。

巨杉數(shù)據(jù)庫-多模數(shù)據(jù)湖方案

巨杉數(shù)據(jù)庫深耕金融銀行業(yè)，聚焦于從數(shù)據(jù)湖到湖倉一體的技術(shù)架構(gòu)，針對(duì)業(yè)界對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)管理的需求，提出多模數(shù)據(jù)湖技術(shù)方案。多模數(shù)據(jù)湖是一種全量、即時(shí)使用、高性能的一站式數(shù)據(jù)存儲(chǔ)方案。它強(qiáng)調(diào)采用多模、高擴(kuò)展的分布式數(shù)據(jù)庫，作為內(nèi)容管理平臺(tái)的存儲(chǔ)底座，實(shí)現(xiàn)各類數(shù)據(jù)的統(tǒng)一存儲(chǔ)（結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化）。通過豐富、靈活的訪問接口，提供多樣化的數(shù)據(jù)處理及服務(wù)能力，靈活應(yīng)對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用場(chǎng)景。

巨杉「多模數(shù)據(jù)湖」技術(shù)架構(gòu)

基于100%自研的原生分布式架構(gòu)基于100%自研的巨杉分布式數(shù)據(jù)庫，采用獨(dú)特的多模架構(gòu)，集成了內(nèi)容服務(wù)的部分基礎(chǔ)模塊，以滿足企業(yè)新業(yè)務(wù)場(chǎng)景下內(nèi)容數(shù)據(jù)管理及服務(wù)的多樣化需求。

引擎級(jí)多模 & 豐富的開發(fā)接口提供引擎級(jí)多模能力，支持結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一存儲(chǔ)。同時(shí)提供了豐富的開發(fā)接口，結(jié)構(gòu)化數(shù)據(jù)兼容SQL語法，非結(jié)構(gòu)化數(shù)據(jù)支持S3、原生API、RESTful協(xié)議等數(shù)據(jù)訪問接口，可幫助企業(yè)降低業(yè)務(wù)系統(tǒng)的開發(fā)難度，提升開發(fā)效率。

超大容量 & 在線彈性擴(kuò)容支持百PB級(jí)存儲(chǔ)容量，支持在線水平擴(kuò)展，輕松應(yīng)對(duì)數(shù)據(jù)爆發(fā)式增長(zhǎng)，可靈活適用于不同規(guī)模、不同類型的非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用場(chǎng)景。

高性能、低成本保障企業(yè)內(nèi)容數(shù)據(jù)全量在線，支持多策略分區(qū)管理及分域緩存，采用資源池化的存儲(chǔ)引擎層，提升海量數(shù)據(jù)管理效率及處理性能，大幅降低硬件及運(yùn)維成本，TCO只為傳統(tǒng)ECM方案的1/3。

高可用、容災(zāi)采用多副本技術(shù)，支持多種級(jí)別的容災(zāi)部署形態(tài)，如同城雙中心、同城三中心、兩地三中心及三地五中心等，根據(jù)實(shí)際業(yè)務(wù)及監(jiān)管要求，最大程度提升系統(tǒng)可用性和容災(zāi)能力，降低RTO/RPO。

數(shù)據(jù)管理數(shù)據(jù)庫層支持冷熱數(shù)據(jù)分層管理、多租戶分域管理，支持服務(wù)器差異化部署，實(shí)現(xiàn)成本與性能兼顧。服務(wù)管理層提供多項(xiàng)內(nèi)容管理特性，支持如數(shù)據(jù)生命周期管理、權(quán)限管理、對(duì)象版本控制、歷史版本回溯等，進(jìn)一步提升數(shù)據(jù)安全性，幫助企業(yè)提升數(shù)據(jù)治理水平。

典型案例

目前，巨杉已經(jīng)和眾多合作伙伴一起，基于「多模數(shù)據(jù)湖」存儲(chǔ)底座，幫助超過100家金融客戶，構(gòu)建全類型內(nèi)容管理平臺(tái)， 支撐眾多的音視頻管理、雙錄系統(tǒng)、柜面無紙化等業(yè)務(wù)系統(tǒng)。

某股份制銀行，基于巨杉「多模數(shù)據(jù)湖」構(gòu)建的新一代內(nèi)容管理平臺(tái)，已完成超過數(shù)百個(gè)業(yè)務(wù)系統(tǒng)的接入，如零售信貸、征信、單證、無紙化、會(huì)計(jì)檔案、流程銀行等，持續(xù)穩(wěn)定運(yùn)行超過6年。

某省農(nóng)信內(nèi)容管理平臺(tái)，已實(shí)現(xiàn)全社近60%的非結(jié)構(gòu)化數(shù)據(jù)的納管，接入信用卡、雙錄、集中作業(yè)、信貸、征信、無紙化、國(guó)結(jié)等多個(gè)業(yè)務(wù)系統(tǒng)，更多系統(tǒng)仍在規(guī)劃接入中。

典型業(yè)務(wù)系統(tǒng)如：

雙錄：為全行提供統(tǒng)一的錄音、錄像數(shù)據(jù)的存儲(chǔ)與管理，服務(wù)于理財(cái)、代銷等系統(tǒng)。

信貸：由內(nèi)容管理平臺(tái)提供貸前、貸中和貸后各環(huán)節(jié)的影像留存，實(shí)現(xiàn)業(yè)務(wù)審批全過程無紙化。

后督：各網(wǎng)點(diǎn)的紙質(zhì)業(yè)務(wù)憑證、報(bào)表、票據(jù)等非結(jié)構(gòu)化數(shù)據(jù)，進(jìn)行掃描/拍照、上傳、識(shí)別、信息提取，供后督系統(tǒng)對(duì)比、查驗(yàn)。

結(jié)語

巨杉數(shù)據(jù)庫「多模數(shù)據(jù)湖」方案，致力于為金融銀行業(yè)客戶解決海量非結(jié)構(gòu)化數(shù)據(jù)在存儲(chǔ)、管理時(shí)面臨痛點(diǎn)與挑戰(zhàn)，實(shí)現(xiàn)降低成本、提升效率、提升用戶體驗(yàn)的同時(shí)，提高數(shù)據(jù)治理水平，進(jìn)一步盤活數(shù)據(jù)資產(chǎn)價(jià)值，為業(yè)務(wù)提供高價(jià)值的信息輸入。未來，巨杉將與合作伙伴緊密攜手，為企業(yè)構(gòu)建新一代內(nèi)容管理平臺(tái)，提供優(yōu)質(zhì)的產(chǎn)品、技術(shù)服務(wù)及生態(tài)支持，在數(shù)字化轉(zhuǎn)型過程中，共同為客戶提升數(shù)據(jù)價(jià)值。

【廣告】

（免責(zé)聲明：此文內(nèi)容為廣告，相關(guān)素材由廣告主提供，廣告主對(duì)本廣告內(nèi)容的真實(shí)性負(fù)責(zé)。本網(wǎng)發(fā)布目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé)，請(qǐng)自行核實(shí)相關(guān)內(nèi)容。廣告內(nèi)容僅供讀者參考。）

關(guān)鍵詞： 結(jié)構(gòu)化數(shù)據(jù)