近日,據InfoQ《架構師》2月刊內容,國際化智能營銷服務商易點天下(股票代碼:301171)數倉平臺建設已進入第四階段,并進入全面部署,完善監控等集群的自動化運營階段。
(相關資料圖)
技術專家認為,數據倉庫平臺建設的主要價值,在于更高效解決海量數據(603138)存儲、快速查詢,并助力企業業務高效發展。而易點天下作為一家技術驅動發展的企業國際化智能營銷服務公司,目前服務平臺數據覆蓋全球超過238個國家和地區,應用安裝、用戶注冊、商品銷售等商業效果轉化累計8億次+,獨立設備覆蓋70億+臺,如何更高效有序的存儲、查詢并調用海量數據資源,是其提升自身運營投放效率的關鍵之一。
在《架構師》2月刊內容中,易點天下對數倉進行了統一規劃和建設,以便于更好地輔助業務提高數據模型的復用率、提升數據查詢效率、控制數據成本。
在易點天下最新的數倉StarRocks的建設過程中,易點天下首先對數據進行了規范與分層。由于數據來自于不同的媒體渠道,易點天下將不同種類的數據整合處理,規范命名和存儲,便于統一管理。為了更好地對數據進行檢索,在廣度層面,易點天下將數據分為數據引入層 、明細數據層 、匯總數據層、數據應用層以及維度層等5個層級,便于業務開展時操作上更加便捷。
為規范數據倉庫處理數據的范圍,以及處理數據的業務類型,在深度層面,易點天下也對不同業務和不同數據類型進行拆分,在業務板塊,分為廣告投放類,創新類, 推廣類, 電商類等;而在類型板塊,則分為收入、花費、投放、渠道等不同維度的數據。
目前數據平臺以實時流和離線處理兩條方式同時向StarRocks數據倉庫中進行數據load。如下架構中易點天下自研了數據治理平臺(DataPlus)用于數據監控提高數據質量, 維護元數據血緣等數據的拓撲結構,自動化建模。另外易點天下還自研了分布式的跨云調度系統(EasyJob), 用來系統便捷的處理多云環境下的數據依賴和調度。
數據分析主要流程架構
通過元數據,數據血緣體系建立,未來易點天下可以通過讓建模規范,建模質量等規則自動化,形成線上系統的自動化建模功能,自動化建模生成標準SQL,最終在數倉(StarRocks)中定時執行生效,便于限制人為建模的不規范操作,最大程度的優化模型和成本。
建模過程和數據治理平臺(DataPlus)中的功能映射
目前易點天下已經針對BI系統開展了StarRocks的數據倉庫的建設,后期會推廣到數據平臺所有項目的數據場景中,實現全部數據的秒級導入延遲,SQL查詢與TP95查詢5秒內返回,并通過不斷優化模型生成效率,持續提高數據查詢效率。
技術專家指出,像易點天下這類從事國際化智能營銷業務,并在技術側需要以分布式架構全天候處理全球海量數據的科技企業,技術中臺能力的建設將成為其自身運營效率與服務質量提升的關鍵。數字智能營銷行業,已步入產品與技術精細化運營的競爭階段。
【廣告】
(免責聲明:此文內容為廣告,相關素材由廣告主提供,廣告主對本廣告內容的真實性負責。本網發布目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責,請自行核實相關內容。廣告內容僅供讀者參考。)
(責任編輯:董萍萍 )關鍵詞: