當(dāng)前，大數(shù)據(jù)正在從計算規(guī)模化向?qū)崟r化演進(jìn)，實時數(shù)倉的應(yīng)用場景也越來越廣泛。例如：央視春晚，可通過大屏實時統(tǒng)計全國的收視率和觀眾畫像；多個城市正在開展的城市大腦項目， 通過 IoT 的攝像頭信息，實時捕獲各個城市中的交通、車輛、人流等信息進(jìn)行交通監(jiān)察與治理；銀行、證券交易所等金融機(jī)構(gòu)實時監(jiān)控交易行為，進(jìn)行反作弊反洗錢等行為的探測；電商大促場景下，可通過大屏實時展示成交額并實現(xiàn)毫秒級更新。除此之外，智能客服、物流跟蹤、訂單分析、直播質(zhì)量監(jiān)控等也是實時數(shù)倉的典型應(yīng)用場景。由此可見，實時數(shù)據(jù)的處理與分析為越來越多的企業(yè)創(chuàng)造了業(yè)務(wù)價值。

 

     實時數(shù)倉越來越重要。然而建設(shè)實時數(shù)倉時，企業(yè)卻常常面臨各種問題。當(dāng)前實時數(shù)倉建設(shè)的痛點主要有以下三方面：首先，企業(yè)對于數(shù)據(jù)的準(zhǔn)確性、時效性、性價比三方面都同時具有強(qiáng)烈需求。不但對數(shù)據(jù)實時寫入能力要求高、查詢延時敏感、查詢維度繁多且維度不固定，而且希望兼顧明細(xì)查詢和聚合查詢兩類不同負(fù)載，同時要求在成本上有所控制。其次，隨著手機(jī)應(yīng)用、小程序等場景日益增多，企業(yè)對于半結(jié)構(gòu)化數(shù)據(jù)的分析需求強(qiáng)烈。第三，由于業(yè)務(wù)需求更新頻繁，實時任務(wù)變更頻繁，企業(yè)需要更加敏捷的實時數(shù)倉來適應(yīng)頻繁的變更。

 

     為了解決客戶建設(shè)實時數(shù)倉中面臨的痛點，阿里云實時計算Flink版+Hologres實時數(shù)倉解決方案升級。

 

     本次升級發(fā)布的新功能集中在數(shù)據(jù)寫入、查詢與分析、企業(yè)級能力三個方面。

 

      數(shù)據(jù)寫入：擁有實時應(yīng)用場景的客戶（如實時大屏、實時風(fēng)控等）對于數(shù)據(jù)寫入的實時性有著極高要求，要求數(shù)據(jù)寫入即可見。同時，由于企業(yè)數(shù)據(jù)來源復(fù)雜，會涉及到許多的數(shù)據(jù)更新、修正的場景，進(jìn)一步加大了實時寫入與更新的難度。Hologres作為一站式實時數(shù)據(jù)倉庫引擎，提供海量數(shù)據(jù)高性能的實時寫入，數(shù)據(jù)寫入即可查。同時，阿里云實時計算Flink版+Hologres可通過主鍵提供高性能的Upsert能力，整個寫入和更新過程確保Exactly Once，滿足對數(shù)據(jù)的合并、更新等需求。

 

      企業(yè)在數(shù)據(jù)寫入時，還面臨著數(shù)據(jù)時效性低、成本高、同步效率低等困難。本次發(fā)布的表結(jié)構(gòu)變更自動同步功能解決了數(shù)據(jù)時效性問題，整庫同步功能減少了資源浪費，分庫分表合并同步提升了數(shù)據(jù)同步效率。

 

      隨著業(yè)務(wù)的迭代和發(fā)展，數(shù)據(jù)源的表結(jié)構(gòu)變更已成為常見現(xiàn)象，企業(yè)需要及時修改實時同步作業(yè)以適配最新的表結(jié)構(gòu)。這些操作帶來了較高的運(yùn)維成本，也影響了數(shù)據(jù)時效性。為解決這個問題，阿里云實時計算Flink版支持通過Catalog實現(xiàn)元數(shù)據(jù)的自動發(fā)現(xiàn)和管理，配合 CTAS （Create Table AS）語法，使用一行SQL實現(xiàn)數(shù)據(jù)同步和表結(jié)構(gòu)的變更自動同步，降低運(yùn)維成本，提升數(shù)據(jù)時效性。在實際工作場景中，分析師常要通過單張表逐一同步的方式將整個數(shù)據(jù)庫同步到數(shù)倉中做進(jìn)一步分析，不但浪費資源，也為上游數(shù)據(jù)庫帶來較大壓力。針對這個問題，阿里云 Flink CDC 提供了整庫同步特性，節(jié)省成本，降低數(shù)據(jù)庫壓力。另外，分析師也常常需要將分庫分表的業(yè)務(wù)數(shù)據(jù)匯聚到一張數(shù)倉中的大表中進(jìn)行分析，針對這種場景，阿里云實時計算Flink版+Hologres提供了分庫分表合并同步特性，通過在 CTAS 語法支持源庫和源表的正則表達(dá)式，源數(shù)據(jù)庫的分表可以高效地合并同步到下游 Hologres 數(shù)倉中。查詢與分析：本次發(fā)布的Hologres實時物化視圖功能優(yōu)化了聚合場景，減少計算量，顯著提升查詢性能。JSON列式存儲優(yōu)化提升了半結(jié)構(gòu)化數(shù)據(jù)查詢和存儲效率。Hologres Binlog + 阿里云實時計算Flink版支持了有狀態(tài)的全鏈路事件實時驅(qū)動開發(fā)場景。

 

      Hologres新版本已支持實時物化視圖功能，數(shù)據(jù)在寫入時即預(yù)計算，以空間換時間，提高查詢效率。JSON作為一個數(shù)據(jù)單位，提供了存儲上的靈活性，但限制了分析時的效率，為了訪問JSON中部分節(jié)點不得不讀取整個JSON數(shù)據(jù)結(jié)構(gòu)，效率非常低下，存儲上也很難壓縮。Hologres的JSON列式存儲優(yōu)化，平衡了靈活性(Schemaless)與性能，提升數(shù)據(jù)存儲壓縮效率，減少數(shù)據(jù)轉(zhuǎn)換等操作，提升查詢效率。Binlog是Hologres很有特色的新能力，支持對每次數(shù)據(jù)更新的詳細(xì)記錄，應(yīng)用在數(shù)倉層次間數(shù)據(jù)實時加工、多實例間數(shù)據(jù)同步、數(shù)據(jù)行列轉(zhuǎn)換 、數(shù)據(jù)變化檢測等多種場景。

 

      企業(yè)級能力方面：Hologres提供了數(shù)據(jù)加密和脫敏、訪問控制、容災(zāi)備份等能力。

 

      除了產(chǎn)品功能發(fā)布外，產(chǎn)品專家還分享了某知名全球TOP20游戲公司的案例。該客戶通過阿里云Flink版+Hologres實時數(shù)倉方案替換開源架構(gòu)，簡化數(shù)據(jù)處理鏈路，統(tǒng)一數(shù)倉架構(gòu)，統(tǒng)一存儲，提升查詢性能，完美支撐數(shù)據(jù)分析、廣告投放、實時決策等多個場景，助力業(yè)務(wù)快速增長。