2023年7月4日至5日，由中國通信標準化協(xié)會大數(shù)據技術標準推進委員會(CCSA TC601)主辦的2023可信數(shù)據庫發(fā)展大會在北京國際會議中心召開。中國移動信息技術中心副總經理陶濤受邀參加大會主論壇，發(fā)表了題為《構建大數(shù)據湖倉一體生態(tài)，促進數(shù)據要素價值發(fā)揮》的演講，圍繞數(shù)據要素流通新形態(tài)、數(shù)據處理面臨的新問題、數(shù)據處理平臺的新愿景等議題深入交流探討。

　　

 

　　一、擁抱新變化，構建新平臺

　　陶濤表示，隨著數(shù)字經濟的發(fā)展，全球數(shù)據量已經進入YB時代(1YB，即1千萬億GB，約為4萬億臺256GB手機的存儲容量)。在數(shù)據規(guī)模的爆發(fā)式增長下，中國移動的數(shù)據形態(tài)呈現(xiàn)出“多模態(tài)”特點，即各類數(shù)據廣泛應用于政府、企業(yè)，并逐步發(fā)展為全局、跨域、規(guī)�；瘧�用。

　　同時，隨著數(shù)據量的發(fā)展和數(shù)據融合的逐步加深，傳統(tǒng)的數(shù)據庫、數(shù)據倉庫、大數(shù)據平臺技術逐漸顯露出“瓶頸”。在數(shù)據分散、重復存儲、難于管理等多重困難挑戰(zhàn)下，中國移動緊緊圍繞YB時代生態(tài)、高效處理海量非結構化數(shù)據、全面提升數(shù)據韌性等數(shù)據治理演進方向，打造湖倉一體新型開放式架構。這既是中國移動直面數(shù)據孤島挑戰(zhàn)的態(tài)度，也可以看作是協(xié)同各界力量對建設未來新型大數(shù)據平臺的嘗試。

　　湖倉一體架構充分結合了數(shù)據湖和數(shù)據倉庫的優(yōu)勢，在低成本的數(shù)據湖存儲架構之上，繼承了數(shù)據倉庫的數(shù)據處理和管理功能，形成了一個完整且高效的數(shù)據處理體系，實現(xiàn)一份數(shù)據和一套任務在湖、倉之上的無縫調度和管理。

　　二、YB時代，從“存”到“倉”的蝶變

　　陶濤詳細介紹了湖倉一體技術架構的兩個關鍵，即存算分離與湖倉融合。

　　

 

　　存算分離，即存儲和計算使用單獨的集群，按需分別擴展存儲或計算資源，保證整體系統(tǒng)能夠支持更多用戶并發(fā)和更大數(shù)據量。

　　湖倉融合，形成了邏輯統(tǒng)一的一體化數(shù)據服務，開發(fā)者只需要提交標準SQL(數(shù)據庫語言)，即可計算出想要的結果。

　　湖倉一體作為一種新型開放式架構，能夠充分結合數(shù)據湖和數(shù)據倉庫的優(yōu)勢，在數(shù)據湖低成本的存儲架構之上，繼承數(shù)據倉庫的數(shù)據處理和管理功能，存儲、轉換、集成結構化和非結構化數(shù)據，將不同種類數(shù)據融合在一起，并從中提取出有用價值。

　　陶濤認為，“綠色、集約、智能”是湖倉一體技術架構上的核心優(yōu)勢。面對新的應用需求，一方面湖倉一體產品可從用戶的核心訴求出發(fā)更好地支撐數(shù)據存儲與分析;另一方面，湖倉一體架構可支持企業(yè)優(yōu)化自身底層數(shù)據治理架構，從而幫助企業(yè)提升“人效”和“能效”，更精準地抓住商業(yè)機會，創(chuàng)造發(fā)展優(yōu)勢。湖倉一體技術所具備的高效的數(shù)據處理優(yōu)勢以及經濟、節(jié)能優(yōu)勢，使之在實時數(shù)倉、支撐云原生的融合數(shù)據底座、降本增效等場景中具有廣泛的應用前景。

　　基于湖倉一體的架構規(guī)劃，中國移動打造了分布式協(xié)同計算平臺。集群分布在全國九大區(qū)域中心，有機融合了數(shù)據湖(Hadoop)和數(shù)據倉庫(OLAP)能力，實現(xiàn)物理分散、邏輯統(tǒng)一的一體化數(shù)據服務。

　　湖倉一體技術架構為大數(shù)據產業(yè)提供了未來路徑和方法。陶濤強調，對于不同的企業(yè)來說，數(shù)據情況、業(yè)務需求各不相同，但對于統(tǒng)一數(shù)據存儲、統(tǒng)一數(shù)據計算、統(tǒng)一數(shù)據管理，實現(xiàn)企業(yè)數(shù)據資產應用效能最大化的訴求是一致的。在聯(lián)合產業(yè)合作伙伴發(fā)布技術標準、技術白皮書之后，陶濤代表中國移動呼吁產業(yè)合作伙伴共迎變革，共同構建湖倉一體創(chuàng)新生態(tài)，推進大數(shù)據下一代技術架構廣泛應用。