本月，阿里云在北京舉辦了 “2022 年阿里云數(shù)據(jù)存儲(chǔ)生態(tài)發(fā)布會(huì)”，偶數(shù)科技作為目前國(guó)內(nèi)云原生數(shù)據(jù)倉(cāng)庫(kù)技術(shù)領(lǐng)域的開拓者受邀參加了本次大會(huì)。

偶數(shù)科技首席架構(gòu)師陶征霖作為演講嘉賓，在會(huì)上與行技術(shù)仁共同回顧了分析型數(shù)據(jù)庫(kù)的演進(jìn)歷程，以及目前偶數(shù)科技在湖倉(cāng)一體方面的前沿理念和實(shí)踐。

隨著企業(yè)數(shù)字化轉(zhuǎn)型進(jìn)入深水區(qū)，越來(lái)越多的企業(yè)視“湖倉(cāng)一體”為數(shù)字變革的重要契機(jī)，如今湖倉(cāng)一體受到前所未有的關(guān)注。在Gartner 2021年度數(shù)據(jù)管理領(lǐng)域的成熟度模型報(bào)告”Hype Cycle”中，”湖倉(cāng)一體”（Lakehouse）與Edge Data Management、Intercloud Data Management、Active Metadata等新興技術(shù)一起，成為了首次進(jìn)入成熟度模型的五個(gè)新軍之一。

然而，關(guān)注度越高意味著嘈雜聲也會(huì)越多。對(duì)“湖倉(cāng)一體”的錯(cuò)誤理解，也會(huì)將轉(zhuǎn)型中的企業(yè)引入更加復(fù)雜的數(shù)據(jù)孤島局面，盡管這些錯(cuò)誤理解最終會(huì)得被市場(chǎng)淘汰，但從現(xiàn)實(shí)而言可能會(huì)造成企業(yè)成本上升，甚至?xí)e(cuò)過(guò)數(shù)字化轉(zhuǎn)型的戰(zhàn)略時(shí)機(jī)。

對(duì)此，陶征霖在會(huì)上重點(diǎn)介紹了湖倉(cāng)一體 ANCHOR 六大特性：實(shí)時(shí) T+0、一份數(shù)據(jù)、超高并發(fā)、數(shù)據(jù)一致性、云原生、多類型數(shù)據(jù)支持。通過(guò) OushuDB 最新版本和架構(gòu)的加持，偶數(shù)湖倉(cāng)一體方案將在云設(shè)施上幫助客戶發(fā)揮數(shù)據(jù)價(jià)值。

為什么“湖”+“倉(cāng)”的分體模式不是最佳選擇

隨著近年來(lái)Hadoop 大數(shù)據(jù)平臺(tái)建設(shè)逐步推廣，企業(yè)開始嘗試將 Hadoop 用于一些非核心場(chǎng)景，但 Hadoop 性能和并發(fā)支持有限，而且事務(wù)支持弱，交付、運(yùn)維成本高，無(wú)法替代核心數(shù)倉(cāng)，基本只能作為“數(shù)據(jù)湖”。為了滿足用戶在性能、事務(wù)等方面的要求，很多企業(yè)開始考慮數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)互補(bǔ)的方式。在構(gòu)建數(shù)據(jù)湖的同時(shí)，也使用MPP，湖倉(cāng)各自獨(dú)立部署，數(shù)據(jù)通過(guò)ETL的方式打通。

這就是業(yè)內(nèi)常說(shuō)的 Hadoop+MPP 的”湖倉(cāng)分體”模式。

盡管這種模式能夠讓湖和倉(cāng)有很好的技術(shù)特性互補(bǔ)，但同時(shí)它也會(huì)產(chǎn)生經(jīng)常讓企業(yè)感到困惑的嚴(yán)重問題，包括：

• 分體模式下的湖和倉(cāng)各自形成數(shù)據(jù)孤島；
• Hadoop 和 MPP 集群規(guī)模擴(kuò)展能力受限；
• Hadoop 和 MPP 需要拆成多個(gè)集群，同一份數(shù)據(jù)在多個(gè)集群冗余存儲(chǔ)；
• 多份數(shù)據(jù)增加維護(hù)成本，數(shù)據(jù)一致性難保障；
• 在面對(duì)高并發(fā)數(shù)據(jù)查詢時(shí)，易造成業(yè)務(wù)應(yīng)用崩潰；
• T+1甚至更長(zhǎng)的處理周期，不能滿足業(yè)務(wù)的實(shí)時(shí)決策;
• 建模路徑冗長(zhǎng)、非結(jié)構(gòu)化數(shù)據(jù)無(wú)法整合；
• 湖+倉(cāng)異構(gòu)分體帶來(lái)復(fù)雜的實(shí)施和運(yùn)維問題。

這些常見的狀況更讓從業(yè)者頭疼不已。要解決這些問題，必須實(shí)現(xiàn)數(shù)據(jù)和查詢層面形成一體化架構(gòu)，徹底擺脫大數(shù)據(jù)平臺(tái)遇到的這些瓶頸，這樣可以大大降低 IT 運(yùn)維成本和數(shù)據(jù)管理的技術(shù)門檻。

OushuDB存算分離的湖倉(cāng)一體模式有何不同

那么，基于OushuDB存算分離的湖倉(cāng)一體模式與Hadoop+MPP 的”湖倉(cāng)分體”模式有何不同呢？

偶數(shù)科技研發(fā)的全球最快的新一代分析型數(shù)據(jù)庫(kù)引擎OushuDB創(chuàng)新性的采用了存算分離的云原生架構(gòu)。作為一個(gè)嶄新的數(shù)據(jù)平臺(tái)架構(gòu)，存算分離架構(gòu)可以保證存儲(chǔ)和計(jì)算可以獨(dú)立的彈性擴(kuò)展和伸縮。

而傳統(tǒng) MPP 和 Hadoop 都不適應(yīng)這樣的要求：

• MPP 數(shù)據(jù)庫(kù)存算耦合；
• Hadoop 必須通過(guò)計(jì)算和存儲(chǔ)部署在同一物理集群拉近計(jì)算與數(shù)據(jù)的距離，僅在同一集群下構(gòu)成邏輯存算分離。

另外，為了同時(shí)滿足實(shí)時(shí)流處理、實(shí)時(shí)按需分析和離線分析需求，偶數(shù)科技獨(dú)創(chuàng)性的探索出了Omega全實(shí)時(shí)數(shù)據(jù)處理架構(gòu)，相比于傳統(tǒng)的Kappa架構(gòu)、Lambda架構(gòu)優(yōu)勢(shì)明顯。

可以說(shuō)，OushuDB基本解決了”湖倉(cāng)分體”的技術(shù)瓶頸，技術(shù)優(yōu)勢(shì)相當(dāng)顯眼：

• OushuDB突破了傳統(tǒng)MPP和Hadoop的局限，將計(jì)算和存儲(chǔ)部署在不同的物理集群中，使得計(jì)算和存儲(chǔ)資源可以獨(dú)立的彈性伸縮；
• 通過(guò)構(gòu)建虛擬計(jì)算集群，OushuDB可以在數(shù)十萬(wàn)節(jié)點(diǎn)的超大規(guī)模集群上滿足高并發(fā)需求，形成了統(tǒng)一的數(shù)據(jù)體系，不僅使得湖倉(cāng)更適應(yīng)云環(huán)境，還降低了用戶的成本；
• 通過(guò)支持分布式表存儲(chǔ)Magma，OushuDB的計(jì)算引擎便于實(shí)現(xiàn)快照視圖，能夠高效實(shí)現(xiàn)實(shí)時(shí)查詢需求，從而在性能和事務(wù)方面的支持更加完善。
• Omega架構(gòu)通過(guò)流處理系統(tǒng)WASP實(shí)現(xiàn)實(shí)時(shí)連續(xù)的流處理或批流一提處理，并通過(guò)存儲(chǔ)于實(shí)時(shí)數(shù)倉(cāng)的快照視圖完成實(shí)時(shí)查詢，從而解決了傳統(tǒng)Kappa架構(gòu)落地困難、Lambda架構(gòu)難以保證數(shù)據(jù)一致性的問題，并極大簡(jiǎn)化了數(shù)據(jù)架構(gòu)。

湖倉(cāng)選型，ANCHOR先行

偶數(shù)科技認(rèn)為，要真正的解決業(yè)務(wù)的痛點(diǎn)，選擇企業(yè)適合的湖倉(cāng)產(chǎn)品，我們可以按照前面提到的ANCHOR 標(biāo)準(zhǔn)來(lái)選型。ANCHOR 的6個(gè)首字母分別代表六大特性：

行業(yè)的認(rèn)可與偶數(shù)的持續(xù)突破創(chuàng)新

自偶數(shù)科技誕生以來(lái)，偶數(shù)科技的產(chǎn)品和解決方案也已在非銀金融、電信、政府、能源、制造和互聯(lián)網(wǎng)等行業(yè)中被廣泛的部署和應(yīng)用，幫助多個(gè)行業(yè)中的企業(yè)小步快跑，進(jìn)行數(shù)智化轉(zhuǎn)型。同時(shí)，作為在數(shù)據(jù)庫(kù)領(lǐng)域的領(lǐng)先創(chuàng)業(yè)，其商業(yè)模式的可行性與成長(zhǎng)性也得到了資本的認(rèn)可，連續(xù)獲得了國(guó)內(nèi)頂級(jí)投資機(jī)構(gòu)紅杉中國(guó)、騰訊、紅點(diǎn)中國(guó)與金山云的四輪投資。

在大數(shù)據(jù)的常見客戶行業(yè)中，銀行業(yè)是對(duì)應(yīng)用的自主可控、高可用、高可靠性的要求最高的領(lǐng)域之一，偶數(shù)科技解決方案在銀行業(yè)的落地正是其技術(shù)實(shí)力和對(duì)用戶痛點(diǎn)理解力的明證。早在2020年，偶數(shù)科技就與建設(shè)銀行成立了高性能大數(shù)據(jù)聯(lián)合實(shí)驗(yàn)室，共同探索湖倉(cāng)一體化的實(shí)施路徑。經(jīng)過(guò)持續(xù)的技術(shù)探討與應(yīng)用驗(yàn)證，二者合作開發(fā)的基于云原生數(shù)據(jù)庫(kù)技術(shù)的全實(shí)時(shí)湖倉(cāng)一體方案，采用了一套技術(shù)棧、統(tǒng)一存儲(chǔ)進(jìn)行湖倉(cāng)雙重能力建設(shè)，已具備極速性能、彈性伸縮、計(jì)算資源按需分配、全量數(shù)據(jù)單一存儲(chǔ)、無(wú)須頻繁導(dǎo)數(shù)、混合負(fù)載等相關(guān)能力，能夠充分建設(shè)銀行及其客戶的實(shí)時(shí)應(yīng)用場(chǎng)景，幫助建行提升了實(shí)時(shí)需求響應(yīng)性能、增強(qiáng)了系統(tǒng)彈性，同時(shí)節(jié)約運(yùn)維成本。

近期，偶數(shù)科技正式入選國(guó)家級(jí)專精特新（專業(yè)化、精細(xì)化、特色化、新穎化）“小巨人”企業(yè)名單。作為助力國(guó)家突破關(guān)鍵技術(shù)領(lǐng)域“卡脖子”難題的初創(chuàng)企業(yè)，偶數(shù)科技在數(shù)據(jù)庫(kù)國(guó)產(chǎn)化、技術(shù)自主安全上的努力正在被逐步驗(yàn)證、得到國(guó)家層面的肯定。

隨著未來(lái)物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)的逐步建立，大數(shù)據(jù)領(lǐng)域?qū)⒚媾R越來(lái)越廣的數(shù)據(jù)來(lái)源、越來(lái)越大的數(shù)據(jù)量、越來(lái)越多的非結(jié)構(gòu)化數(shù)據(jù)、越來(lái)越豐富的應(yīng)用場(chǎng)景和越來(lái)越復(fù)雜的技術(shù)棧，大數(shù)據(jù)處理和分析的難度將進(jìn)一步提升。從上世紀(jì)60年代的數(shù)據(jù)庫(kù)，到數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖，到現(xiàn)在的湖倉(cāng)一體，新產(chǎn)品總是在性能、功能上去解決以前從業(yè)者在業(yè)務(wù)上的痛點(diǎn)，我們可以說(shuō)湖倉(cāng)一體是數(shù)據(jù)庫(kù)發(fā)展到云原生時(shí)代的必然產(chǎn)物。

通過(guò)虛擬計(jì)算集群技術(shù)在數(shù)十萬(wàn)節(jié)點(diǎn)的超大規(guī)模集群上實(shí)現(xiàn)高并發(fā)，保障事務(wù)支持，提供實(shí)時(shí)能力，一份數(shù)據(jù)再無(wú)數(shù)據(jù)孤島，新一代湖倉(cāng)一體架構(gòu)將是未來(lái)的發(fā)展趨勢(shì)。偶數(shù)科技作為湖倉(cāng)一體化領(lǐng)域的領(lǐng)導(dǎo)者，也將持續(xù)優(yōu)化技術(shù)，為用戶帶來(lái)更高性能、更穩(wěn)健的解決方案，支撐更多行業(yè)用戶將數(shù)據(jù)轉(zhuǎn)化為生產(chǎn)力。