在2019全球數(shù)據(jù)基礎(chǔ)設(shè)施論壇上，華為全面啟動(dòng)了數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略，發(fā)布并開源了數(shù)據(jù)虛擬化引擎HetuEngine（河圖引擎）。今天就和大家一起來了解一下河圖引擎的核心能力，以及它是如何成為連接數(shù)據(jù)湖基礎(chǔ)設(shè)施與數(shù)據(jù)應(yīng)用之間的橋梁，讓數(shù)據(jù)更易于挖掘和治理。
隨著自動(dòng)駕駛、4K/8K視頻、AR/VR、物聯(lián)網(wǎng)等應(yīng)用興起，數(shù)據(jù)量成爆發(fā)式增長(zhǎng)。根據(jù)華為全球產(chǎn)業(yè)展望(GIV)報(bào)告顯示，全球數(shù)據(jù)量將從2018年32.5ZB快速增長(zhǎng)到2025年的180ZB。海量的數(shù)據(jù)孕育了巨大的機(jī)遇，也帶來了極大的挑戰(zhàn)。生產(chǎn)系統(tǒng)產(chǎn)生的海量數(shù)據(jù)，如果不進(jìn)行分析挖掘，數(shù)據(jù)只能算是一種資源，甚至?xí)蔀槠髽I(yè)的負(fù)擔(dān)。
數(shù)據(jù)湖為數(shù)據(jù)分析挖掘場(chǎng)景而生。數(shù)據(jù)湖這一概念，最早是在2011年由CITO Research網(wǎng)站的CTO和作家Dan Wood首次提出。其比喻是：如果我們把數(shù)據(jù)比作大自然的水，那么各個(gè)江川河流的水未經(jīng)加工，源源不斷地匯聚到數(shù)據(jù)湖中。數(shù)據(jù)湖初衷是對(duì)海量的多樣性數(shù)據(jù)集中低成本存儲(chǔ)，然后通過融合協(xié)同分析，挖掘數(shù)據(jù)價(jià)值。讓數(shù)據(jù)應(yīng)用簡(jiǎn)單、好用、低成本，滿足業(yè)務(wù)創(chuàng)新訴求。但現(xiàn)實(shí)的數(shù)據(jù)湖，由于方案不完整，多技術(shù)并存，沒有廠商能提供完整數(shù)據(jù)基礎(chǔ)設(shè)施（計(jì)算、存儲(chǔ)、軟件、硬件）等諸多因素，導(dǎo)致各組件，各系統(tǒng)不能很好的協(xié)同，依然存在大量數(shù)據(jù)孤島，協(xié)同分析難，成本高，靈活性低。
而華為這次發(fā)布的數(shù)據(jù)虛擬化引擎-河圖引擎，通過“一個(gè)目錄、一個(gè)入口、一份數(shù)據(jù)、統(tǒng)一安全”四大核心能力。華為FusionData智能數(shù)據(jù)湖解決方案基于河圖引擎，可屏蔽數(shù)據(jù)基礎(chǔ)設(shè)施與應(yīng)用對(duì)接的復(fù)雜度，降低開發(fā)難度，打破數(shù)據(jù)庫(kù)與大數(shù)據(jù)壁壘，升級(jí)為“大數(shù)據(jù)庫(kù)”。與數(shù)據(jù)中臺(tái)進(jìn)行客戶應(yīng)用改造的方式不同，華為河圖引擎是一個(gè)讓數(shù)據(jù)基礎(chǔ)設(shè)施走向平臺(tái)化的平臺(tái)，不會(huì)對(duì)客戶原有應(yīng)用改造，為客戶和伙伴提供標(biāo)準(zhǔn)的接口，對(duì)下解決數(shù)據(jù)接入和共享的難題，對(duì)上確保多樣化應(yīng)用按需接入，實(shí)現(xiàn)數(shù)據(jù)的分析挖掘。最終讓客戶數(shù)據(jù)應(yīng)用更簡(jiǎn)單，讓業(yè)務(wù)更敏捷。
河圖引擎具備4個(gè)核心能力：
● 一個(gè)目錄：通過元數(shù)據(jù)在線感知，構(gòu)建1000+異地異構(gòu)數(shù)據(jù)源全局虛擬數(shù)據(jù)視圖，打破數(shù)據(jù)孤島，數(shù)據(jù)全局可視，解決企業(yè)數(shù)據(jù)查找難問題。
● 一個(gè)入口：通過開放的連接框架、5000節(jié)點(diǎn)SQL引擎，實(shí)現(xiàn)30種異地異構(gòu)數(shù)據(jù)源統(tǒng)一SQL訪問，秒級(jí)獲取，數(shù)據(jù)全局可得，解決企業(yè)數(shù)據(jù)獲取難問題。
● 一份數(shù)據(jù)：通過CarbonData技術(shù)，實(shí)現(xiàn)一份數(shù)據(jù)多場(chǎng)景分析，多應(yīng)用共享，數(shù)據(jù)0搬遷，數(shù)據(jù)全局可用，解決企業(yè)用數(shù)難問題。
● 統(tǒng)一安全：通過細(xì)粒度動(dòng)態(tài)授權(quán)、敏感數(shù)據(jù)自動(dòng)感知技術(shù)，實(shí)現(xiàn)異地異構(gòu)數(shù)據(jù)源集中式安全配置與管控，數(shù)據(jù)全局可控，數(shù)據(jù)授權(quán)時(shí)間從天到秒，解決企業(yè)數(shù)據(jù)安全與合規(guī)問題。
華為之所以將數(shù)據(jù)虛擬化引擎命名為河圖引擎，源自“大禹得河圖后始見清明”。大禹治水有三件法器，一件是河圖，一件是定海神針，一件是開山斧，治水的過程首先是通過河圖總覽河流山川地形地貌，然后通過定海神針先穩(wěn)定水勢(shì)，最后開山斧依據(jù)山川地形地貌疏通水路。河圖寓意是華為做好數(shù)據(jù)湖基礎(chǔ)設(shè)施，讓“大禹”（合作伙伴和客戶）拿著開山斧，定海神針更加易于挖掘，治理數(shù)據(jù)。通過“平臺(tái)+生態(tài)”策略，在數(shù)據(jù)產(chǎn)業(yè)里創(chuàng)造一個(gè)共贏的生態(tài)環(huán)境。
