(2)第二階段:建立管理流程,落地數(shù)據(jù)標(biāo)準(zhǔn),提升數(shù)據(jù)質(zhì)量
在第二階段,需要建立大數(shù)據(jù)管控能力,包括從業(yè)務(wù)的角度梳理企業(yè)數(shù)據(jù)質(zhì)量問題,形成質(zhì)量控制能力,形成核心數(shù)據(jù)標(biāo)準(zhǔn),并抓標(biāo)準(zhǔn)落地。針對關(guān)鍵問題,建立數(shù)據(jù)的管理流程,少而精,控制核心問題。
在這個階段主要是為數(shù)據(jù)部門形成一套管理大數(shù)據(jù)的能力,同時為數(shù)據(jù)部門形成數(shù)據(jù)管理的工作環(huán)境。
(3)第三階段:直接為用戶提供價值,向用戶提供數(shù)據(jù)微服務(wù)
通過前兩個階段,企業(yè)能夠建立基本的數(shù)據(jù)治理的能力,在此基礎(chǔ)上,還需要以用戶為中心,為用戶提供直接獲取數(shù)據(jù)的能力。第三階段依賴于前兩個階段能力的建設(shè),在這個階段的目標(biāo)是向用戶提供自助化的數(shù)據(jù)服務(wù),使用戶能夠自助地獲取和使用數(shù)據(jù),并且在用戶的使用過程中再反過去進(jìn)一步落地標(biāo)準(zhǔn)、控制質(zhì)量。
(4)第四階段:智能化企業(yè)知識圖譜,為全企業(yè)提供數(shù)據(jù)價值
最后一個階段是將數(shù)據(jù)沉淀成為知識,形成企業(yè)的知識圖譜,提供從“關(guān)系”的角度去分析問題的能力。
人進(jìn)行數(shù)據(jù)搜索是通過業(yè)務(wù)術(shù)語(知識)來搜索的,而知識之間是有相互聯(lián)系的,例如水果和西紅柿是上下位關(guān)系(后者是前者的具體體現(xiàn)),好的搜索除了要列出直接結(jié)果,還需要顯示與之關(guān)聯(lián)的知識,這就要建立知識圖譜。
簡單說知識圖譜就是概念、屬性以及概念之間的關(guān)聯(lián)關(guān)系,這個關(guān)系可以手工建立,也能通過自然語言處理等方法,對政策、法規(guī)、需求、數(shù)據(jù)庫comments、界面等多種來源進(jìn)行分析,自動化建立起企業(yè)知識圖譜。從而使數(shù)據(jù)治理成為整個企業(yè)的數(shù)據(jù)工作環(huán)境,強(qiáng)化企業(yè)數(shù)據(jù)與知識體系之間的關(guān)聯(lián),加快企業(yè)員工數(shù)據(jù)與知識之間的轉(zhuǎn)換效率,讓數(shù)據(jù)的深層價值得以體現(xiàn)。
通過這四個階段的建設(shè),使數(shù)據(jù)治理平臺由數(shù)據(jù)部門的工作環(huán)境,轉(zhuǎn)變成為全企業(yè)的數(shù)據(jù)工作環(huán)境,以用戶為中心,讓用戶能夠直接使用大數(shù)據(jù),并通過用戶的使用來管理數(shù)據(jù),持續(xù)優(yōu)化數(shù)據(jù)質(zhì)量,在達(dá)到治理數(shù)據(jù)目標(biāo)的同時,也最大限度發(fā)揮了數(shù)據(jù)的價值。
三、面向用戶的自服務(wù)大數(shù)據(jù)治理架構(gòu)
自服務(wù)大數(shù)據(jù)治理架構(gòu)
以用戶為中心的自服務(wù)大數(shù)據(jù)治理技術(shù)架構(gòu)包括五部分:數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)監(jiān)控管理、數(shù)據(jù)準(zhǔn)備平臺、數(shù)據(jù)服務(wù)總線,消息與流數(shù)據(jù)管理。
整個平臺分為五塊核心能力:數(shù)據(jù)資產(chǎn)、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)服務(wù)總線、消息&流數(shù)據(jù)管理、數(shù)據(jù)監(jiān)控管理。
數(shù)據(jù)資產(chǎn)管理是對企業(yè)數(shù)據(jù)信息統(tǒng)一管理也是整個平臺的基礎(chǔ),數(shù)據(jù)準(zhǔn)備平臺是資產(chǎn)服務(wù)化的加工廠,它不但能將原始數(shù)據(jù)通過服務(wù)形式以用戶能看懂的方式提供,也可以通過在線數(shù)據(jù)模型設(shè)計實現(xiàn)最終數(shù)據(jù)產(chǎn)品的發(fā)布,起到承上啟下的作用。
數(shù)據(jù)服務(wù)總線和消息&流數(shù)據(jù)管理的價值層次是一致的,只是從數(shù)據(jù)時效性上面對數(shù)據(jù)進(jìn)行了區(qū)分,去適應(yīng)用戶不同的管理和應(yīng)用訴求。起到數(shù)據(jù)通道和安全管理兩個核心內(nèi)容。
數(shù)據(jù)監(jiān)控管理有別于大數(shù)據(jù)中的數(shù)據(jù)節(jié)點(diǎn)管理,而是從數(shù)據(jù)管理的視角切入對數(shù)據(jù)的結(jié)構(gòu)的變化、關(guān)系的變化進(jìn)行管理和控制,它是數(shù)據(jù)持續(xù)發(fā)揮價值的監(jiān)管者。
自服務(wù)大數(shù)據(jù)治理的關(guān)鍵技術(shù)
(1)人工智能的知識圖譜構(gòu)建
主要有三個步驟
a、基于企業(yè)元數(shù)據(jù)信息,通過自然語言處理、機(jī)器學(xué)習(xí)、模式識別等算法,以及業(yè)務(wù)規(guī)則過濾,實現(xiàn)知識提??;
b、以本體形式表示和存儲知識,自動構(gòu)建成起資產(chǎn)知識圖譜;
c、通過知識圖譜關(guān)系,利用智能搜索、關(guān)聯(lián)查詢手段,為最終用戶提供更加精確的數(shù)據(jù);
(2)細(xì)粒度的敏感信息控制
數(shù)據(jù)內(nèi)容安全管理包括對IT系統(tǒng)和數(shù)據(jù)進(jìn)行敏感度等級劃分的定義、瀏覽、檢核,輔助安全規(guī)則在業(yè)務(wù)、技術(shù)領(lǐng)域的應(yīng)用。從功能上包括數(shù)據(jù)敏感性分級、系統(tǒng)敏感性分級,數(shù)據(jù)安全策略定義管理,安全策略輸出,安全管理報告,數(shù)據(jù)安全檢核,敏感數(shù)據(jù)角色管理,敏感數(shù)據(jù)權(quán)鑒管理及相關(guān)電子審批流程。
(3)自助化的大數(shù)據(jù)服務(wù)生產(chǎn)線
這里有4個關(guān)鍵點(diǎn):
a、自助的查詢到想要的數(shù)據(jù);
b、自動的生成數(shù)據(jù)服務(wù);
c、及時穩(wěn)定的獲得數(shù)據(jù)通道;
d、數(shù)據(jù)安全有保證;
通過自助化的數(shù)據(jù)生產(chǎn)線,數(shù)據(jù)使用方(業(yè)務(wù)人員)大大減少了對開發(fā)人員依賴,80%以上的數(shù)據(jù)需求,都能通過自己進(jìn)行整合開發(fā),最終獲取數(shù)據(jù)。讓所有用數(shù)據(jù)的人能方便得到想要的數(shù)據(jù)。
(4)多維度實時的數(shù)據(jù)資產(chǎn)信息的展示
數(shù)據(jù)治理平臺提供實時、全面的數(shù)據(jù)監(jiān)控,不僅能從作業(yè)、模型、物理資源等各方面進(jìn)行全面的數(shù)據(jù)資產(chǎn)盤點(diǎn),還能對數(shù)據(jù)及時性、問題數(shù)據(jù)量等方面的數(shù)據(jù)健康環(huán)境進(jìn)行全面的預(yù)警。
(5)以業(yè)務(wù)元模型為核心的數(shù)據(jù)微服務(wù)
數(shù)據(jù)需要以服務(wù)的形式提供給最終用戶,在服務(wù)的提供上不能再采用傳統(tǒng)的方式,而需要用微服務(wù)的方式提供,每個單獨(dú)數(shù)據(jù)微服務(wù)自己對所提供數(shù)據(jù)做緩存,在其中利用元數(shù)據(jù)能力,把知識(業(yè)務(wù)模型)與技術(shù)(數(shù)據(jù)模型)相結(jié)合,從而向最終數(shù)據(jù)用戶提供多種數(shù)據(jù)能力,使用戶能夠以多種方式使用數(shù)據(jù)。
最后在整個大數(shù)據(jù)治理平臺的構(gòu)建中還需要滿足一系列原則,詳情參考我寫過的《敏捷數(shù)據(jù)管理的12個技術(shù)原則》。
四、總結(jié)
大數(shù)據(jù)時代,企業(yè)急需建立以用戶為中心的自服務(wù)大數(shù)據(jù)治理,信息梳理、數(shù)據(jù)管控、連接用戶、智能化是實現(xiàn)自服務(wù)大數(shù)據(jù)治理的四個主要階段,掌握一系列關(guān)鍵技術(shù)和技術(shù)原則,是實現(xiàn)自服務(wù)大數(shù)據(jù)治理的重要基礎(chǔ)。
2025-01-24 09:53
2025-01-24 09:51
2025-01-24 09:46
2025-01-24 09:17
2025-01-22 09:19
2025-01-22 09:16
2025-01-20 09:05
2025-01-16 11:09
2025-01-16 11:01
2025-01-16 11:00