數(shù)據(jù)采集
數(shù)據(jù)采集是數(shù)據(jù)倉庫建設(shè)中最基礎(chǔ)的工作,負(fù)責(zé)將散落在各個(gè)數(shù)據(jù)孤島的數(shù)據(jù)整合到統(tǒng)一數(shù)據(jù)倉庫平臺(tái)中。數(shù)據(jù)采集不只需要能夠從多種不同類型的數(shù)據(jù)系統(tǒng)采集數(shù)據(jù),還要考慮數(shù)據(jù)采集的效率,通過全量和增量采集相結(jié)合的手段完成采集工作。在采集的過程中,還不能對(duì)在線系統(tǒng)產(chǎn)生影響。
|
數(shù)據(jù)生產(chǎn)鏈路監(jiān)控
就像工業(yè)流水線一樣,數(shù)據(jù)倉庫的數(shù)據(jù)加工過程是一個(gè)數(shù)據(jù)生產(chǎn)的有向無環(huán)圖。如何讓數(shù)據(jù)有序的按照數(shù)據(jù)模型設(shè)計(jì)的邏輯一步一步被加工出來,保障數(shù)據(jù)上下游依賴的正確性,在發(fā)現(xiàn)問題時(shí)能夠提醒開發(fā)人員及時(shí)處理,是一個(gè)艱苦而細(xì)致的工作,也是數(shù)據(jù)倉庫建設(shè)過程中最主要的工作。
|
數(shù)據(jù)質(zhì)量管理
數(shù)據(jù)質(zhì)量是數(shù)據(jù)倉庫的生命線,是數(shù)據(jù)倉庫建設(shè)中的重中之重。在數(shù)據(jù)生產(chǎn)的整個(gè)鏈條中,需要能夠根據(jù)數(shù)據(jù)特征制定不同的數(shù)據(jù)質(zhì)量監(jiān)控規(guī)則,隨時(shí)監(jiān)控?cái)?shù)據(jù)的產(chǎn)出質(zhì)量,并制定出相應(yīng)的控制手段,保障不讓有質(zhì)量問題的數(shù)據(jù)影響業(yè)務(wù)的決策。
|
數(shù)據(jù)采集
數(shù)據(jù)采集是數(shù)據(jù)倉庫建設(shè)中最基礎(chǔ)的工作,負(fù)責(zé)將散落在各個(gè)數(shù)據(jù)孤島的數(shù)據(jù)整合到統(tǒng)一數(shù)據(jù)倉庫平臺(tái)中。數(shù)據(jù)采集不只需要能夠從多種不同類型的數(shù)據(jù)系統(tǒng)采集數(shù)據(jù),還要考慮數(shù)據(jù)采集的效率,通過全量和增量采集相結(jié)合的手段完成采集工作。在采集的過程中,還不能對(duì)在線系統(tǒng)產(chǎn)生影響。
|
數(shù)據(jù)生產(chǎn)鏈路監(jiān)控
就像工業(yè)流水線一樣,數(shù)據(jù)倉庫的數(shù)據(jù)加工過程是一個(gè)數(shù)據(jù)生產(chǎn)的有向無環(huán)圖。如何讓數(shù)據(jù)有序的按照數(shù)據(jù)模型設(shè)計(jì)的邏輯一步一步被加工出來,保障數(shù)據(jù)上下游依賴的正確性,在發(fā)現(xiàn)問題時(shí)能夠提醒開發(fā)人員及時(shí)處理,是一個(gè)艱苦而細(xì)致的工作,也是數(shù)據(jù)倉庫建設(shè)過程中最主要的工作。
|
數(shù)據(jù)質(zhì)量管理
數(shù)據(jù)質(zhì)量是數(shù)據(jù)倉庫的生命線,是數(shù)據(jù)倉庫建設(shè)中的重中之重。在數(shù)據(jù)生產(chǎn)的整個(gè)鏈條中,需要能夠根據(jù)數(shù)據(jù)特征制定不同的數(shù)據(jù)質(zhì)量監(jiān)控規(guī)則,隨時(shí)監(jiān)控?cái)?shù)據(jù)的產(chǎn)出質(zhì)量,并制定出相應(yīng)的控制手段,保障不讓有質(zhì)量問題的數(shù)據(jù)影響業(yè)務(wù)的決策。
|