第三代指標(biāo)平臺(tái)定義、能力與技術(shù)詳解
一、ETL的原罪和 NoETL 的全新思路
1.應(yīng)對(duì)數(shù)智化分析需求,反范式 ETL 加工不堪重負(fù)
數(shù)字化轉(zhuǎn)型多年,現(xiàn)在很多業(yè)務(wù)人員都依賴(lài)數(shù)據(jù)來(lái)做日常決策。傳統(tǒng)的方式是業(yè)務(wù)提需求給 IT,IT 會(huì)根據(jù)每個(gè)特定需求開(kāi)發(fā)定制化的寬表和匯總表,再做成 BI 工具里的報(bào)表。在這個(gè)過(guò)程中,會(huì)有很多反范式的 ETL 加工,使得整個(gè)數(shù)倉(cāng)的數(shù)據(jù)管道越來(lái)越長(zhǎng)、越來(lái)越深,企業(yè)數(shù)據(jù)治理的難度也越來(lái)越大。
2.ETL工程陷入“效率、質(zhì)量、成本”的不可能三角
反范式的加工給企業(yè)帶來(lái)高成本、低質(zhì)量、低效率的問(wèn)題。
高成本:IT接到不同業(yè)務(wù)部門(mén)不同業(yè)務(wù)人員提出的需求,為了快速響應(yīng)業(yè)務(wù)的需求,直接開(kāi)發(fā)數(shù)據(jù)集市層表,結(jié)果導(dǎo)致不同IT之間存在大量重復(fù)的寬表和匯總表建設(shè),占用大量存儲(chǔ)計(jì)算資源的消耗,帶來(lái)高成本。
低效率:在原來(lái)傳統(tǒng)的反范式ETL加工過(guò)程中,業(yè)務(wù)一開(kāi)始提的需求是模糊化的,因?yàn)闃I(yè)務(wù)沒(méi)有看到數(shù)據(jù),也想不清楚。IT開(kāi)發(fā)完交付給業(yè)務(wù)的時(shí)候,業(yè)務(wù)發(fā)現(xiàn)開(kāi)發(fā)的需求跟原本設(shè)想的不一樣,于是就有了再改一個(gè)口徑、再加一個(gè)字段等類(lèi)似的需求。整個(gè)過(guò)程存在反復(fù)溝通,IT需要排期,業(yè)務(wù)需要等待,所以,ETL成了數(shù)字化分析過(guò)程中一個(gè)核心的瓶頸。
低質(zhì)量:大量重復(fù)的寬表和匯總表開(kāi)發(fā)會(huì)導(dǎo)致同一個(gè)指標(biāo)分散在不同的報(bào)表里,進(jìn)而可能出現(xiàn)不同報(bào)表里數(shù)據(jù)對(duì)不上的問(wèn)題。比如,各個(gè)業(yè)務(wù)部門(mén)去向公司領(lǐng)導(dǎo)匯報(bào)的時(shí)候,每一個(gè)部門(mén)的績(jī)效都完成得特別好,但是公司整體的績(jī)效并不是那么好。真的是各個(gè)業(yè)務(wù)部門(mén)業(yè)績(jī)完成得好,公司層面出了問(wèn)題嗎?可想而知,情況肯定不是這樣的,應(yīng)該是各業(yè)務(wù)部門(mén)的數(shù)據(jù)口徑不一致,最后出現(xiàn)了在公司總體層面數(shù)據(jù)對(duì)不上的情況。
3. 如何將“效率、質(zhì)量、成本”不可能的三角變?yōu)榭赡埽?/strong>
有沒(méi)有什么辦法能解決“效率、質(zhì)量、成本”不可能三角的問(wèn)題呢?整體來(lái)說(shuō),有兩種思路:
第一個(gè)思路是不開(kāi)發(fā)寬表匯總表。既然“不可能三角”的原罪在于人工的大量的反范式加工,那能不能不進(jìn)行這樣的加工呢?早期,數(shù)據(jù)量較小,這個(gè)模式是可行的,直接開(kāi)發(fā)公共層的明細(xì)表提供給業(yè)務(wù)去消費(fèi),可以大幅減少不可能三角。然而在大數(shù)據(jù)量的情況下,不做寬表和匯總表的開(kāi)發(fā)很難保證性能,因此這條路行不通。
第二個(gè)思路是將人工 ETL 方式變成 NoETL。原來(lái)“不可能三角”是人工做開(kāi)發(fā),那么能不能將人工的方式變成自動(dòng)化的方式?這條路是可行的。
二、如何實(shí)現(xiàn)數(shù)倉(cāng)應(yīng)用層 NoETL
1.應(yīng)用層 NoETL 自動(dòng)化的前提是指標(biāo)語(yǔ)義的標(biāo)準(zhǔn)化沉淀
把人工變成自動(dòng)化的前提是讓機(jī)器和系統(tǒng)理解業(yè)務(wù)需要的指標(biāo)的業(yè)務(wù)邏輯,即實(shí)現(xiàn)應(yīng)用層 NoETL 自動(dòng)化的前提是指標(biāo)語(yǔ)義的標(biāo)準(zhǔn)化沉淀,也就是需要將業(yè)務(wù)指標(biāo)體系以及指標(biāo)的計(jì)算邏輯告訴系統(tǒng)。
從上圖中可以看到,原來(lái)數(shù)倉(cāng)是從貼源層到公共層再到集市層的開(kāi)發(fā),現(xiàn)在將集市層用指標(biāo)語(yǔ)義層代替。這樣,原來(lái)需要在集市層做大量的反范式的開(kāi)發(fā),現(xiàn)在只需要將業(yè)務(wù)的指標(biāo)以及指標(biāo)的計(jì)算邏輯通過(guò)配置化方式告訴系統(tǒng)即可,不需要做物理鏈路的開(kāi)發(fā)實(shí)現(xiàn)。所以,要有指標(biāo)語(yǔ)義標(biāo)準(zhǔn)化沉淀的過(guò)程。
2.如何做到指標(biāo)語(yǔ)義標(biāo)準(zhǔn)化沉淀
基于標(biāo)準(zhǔn)化語(yǔ)義,自動(dòng)化生成反范式的寬表與匯總表。
首先,需要有星型模型、雪花模型等強(qiáng)大的模型能力。原來(lái),在數(shù)倉(cāng)里需要將維度表里的維度打?qū)挼绞聦?shí)表里面生成新的寬表,或者是基于某些維度做輕粒度或重粒度的匯總加工?,F(xiàn)在,只需要建立明細(xì)事實(shí)表和維度表之間的邏輯關(guān)聯(lián)關(guān)系,無(wú)需物理打?qū)?,保持模型的靈活性,支持靈活的跨表指標(biāo)定義和靈活的維度下鉆分析。
需要標(biāo)準(zhǔn)化指標(biāo)定義的能力,能夠把指標(biāo)的計(jì)算邏輯通過(guò)標(biāo)準(zhǔn)化的方式定義出來(lái)。
有了指標(biāo)標(biāo)準(zhǔn)化定義的能力和模型能力,反范式的寬表和匯總表的加工就可以實(shí)現(xiàn)系統(tǒng)自動(dòng)了。系統(tǒng)可以自動(dòng)將一個(gè)事實(shí)表和多個(gè)維度表的維度組合在一起,也可以實(shí)現(xiàn)多個(gè)事實(shí)表背后的不同指標(biāo)和多個(gè)維度一起分析。業(yè)務(wù)人員不用關(guān)心多個(gè)指標(biāo)到底來(lái)自于哪一張物理表,屏蔽了底層的技術(shù)概念,用戶(hù)感受到的是指標(biāo)和維度這樣偏業(yè)務(wù)語(yǔ)言的概念。
原來(lái)傳統(tǒng)的方式為什么做不到呢?要實(shí)現(xiàn)指標(biāo)定義能力承載在指標(biāo)平臺(tái)上,要求平臺(tái)具備強(qiáng)大的指標(biāo)語(yǔ)義表達(dá)能力。如果平臺(tái)沒(méi)有很強(qiáng)大的語(yǔ)義表達(dá)能力,就需要在數(shù)倉(cāng)或者BI 工具里寫(xiě) SQL 開(kāi)發(fā)來(lái)定義指標(biāo)的計(jì)算邏輯。
怎么保證所有的指標(biāo)定義都在平臺(tái)上承載。
指標(biāo)定義可分成四大類(lèi):
窗口計(jì)算函數(shù),如證券行業(yè)中看資金凈買(mǎi)入額在行業(yè)中的排名。
多層聚合嵌套,不是簡(jiǎn)單的一次聚合。比如,在求平均的基礎(chǔ)之上,再去看最大值或者最小值。求近一年、月、日均AUM的最大值,需要進(jìn)行三次聚合,第一次算出每一天AUM,第二次算出一個(gè)月AUM的均值,第三次基于每個(gè)月的均值算出一年十二個(gè)月中月均/日均的最大值。類(lèi)似這種多層聚合的嵌套,一千個(gè)人有一千種寫(xiě)法,系統(tǒng)很難判斷如何表達(dá),可以通過(guò)配置化的方式實(shí)現(xiàn)標(biāo)準(zhǔn)化模板化。
行間計(jì)算,比如近三十天的銷(xiāo)售量。
模型計(jì)算,跨多個(gè)事實(shí)表和維表之間的計(jì)算。在活動(dòng)中經(jīng)常遇到的場(chǎng)景,是先把指標(biāo)變成一個(gè)標(biāo)簽或者變成一個(gè)維度,再計(jì)算特定客群的表現(xiàn)。比如,近三十天領(lǐng)取消費(fèi)券客戶(hù)的購(gòu)買(mǎi)金額。
除此之外,還有常規(guī)聚合類(lèi)和日期函數(shù)等,通過(guò)將函數(shù)抽象封裝成配置化的模板來(lái)支持復(fù)雜的指標(biāo)計(jì)算,讓技術(shù)能力不是很強(qiáng)的業(yè)務(wù)分析師或者業(yè)務(wù)人員無(wú)需寫(xiě) SQL 也可以自助定義指標(biāo)。原來(lái)面向業(yè)務(wù)場(chǎng)景的大量的反范式的寬表和匯總表一定需要 IT 開(kāi)發(fā),現(xiàn)在業(yè)務(wù)人員能夠自主做數(shù)據(jù)準(zhǔn)備,不需要有很強(qiáng)的技術(shù)能力。
指標(biāo)定義轉(zhuǎn)計(jì)算節(jié)點(diǎn),支持復(fù)雜指標(biāo)自動(dòng)轉(zhuǎn)成一個(gè)節(jié)點(diǎn)。
上圖中展示了指標(biāo)鏈路:先定義原子指標(biāo)“銷(xiāo)售額”,然后在原子指標(biāo)的基礎(chǔ)上定義派生指標(biāo)“近 7 日銷(xiāo)售額”,又在派生指標(biāo)的基礎(chǔ)上定義衍生指標(biāo)“銷(xiāo)售額占比”,在衍生指標(biāo)的基礎(chǔ)上定義復(fù)合指標(biāo)“銷(xiāo)售額占比去年同期的增長(zhǎng)率”。整個(gè)指標(biāo)定義鏈路很復(fù)雜,涉及從原子到派生到衍生到復(fù)合再到衍生的過(guò)程,通過(guò)語(yǔ)義層,可以將這個(gè)鏈路變成相對(duì) SQL 來(lái)說(shuō)非常簡(jiǎn)單的函數(shù)。
3.指標(biāo)語(yǔ)義+最佳數(shù)據(jù)工程實(shí)踐,實(shí)現(xiàn)自動(dòng)化指標(biāo)生產(chǎn)
分成三個(gè)策略:
自動(dòng)化數(shù)據(jù)編排。多個(gè)指標(biāo)和多個(gè)維度放在一起分析,比如查看不同日期、不同品類(lèi)的下單量和退款量,下單量和退款量可能來(lái)自于兩個(gè)不同的事實(shí)表。自動(dòng)化指標(biāo)生產(chǎn)的時(shí)候會(huì)基于物理表的拆分邏輯,對(duì)不同的事實(shí)表進(jìn)行拆分,保證數(shù)據(jù)產(chǎn)出的時(shí)效不受影響,同時(shí)不造成數(shù)據(jù)膨脹。自動(dòng)化數(shù)據(jù)編排優(yōu)化還遵循了數(shù)倉(cāng)中的最佳的數(shù)據(jù)工程實(shí)踐:冗余維度屬性打?qū)?;長(zhǎng)周期依賴(lài)短周期;粗粒度依賴(lài)細(xì)粒度。
自動(dòng)化代碼生成。數(shù)據(jù)編排后,系統(tǒng)根據(jù)指標(biāo)語(yǔ)義自動(dòng)生成優(yōu)化后的最佳SQL供計(jì)算引擎執(zhí)行。
自動(dòng)化變更回刷。上游的數(shù)據(jù)發(fā)生變更怎么去做自動(dòng)的分析和回刷呢?首先,自動(dòng)化感知上游的變更有兩種方式,第一種是通過(guò)任務(wù)的DAG圖自動(dòng)獲取上游的信息,實(shí)時(shí)進(jìn)行數(shù)據(jù)回刷;第二種是通過(guò)定時(shí)任務(wù)的配置進(jìn)行定期刷新。一旦上游數(shù)據(jù)發(fā)生了變更,系統(tǒng)會(huì)自動(dòng)識(shí)別變更點(diǎn)及回刷范圍,自動(dòng)化進(jìn)行變更回刷,以保證數(shù)據(jù)的準(zhǔn)確性。
4.自動(dòng)化指標(biāo)生產(chǎn)的核心能力
自動(dòng)化指標(biāo)生產(chǎn)的核心能力分為兩層。
計(jì)算引擎層:通過(guò)內(nèi)置MPP計(jì)算引擎或者利用企業(yè)自有的MPP引擎,所有的SQL查詢(xún)都在查詢(xún)引擎中進(jìn)行,目前支持StarRocks、Doris等MPP查詢(xún)引擎。
物化加速層:MPP查詢(xún)引擎之上是物化視圖的構(gòu)建策略和命中策略,類(lèi)似物化加速策略大腦。支持通過(guò)人工物化或者智能物化兩種策略,實(shí)現(xiàn)物化視圖的構(gòu)建,和指定指標(biāo)與維度的物化加速。同時(shí),基于用戶(hù)查詢(xún)行為,系統(tǒng)自動(dòng)進(jìn)行查詢(xún)改寫(xiě),通知MPP層的查詢(xún)引擎直接查明細(xì)數(shù)據(jù)還是物化表,保證大數(shù)據(jù)量場(chǎng)景下的查詢(xún)性能。
三、第三代指標(biāo)平臺(tái)的能力與價(jià)值
1.第三代指標(biāo)平臺(tái)的能力
總結(jié)來(lái)說(shuō),應(yīng)用層 NoETL的核心是語(yǔ)義化和自動(dòng)化兩個(gè)能力。通過(guò)語(yǔ)義化提供任意復(fù)雜指標(biāo)的配置化定義,通過(guò)自動(dòng)化實(shí)現(xiàn)指標(biāo)的定義即開(kāi)發(fā)。如果沒(méi)有性能問(wèn)題,只要完成了語(yǔ)義化的定義,用戶(hù)就可以直接消費(fèi)數(shù)據(jù)了,這個(gè)過(guò)程叫做定義及服務(wù)。如果數(shù)據(jù)量比較大,系統(tǒng)會(huì)自動(dòng)化進(jìn)行寬表匯總表加工,來(lái)保證查詢(xún)性能,這就是第三代指標(biāo)平臺(tái),將原來(lái) ETL 人工開(kāi)發(fā)變成了 NoETL 的自動(dòng)化開(kāi)發(fā)。
2.第三代指標(biāo)平臺(tái)的價(jià)值
Aloudata(大應(yīng)科技)公司推出的第三代指標(biāo)平臺(tái)產(chǎn)品名為 Aloudata CAN,實(shí)現(xiàn)了 NoETL 的自動(dòng)化生產(chǎn)。
指標(biāo)從定義到開(kāi)發(fā)到應(yīng)用是一體化的,保證業(yè)務(wù)人員能夠看懂。原來(lái)業(yè)務(wù)人員做分析的時(shí)候,面對(duì)的是數(shù)據(jù)集、物理表、字段這種偏技術(shù)的概念,現(xiàn)在面對(duì)的是指標(biāo)和維度這些偏業(yè)務(wù)的概念,更容易理解。除了指標(biāo)的業(yè)務(wù)含義外,還提供指標(biāo)血緣,讓業(yè)務(wù)能夠清晰地了解指標(biāo)的加工過(guò)程和口徑。同時(shí),如果指標(biāo)口徑發(fā)生了變更,平臺(tái)會(huì)保存所有的指標(biāo)版本,可以進(jìn)行歷史口徑版本的對(duì)比。
對(duì)于承擔(dān)數(shù)據(jù)管理職責(zé)的 IT 團(tuán)隊(duì)來(lái)講,能夠?qū)崿F(xiàn)管得住。原來(lái)大量的指標(biāo)邏輯是在數(shù)倉(cāng)中由不同 IT 人員開(kāi)發(fā)實(shí)現(xiàn)的,溝通協(xié)調(diào)比較復(fù)雜,需要花費(fèi)很大的成本才能保證指標(biāo)口徑的一致性?,F(xiàn)在,針對(duì)同樣的指標(biāo)進(jìn)行不同維度的分析,只需要一次定義,就可以處處使用了。
同時(shí),指標(biāo)是基于公共層的明細(xì)數(shù)據(jù)生成的,保留了原來(lái)在公共層事實(shí)表和維度表的靈活性與豐富度,同一個(gè)指標(biāo)能夠支持多個(gè)維度下鉆分析和任意維度的篩選組合,提供良好的用戶(hù)體驗(yàn)。
第三代指標(biāo)平臺(tái) Aloudata CAN 為業(yè)務(wù)帶來(lái)的價(jià)值可以總結(jié)為兩方面:
(1)基于 Aloudata CAN 實(shí)現(xiàn)數(shù)倉(cāng)集市層 NoETL
指標(biāo)語(yǔ)義層替換傳統(tǒng)數(shù)倉(cāng)中的集市層,通過(guò)指標(biāo)語(yǔ)義層實(shí)現(xiàn)自動(dòng)化集市層開(kāi)發(fā)。
在質(zhì)量方面做到百分之百的指標(biāo)口徑一致。因?yàn)樗兄笜?biāo)語(yǔ)義都是通過(guò)標(biāo)準(zhǔn)化、配置化的模板實(shí)現(xiàn)的,通過(guò)原子化指標(biāo)的組裝,系統(tǒng)能夠提供指標(biāo)重復(fù)校驗(yàn),方便知道指標(biāo)的計(jì)算邏輯是否一樣,規(guī)避了“同名不同義”、“同義不同名”等二義性問(wèn)題。
在效率方面也得到了提升。原來(lái)指標(biāo)的開(kāi)發(fā)依賴(lài)于 IT 人員,一體化后,將指標(biāo)的開(kāi)發(fā)和定義能力交給業(yè)務(wù)人員去做,降低了 IT 與業(yè)務(wù)的溝通成本,提高了效率。
在成本方面做到了節(jié)約。原來(lái)反范式的加工方式導(dǎo)致大量重復(fù)的寬表和匯總表開(kāi)發(fā),現(xiàn)在指標(biāo)語(yǔ)義層通過(guò)自動(dòng)化的方式可以規(guī)避重復(fù)開(kāi)發(fā)。比如原來(lái)集市層做了一百?gòu)垖挶砗蛥R總表,可能因?yàn)橹貜?fù)開(kāi)發(fā),實(shí)際上只需要開(kāi)發(fā)八十張表;八十張表里面,六十張表可以直接查詢(xún)無(wú)需物化,二十張表因?yàn)閿?shù)據(jù)量比較大,系統(tǒng)可以自動(dòng)化開(kāi)發(fā)寬表和匯總表;又因?yàn)橐婚_(kāi)始 ETL 的時(shí)候不清楚業(yè)務(wù)想要什么,為避免因漏掉業(yè)務(wù)常用的維度而反復(fù)變更,會(huì)把冗余的維度放在事實(shí)表里面,造成字段利用率低?,F(xiàn)在系統(tǒng)按需進(jìn)行開(kāi)發(fā),在相同的二十張寬表和匯總表里面可以減少冗余字段的開(kāi)發(fā),大大節(jié)約計(jì)算和存儲(chǔ)成本。
(2)Aloudata CAN,提供智能且靈活的洞察分析
上述是從“不可能三角”的視角來(lái)看價(jià)值,更偏向于管理層和 IT 方面。業(yè)務(wù)人員能感知到的則是分析的靈活性和指標(biāo)數(shù)據(jù)的一致性。
原來(lái)做指標(biāo)歸因依賴(lài)數(shù)倉(cāng)已經(jīng)開(kāi)發(fā)的表,會(huì)有維度的缺失。基于 Aloudata CAN 指標(biāo)平臺(tái),只要是在公共層的維度表存在的維度,都可以用來(lái)做指標(biāo)歸因和下鉆分析,使得業(yè)務(wù)人員能夠找到指標(biāo)波動(dòng)背后的根本原因。
原來(lái)做自助探索分析的時(shí)候,希望增加一個(gè)視角來(lái)看數(shù)據(jù),需要向 IT 提需求?,F(xiàn)在通過(guò) Aloudata CAN 指標(biāo)平臺(tái),可以從任意的顆粒度和維度進(jìn)行分析,甚至可以拿到背后的明細(xì)數(shù)據(jù)。
目前,有很多金融行業(yè)的頭部客戶(hù)都在嘗試用大模型打造新的對(duì)話式的體驗(yàn)。原來(lái)通過(guò) NL2SQL 的方式返回?cái)?shù)據(jù),存在數(shù)據(jù)精準(zhǔn)度不夠的問(wèn)題,會(huì)有答非所問(wèn)的情況出現(xiàn)?,F(xiàn)在,基于 Aloudata CAN 指標(biāo)平臺(tái),通過(guò)指標(biāo)語(yǔ)義層加大模型能為企業(yè)對(duì)話式分析帶來(lái)更為精準(zhǔn)的體驗(yàn)。
四、第三代指標(biāo)平臺(tái)做輕數(shù)倉(cāng)實(shí)踐
助力某證券公司實(shí)現(xiàn)指標(biāo)統(tǒng)一管理與復(fù)用。
該客戶(hù)面臨的挑戰(zhàn)是:
指標(biāo)口徑不一致。原來(lái),為了響應(yīng)不同的業(yè)務(wù)需求,相同的指標(biāo)有不同的開(kāi)發(fā)鏈路,導(dǎo)致了指標(biāo)口徑的不一致。
排查耗時(shí)。因?yàn)槿鄙僦笜?biāo)加工鏈路和指標(biāo)血緣,排查和定位指標(biāo)口徑工作量會(huì)特別大,耗費(fèi)大量的時(shí)間。
對(duì)業(yè)務(wù)來(lái)講,靈活性不夠,缺少分析所需要的各種維度。
通過(guò) Aloudata CAN 指標(biāo)能夠解決這些問(wèn)題。
指標(biāo)規(guī)范管理,同一個(gè)指標(biāo)只需要定義一次。
由業(yè)務(wù)人員定義派生指標(biāo)。IT只需要進(jìn)行公共層事實(shí)表和維度表的數(shù)據(jù)模型開(kāi)發(fā),并進(jìn)行最小顆粒度的原子指標(biāo)定義。業(yè)務(wù)人員可以根據(jù)自己想要的各種場(chǎng)景,基于指標(biāo)和維度自助地組裝出自己想要的派生指標(biāo),減少了很多IT的開(kāi)發(fā)工作。
在傳統(tǒng)方式中,業(yè)務(wù)向 IT 提了三十個(gè)指標(biāo)和二十個(gè)維度的分析需求,IT 在溝通過(guò)程中發(fā)現(xiàn)其中的五個(gè)指標(biāo)和五個(gè)維度已經(jīng)開(kāi)發(fā),只需要開(kāi)發(fā)二十五個(gè)指標(biāo)和十五個(gè)維度。IT 完成開(kāi)發(fā)后,交給業(yè)務(wù)人員驗(yàn)收,業(yè)務(wù)人員發(fā)現(xiàn)指標(biāo)和維度可能少了,需要反復(fù)溝通,一般這個(gè)過(guò)程至少要循環(huán)往復(fù)兩到三輪。這樣的模式下,從需求提出到交付驗(yàn)收需要兩周的周期。
通過(guò) Aloudata CAN 指標(biāo)平臺(tái)不斷地沉淀已經(jīng)定義好的指標(biāo)和維度,IT 就能越做越輕。同樣面對(duì)業(yè)務(wù)提出的三十個(gè)指標(biāo)和二十個(gè)維度的分析需求,發(fā)現(xiàn)二十五個(gè)基礎(chǔ)指標(biāo)已經(jīng)定義,而且基于基礎(chǔ)指標(biāo)的維度都已存在,就可以請(qǐng)業(yè)務(wù)通過(guò)拖拉拽進(jìn)行自助分析了。針對(duì)原來(lái)沒(méi)有進(jìn)行基礎(chǔ)指標(biāo)定義的五個(gè)指標(biāo),雙方要溝通指標(biāo)口徑定義,因?yàn)槭窃又笜?biāo),業(yè)務(wù)邏輯并不復(fù)雜,所以溝通過(guò)程也會(huì)很簡(jiǎn)單。而且,IT 定義完指標(biāo)后,業(yè)務(wù)可以實(shí)時(shí)進(jìn)行指標(biāo)預(yù)覽,業(yè)務(wù)人員能快速看到指標(biāo)是否符合預(yù)期,并且可以切換不同的維度去看,如果符合預(yù)期,業(yè)務(wù)就可以驗(yàn)收并進(jìn)行數(shù)據(jù)分析了。
傳統(tǒng)的數(shù)倉(cāng)基于反范式模式的開(kāi)發(fā),IT 越做越重,因?yàn)楸碓絹?lái)越多,鏈路的依賴(lài)越來(lái)越長(zhǎng),問(wèn)題排查也越來(lái)越難?;谥笜?biāo)語(yǔ)義層,數(shù)倉(cāng)可以越做越輕,一旦做好原子指標(biāo)的沉淀,就會(huì)越做越少,越做越輕松。分析效率有顯著的提升,從原來(lái)的兩周縮短到了兩天。
對(duì)于整個(gè)行業(yè)來(lái)說(shuō),可以提升創(chuàng)新試錯(cuò)的效率。原來(lái)一輪試錯(cuò)可能要一個(gè)月,現(xiàn)在可能僅用一周即可完成。
- 上一篇
經(jīng)驗(yàn)復(fù)刻,企業(yè)IT韌性的提升之道?
隨著信息系統(tǒng)的日益復(fù)雜,如何提高IT韌性成為企業(yè)亟待解決的問(wèn)題。提升IT韌性,不僅意味著增強(qiáng)系統(tǒng)的穩(wěn)定性和可靠性,更需要在面對(duì)突發(fā)狀況時(shí)能夠快速恢復(fù)業(yè)務(wù)。這既是對(duì)企業(yè)技術(shù)實(shí)力的考驗(yàn),也是對(duì)企業(yè)運(yùn)營(yíng)理念的挑戰(zhàn)。
- 下一篇
全世界的IP地址用完了,我們還能上網(wǎng)嗎?
2019年11月25日,歐洲網(wǎng)絡(luò)協(xié)調(diào)中心(RIPE NCC)宣布IPv4地址已全部用完,該機(jī)構(gòu)是全球五大區(qū)域互聯(lián)網(wǎng)注冊(cè)管理機(jī)構(gòu)之一。那么問(wèn)題來(lái)了2024年的我們?cè)贗P地址用完三年多以后為什么還能
相關(guān)資訊
- 2023年的九大物聯(lián)網(wǎng)業(yè)務(wù)模式
- 元宇宙發(fā)展的七大優(yōu)秀技術(shù)
- 人工智能的進(jìn)步幫助營(yíng)銷(xiāo)人員進(jìn)行
- 舊門(mén)改裝智能鎖需要注意什么?
- 快手雙邊市場(chǎng)的復(fù)雜實(shí)驗(yàn)設(shè)計(jì)問(wèn)題
- 供應(yīng)鏈管理領(lǐng)域的四大新興趨勢(shì)
- 云技能差距是成功進(jìn)行數(shù)字化轉(zhuǎn)型
- 物聯(lián)網(wǎng)將如何改變虛擬現(xiàn)實(shí)技術(shù)的
- 工信部:三大運(yùn)營(yíng)商蜂窩物聯(lián)網(wǎng)終端
- 是時(shí)候放棄云計(jì)算了