如何設(shè)計(jì)云原生數(shù)據(jù)治理方案
一、背景
數(shù)據(jù)治理項(xiàng)目通常伴隨著監(jiān)管壓力、高成本和不明確的投資回報(bào)。識(shí)別關(guān)鍵數(shù)據(jù)、管理元數(shù)據(jù)、控制數(shù)據(jù)質(zhì)量和確定數(shù)據(jù)來(lái)源的程序通常耗時(shí)較長(zhǎng)且成本高昂。比如銀行業(yè)的相關(guān)年度成本很容易超過(guò)每年 1000 萬(wàn)元,有時(shí)甚至超過(guò) 1 億元。執(zhí)行過(guò)程既痛苦又緩慢,因?yàn)樾枰跀?shù)百個(gè)系統(tǒng)和應(yīng)用程序中手動(dòng)識(shí)別數(shù)千個(gè)數(shù)據(jù)元素,而這些系統(tǒng)和應(yīng)用程序通常是在過(guò)去幾十年創(chuàng)建的。
也許其中最難以捉摸的是數(shù)據(jù)沿襲。一些供應(yīng)商已經(jīng)設(shè)法創(chuàng)建可以掃描系統(tǒng)和收集元數(shù)據(jù)的工具,但它們通常無(wú)法連接到大多數(shù)現(xiàn)有系統(tǒng)環(huán)境。由于數(shù)據(jù)流通常沒(méi)有在整個(gè)企業(yè)中進(jìn)行結(jié)構(gòu)性和一致的記錄,因此主要依靠供應(yīng)商知識(shí)和手動(dòng)映射工作來(lái)編譯它們。當(dāng)供應(yīng)商紛紛離開(kāi)時(shí),這種知識(shí)就會(huì)離開(kāi)企業(yè),情況也會(huì)變得更加嚴(yán)重。
此外,即使業(yè)務(wù)和技術(shù)元數(shù)據(jù)已被記錄為協(xié)調(diào)補(bǔ)救計(jì)劃的一部分,但由于元數(shù)據(jù)捕獲和記錄不是自動(dòng)化的,大多數(shù)元數(shù)據(jù)很快就會(huì)過(guò)時(shí)。保持其最新需要持續(xù)的手動(dòng)工作。
最后,組織將這些元數(shù)據(jù)共享到企業(yè)的業(yè)務(wù)部門,以實(shí)現(xiàn)除數(shù)據(jù)治理本身之外的業(yè)務(wù)目的。許多大型組織都有數(shù)據(jù)戰(zhàn)略,以某種形式闡明數(shù)據(jù)管理基礎(chǔ)也應(yīng)該為數(shù)據(jù)科學(xué)等業(yè)務(wù)目的提供支持,但很少有人在實(shí)踐中成功實(shí)現(xiàn)這一點(diǎn)。
基于云的技術(shù)的出現(xiàn)帶來(lái)了可擴(kuò)展性、彈性、更低的成本、快速部署和增強(qiáng)的數(shù)據(jù)技術(shù)兼容性的承諾。在過(guò)去幾年中,我們與各種組織就其云遷移和數(shù)據(jù)現(xiàn)代化計(jì)劃進(jìn)行了合作,從設(shè)計(jì)的那一刻起就出現(xiàn)了如何智能管理數(shù)據(jù)的模式。
例如,可以為 API 定義互操作標(biāo)準(zhǔn),以便未來(lái)數(shù)據(jù)沿襲可視化中的日志記錄和治理實(shí)現(xiàn)自動(dòng)化。數(shù)據(jù)質(zhì)量控制可以基于一致的數(shù)據(jù)模型創(chuàng)建并直接嵌入到新的基礎(chǔ)設(shè)施中。轉(zhuǎn)換期間存在的知識(shí)不會(huì)丟失或降級(jí),因?yàn)橛嘘P(guān)數(shù)據(jù)元素及其來(lái)源的關(guān)鍵信息會(huì)輕松記錄在數(shù)據(jù)目錄中。
接下來(lái)將進(jìn)一步詳細(xì)闡述數(shù)據(jù)治理設(shè)計(jì)的概念,并解釋如何通過(guò)數(shù)據(jù)資產(chǎn)、數(shù)據(jù)管理中心和 API 驅(qū)動(dòng)架構(gòu)等功能(通過(guò)稱為 Data Fabric 的數(shù)據(jù)層)實(shí)現(xiàn)數(shù)據(jù)治理。
二、框架
在基于服務(wù)的架構(gòu)中,微服務(wù)連接組織的業(yè)務(wù)流程。在這樣的架構(gòu)中,四個(gè)基礎(chǔ)組件可以共同實(shí)現(xiàn)數(shù)據(jù)管理和數(shù)據(jù)治理的設(shè)計(jì)。下面提供了一個(gè)示例:描述了一個(gè)擁有 5 個(gè)部門(風(fēng)險(xiǎn)與合規(guī)、財(cái)務(wù)、營(yíng)銷、客戶管理和產(chǎn)品開(kāi)發(fā))的組織。每個(gè)部門創(chuàng)建并維護(hù)多個(gè)數(shù)據(jù)產(chǎn)品,其中一部分被歸類為“數(shù)據(jù)資產(chǎn)”,因?yàn)槠渌块T的消費(fèi)者也使用它們。不同部門之間,各種API交換數(shù)據(jù)和信息。所有這一切都是根據(jù)數(shù)據(jù)基礎(chǔ)結(jié)構(gòu)精心策劃的,并由數(shù)據(jù)管理中心掃描并提供數(shù)據(jù)管理和服務(wù)。讓我們快速瀏覽一下這些組件。
數(shù)據(jù)資產(chǎn)——每個(gè)域或部門通常都會(huì)生成供其他域使用的數(shù)據(jù)或信息。例如,客戶管理域可以通過(guò)入職和客戶關(guān)系管理流程收集客戶數(shù)據(jù),以生成和維護(hù)包含客戶信息的中央數(shù)據(jù)庫(kù)。營(yíng)銷團(tuán)隊(duì)可以使用該數(shù)據(jù)庫(kù)來(lái)執(zhí)行銷售活動(dòng),風(fēng)險(xiǎn)部門可以使用該數(shù)據(jù)庫(kù)來(lái)確認(rèn)是否遵守?cái)?shù)據(jù)隱私法規(guī)。此類數(shù)據(jù)產(chǎn)品被賦予了不同的標(biāo)簽,其中包括數(shù)據(jù)產(chǎn)品、數(shù)據(jù)資產(chǎn)、可信來(lái)源、權(quán)威數(shù)據(jù)源和記錄系統(tǒng)。
API 驅(qū)動(dòng)的架構(gòu)——不同的團(tuán)隊(duì)通過(guò) API 作為首選或唯一的數(shù)據(jù)集成方法進(jìn)行連接。保持 API 優(yōu)先的理念可確保組織內(nèi)部和外部的消費(fèi)者都可以使用任何關(guān)鍵數(shù)據(jù)。
數(shù)據(jù)管理中心——在單獨(dú)配置的空間或環(huán)境中提供一組數(shù)據(jù)管理功能。這些功能包括元數(shù)據(jù)管理、主數(shù)據(jù)和參考數(shù)據(jù)管理以及數(shù)據(jù)質(zhì)量。不必在組織的每個(gè)區(qū)域內(nèi)構(gòu)建這些功能,而是可以從中央數(shù)據(jù)管理進(jìn)行部署。
Data Fabric— 提供跨所有系統(tǒng)和應(yīng)用程序連接的線程稱為 Data Fabric。它不是一個(gè)可以憑空實(shí)例化的魔法層;相反,它由一組支持功能和經(jīng)過(guò)仔細(xì)考慮的治理協(xié)議組成,這些協(xié)議共同使整個(gè)企業(yè)的數(shù)據(jù)可發(fā)現(xiàn)、編目、分類、標(biāo)記、質(zhì)量控制,并可通過(guò)通用的互操作性標(biāo)準(zhǔn)和渠道進(jìn)行訪問(wèn)。
采用數(shù)據(jù)資產(chǎn)理念管理
什么是數(shù)據(jù)資產(chǎn)
數(shù)據(jù)資產(chǎn)是一組準(zhǔn)備好的數(shù)據(jù)(一般不是原始數(shù)據(jù)),可供更廣泛的消費(fèi)者使用。它受到管理、貼上標(biāo)簽、質(zhì)量受控且易于訪問(wèn)。它是可發(fā)現(xiàn)和描述的,以便為整個(gè)企業(yè)的消費(fèi)者啟用自助服務(wù)。數(shù)據(jù)資產(chǎn)通常在整個(gè)企業(yè)中重復(fù)使用,并在給定的數(shù)據(jù)或業(yè)務(wù)域內(nèi)擁有。
為什么被高度關(guān)注
鑒于數(shù)據(jù)資產(chǎn)被大量消費(fèi)者使用,因此這是實(shí)施數(shù)據(jù)質(zhì)量和治理控制的非常合乎邏輯的位置。在該受管資產(chǎn)中,內(nèi)容被標(biāo)記,數(shù)據(jù)質(zhì)量受到嚴(yán)格控制,因此不必在整個(gè)企業(yè)中識(shí)別和測(cè)量這些數(shù)據(jù),這通常會(huì)導(dǎo)致不一致的“事實(shí)版本”,而是有一個(gè)可信的分發(fā)點(diǎn)給定的數(shù)據(jù)集。例如,美國(guó)十大銀行已經(jīng)啟動(dòng)了一些計(jì)劃來(lái)識(shí)別這些關(guān)鍵數(shù)據(jù)源并對(duì)其進(jìn)行管理。通常,大約 20 到 100 個(gè)數(shù)據(jù)資產(chǎn)將使組織能夠控制其所有關(guān)鍵數(shù)據(jù),這比嘗試在 1000 個(gè)單獨(dú)系統(tǒng)中定義數(shù)據(jù)質(zhì)量要有效得多。
數(shù)據(jù)資產(chǎn)采用
創(chuàng)建和定義數(shù)據(jù)資產(chǎn)還不夠。一個(gè)必要且同樣重要的步驟是管理它們的使用,因?yàn)槿绻M(fèi)者不使用它們,他們就無(wú)法從集中控制的數(shù)據(jù)質(zhì)量中受益。因此,許多組織已經(jīng)啟動(dòng)了各種版本的數(shù)據(jù)資產(chǎn)采用計(jì)劃。通常,一方面包括共享流通,加強(qiáng)培育對(duì)數(shù)據(jù)資產(chǎn)及其使用好處的認(rèn)識(shí),另一方面包括合規(guī)標(biāo)準(zhǔn)和機(jī)制,要求只能從數(shù)據(jù)資產(chǎn)而不是任何地方使用別的數(shù)據(jù)。
業(yè)務(wù)用戶和影響
對(duì)于數(shù)據(jù)組織來(lái)說(shuō),除了難以衡量的價(jià)值(例如避免監(jiān)管罰款)之外,闡明它們?yōu)槠髽I(yè)增加的價(jià)值一直是一場(chǎng)歷史性的斗爭(zhēng)。數(shù)據(jù)資產(chǎn)在這里改變了游戲規(guī)則。僅當(dāng)存在下游關(guān)鍵消耗時(shí),數(shù)據(jù)源才能成為數(shù)據(jù)資產(chǎn),因此建議記錄這些消費(fèi)者及其用例。
構(gòu)建數(shù)據(jù)資產(chǎn)和依賴于它們的用例的簡(jiǎn)單概述可以清楚地闡明這些資產(chǎn)產(chǎn)生的影響。通過(guò)收集數(shù)據(jù)的下游需求并評(píng)估如何在受信任的分發(fā)點(diǎn)內(nèi)控制和增強(qiáng)數(shù)據(jù),也可以更有效地執(zhí)行影響評(píng)估。例如,一家領(lǐng)先的保險(xiǎn)公司能夠相對(duì)精確地衡量一組增強(qiáng)的客戶數(shù)據(jù)如何使他們能夠更輕松地執(zhí)行和提高銷售活動(dòng)的有效性。
如果沒(méi)有數(shù)據(jù)資產(chǎn)的識(shí)別和主動(dòng)管理,結(jié)果通常是難以理解的數(shù)據(jù)流“蜘蛛網(wǎng)”,存在數(shù)據(jù)重復(fù)和不一致的情況。戰(zhàn)略性地使用數(shù)據(jù)資產(chǎn),可以識(shí)別使用獨(dú)特的可重復(fù)使用的精選的數(shù)據(jù)源用例組。
三、數(shù)據(jù)資產(chǎn)治理
需要一個(gè)治理模型來(lái)將數(shù)據(jù)資產(chǎn)嵌入到 Data Fabric 中,以確保它不會(huì)被“壞”數(shù)據(jù)淹沒(méi),其中“數(shù)據(jù)網(wǎng)格”是如何將此治理嵌入到組織中的主要方法。
數(shù)據(jù)網(wǎng)格
一個(gè)相對(duì)較新的術(shù)語(yǔ)是“數(shù)據(jù)網(wǎng)格”,它是一種使業(yè)務(wù)領(lǐng)域能夠在捕獲和維護(hù)數(shù)據(jù)的點(diǎn)管理其關(guān)鍵數(shù)據(jù)的方法,并由中央自助服務(wù)數(shù)據(jù)支持基礎(chǔ)設(shè)施。這與過(guò)去的努力形成鮮明對(duì)比,過(guò)去的組織試圖將其關(guān)鍵數(shù)據(jù)集中在數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)中。這種集中化工作通常會(huì)受到對(duì)中央數(shù)據(jù)團(tuán)隊(duì)的過(guò)度期望的困擾,這些團(tuán)隊(duì)沒(méi)有特定于業(yè)務(wù)的上下文來(lái)理解數(shù)據(jù),因此無(wú)法跟上消費(fèi)者所需的步伐。“臟”數(shù)據(jù)湖是一種常見(jiàn)癥狀。
治理模式
某些業(yè)務(wù)或功能域可能已準(zhǔn)備好立即管理其關(guān)鍵數(shù)據(jù)資產(chǎn),但其他域可能還沒(méi)有。以銀行業(yè)為例,通常相對(duì)成熟的領(lǐng)域包括風(fēng)險(xiǎn)和金融,因?yàn)樗鼈冊(cè)谧袷乇O(jiān)管數(shù)據(jù)治理準(zhǔn)則方面擁有多年的經(jīng)驗(yàn)。
允許域所有者生成數(shù)據(jù)資產(chǎn)供其他人使用有幾個(gè)要求。首先,支持領(lǐng)域必須在數(shù)據(jù)管理和工程方面具備最低水平的所需技能和經(jīng)驗(yàn)。其次,域所有者必須在團(tuán)隊(duì)內(nèi)部或外部擁有所需的資源,或委派部分職責(zé)的預(yù)算。維護(hù)數(shù)據(jù)資產(chǎn)通常不是一項(xiàng)全職工作,但同時(shí)它確實(shí)意味著重大責(zé)任。
基于這些考慮,企業(yè)可以選擇適合的治理模式,每種治理模式都有各自的優(yōu)點(diǎn)和缺點(diǎn)。組織可以先選擇一種模式,但隨著時(shí)間的推移,可以發(fā)展到另一種模式。
治理建議
以下建議可以標(biāo)準(zhǔn)化任何模式的實(shí)施并降低其風(fēng)險(xiǎn):
將數(shù)據(jù)資產(chǎn)的概念嵌入到企業(yè)變革方法中
制定并遵守一系列設(shè)計(jì)原則,其中包括數(shù)據(jù)資產(chǎn)的治理
堅(jiān)持?jǐn)?shù)據(jù)資產(chǎn)必須直接源自經(jīng)確認(rèn)的權(quán)威來(lái)源的設(shè)計(jì)原則
定義具有清晰描述的領(lǐng)域的權(quán)威企業(yè)數(shù)據(jù)模型
維護(hù)數(shù)據(jù)資產(chǎn)的中央目錄
堅(jiān)持使用最少的所需元數(shù)據(jù)集,包括分類和其他與安全相關(guān)的元數(shù)據(jù),以實(shí)現(xiàn)基于角色的訪問(wèn)
定義并執(zhí)行可發(fā)現(xiàn)性和互操作標(biāo)準(zhǔn)
四、API 驅(qū)動(dòng)的架構(gòu)和互操作性標(biāo)準(zhǔn)
采用 API 優(yōu)先的理念以及明確定義的互操作性標(biāo)準(zhǔn)是確保未來(lái)數(shù)據(jù)流的治理和控制以及驅(qū)動(dòng)自動(dòng)數(shù)據(jù)沿襲捕獲、避免未來(lái)大量手動(dòng)映射工作的關(guān)鍵。
API驅(qū)動(dòng)架構(gòu)
在 API 優(yōu)先的基礎(chǔ)架構(gòu)中,不同的團(tuán)隊(duì)通過(guò) API 作為首選或唯一的數(shù)據(jù)集成方法進(jìn)行連接。保持 API 優(yōu)先的理念可確保組織內(nèi)部和外部的消費(fèi)者都可以使用任何關(guān)鍵數(shù)據(jù)。如果做得正確,還應(yīng)該推動(dòng)對(duì)開(kāi)放銀行標(biāo)準(zhǔn)等全球標(biāo)準(zhǔn)的遵守,從而為與戰(zhàn)略合作伙伴合作提供機(jī)會(huì)。
互操作標(biāo)準(zhǔn)
互操作標(biāo)準(zhǔn)由一組規(guī)則和協(xié)議組成,用于驅(qū)動(dòng)不同系統(tǒng)和應(yīng)用程序之間的交互和數(shù)據(jù)交換。如果我們用電來(lái)類比,您可以購(gòu)買任何類型的電器,從冰箱到電燈或手機(jī)充電器,并且通常期望您可以將其連接到家中的插座。數(shù)據(jù)也類似——希望確保數(shù)據(jù)通過(guò)標(biāo)準(zhǔn)插座以商定的質(zhì)量和數(shù)量提供,這些插座可供任何有權(quán)訪問(wèn)房屋內(nèi)不同房間的人使用。對(duì)于企業(yè)來(lái)說(shuō),就需要就接口類型以及向其提供數(shù)據(jù)的渠道達(dá)成一致。
沒(méi)有一套互操作標(biāo)準(zhǔn)適合每個(gè)組織,但有幾個(gè)維度或組件至關(guān)重要:
遵守?cái)?shù)據(jù)模型以確保數(shù)據(jù)的使用和解釋的一致性,至少對(duì)于最小的一組關(guān)鍵數(shù)據(jù)而言如此
標(biāo)準(zhǔn)消息傳遞和有效負(fù)載格式
與系統(tǒng)和應(yīng)用程序一起以標(biāo)準(zhǔn)化格式識(shí)別、維護(hù)和提供的最低業(yè)務(wù)和技術(shù)元數(shù)據(jù)
一組已確定的兼容技術(shù)
互操作工具集
擁有一套一致的互操作標(biāo)準(zhǔn)應(yīng)該推動(dòng)任何類型的兼容技術(shù)能夠與基礎(chǔ)設(shè)施交換數(shù)據(jù)。出于采用目的,建議確定至少 1 種也可能是幾種數(shù)據(jù)工程師可用于各自目的的 API 技術(shù)。
選擇哪種技術(shù)取決于組織、目標(biāo)業(yè)務(wù)成果以及現(xiàn)有的技術(shù)堆棧和相應(yīng)的專業(yè)知識(shí)。比如,一家區(qū)域零售組織決定采用 MuleSoft 作為其數(shù)字組織構(gòu)建的首選 API 平臺(tái),而一家大型領(lǐng)先制造商則選擇創(chuàng)建自己的內(nèi)部構(gòu)建的 API 功能。
通過(guò) API 實(shí)現(xiàn)數(shù)據(jù)沿襲工業(yè)化
對(duì)于組織而言,存在巨大的機(jī)會(huì)來(lái)確保通過(guò)采用 API 優(yōu)先的思維方式將數(shù)據(jù)管理納入未來(lái)基礎(chǔ)設(shè)施的設(shè)計(jì)中:
可以定義 API 模式來(lái)滿足未來(lái)對(duì)數(shù)據(jù)和信息流的需求。示例模式包括異步、同步、編排和數(shù)據(jù)處理以及事件驅(qū)動(dòng)模式。
在各種模式中,對(duì)齊與 API 一起提供的元數(shù)據(jù)腳本或文件。這些腳本應(yīng)該標(biāo)準(zhǔn)化,并包含最少的業(yè)務(wù)和技術(shù)元數(shù)據(jù)集,例如源、目的地、提要頻率、包含的關(guān)鍵數(shù)據(jù)元素以及一系列指標(biāo)(例如分類、PII 指標(biāo))。最佳實(shí)踐是,每次更新 API 時(shí),這些元數(shù)據(jù)文件都會(huì)更新(如果可能,自動(dòng)更新),并在 API 目錄中維護(hù)。
確保將 API 元數(shù)據(jù)文件推送或拉入元數(shù)據(jù)管理中。工具到位特別是數(shù)據(jù)目錄,以便可以創(chuàng)建譜系圖。
將驅(qū)動(dòng) API 作為系統(tǒng)間數(shù)據(jù)交換的主要手段與堅(jiān)持最低標(biāo)準(zhǔn)相結(jié)合,推動(dòng)“數(shù)據(jù)沿襲設(shè)計(jì)”。
注意:不要使元數(shù)據(jù)文件過(guò)于復(fù)雜。較小的關(guān)鍵元數(shù)據(jù)集優(yōu)于業(yè)務(wù)價(jià)值不明確的詳盡集。除了例外之外,默認(rèn)情況下不需要包含詳細(xì)的數(shù)據(jù)元素級(jí)采購(gòu)和轉(zhuǎn)換邏輯。
五、數(shù)據(jù)管理中心
與實(shí)施后手動(dòng)執(zhí)行的治理活動(dòng)相比,集中配置但本地采用的數(shù)據(jù)管理功能以更低的成本增強(qiáng)了數(shù)據(jù)的一致定義、治理和保護(hù)。
數(shù)據(jù)管理中心的重要性
為了通過(guò)設(shè)計(jì)推動(dòng)數(shù)據(jù)管理,創(chuàng)建并提供一個(gè)單獨(dú)配置的管理中心并使其包含最低限度所需的數(shù)據(jù)功能至關(guān)重要。管理中心包含數(shù)據(jù)管理,應(yīng)作為未來(lái)任何云原生業(yè)務(wù)或功能流程構(gòu)建的一部分來(lái)引用和嵌入的功能。他們應(yīng)該能夠從數(shù)據(jù)中自助服務(wù)這些功能,而不是讓每個(gè)轉(zhuǎn)換計(jì)劃或業(yè)務(wù)功能區(qū)域在如何確保正確使用主數(shù)據(jù)、管理元數(shù)據(jù)和監(jiān)控?cái)?shù)據(jù)質(zhì)量方面重新構(gòu)建功能和標(biāo)準(zhǔn)。
數(shù)據(jù)管理需要設(shè)計(jì)
歷史上,絕大多數(shù)傳統(tǒng)數(shù)據(jù)管理投資都是在“事后”(即實(shí)施后)花費(fèi)的。發(fā)現(xiàn)業(yè)務(wù)流程,識(shí)別數(shù)據(jù)元素,推斷業(yè)務(wù)需求,并根據(jù)現(xiàn)有基礎(chǔ)設(shè)施實(shí)施來(lái)衡量數(shù)據(jù)質(zhì)量,這需要大量的人工工作和持續(xù)的紀(jì)律。
在這里的方法中,這些數(shù)據(jù)管理注意事項(xiàng)嵌入在設(shè)計(jì)和實(shí)施階段之前和期間。此外,稍后手動(dòng)執(zhí)行的治理步驟將作為功能、非功能和技術(shù)需求集成為設(shè)計(jì)的一部分。隨著解決方案的實(shí)施,數(shù)據(jù)管理是“按設(shè)計(jì)”構(gòu)建的。
“設(shè)計(jì)”功能示例
數(shù)據(jù)目錄 -正如上面針對(duì) API 所概述的,但應(yīng)用更廣泛,就應(yīng)用程序及其之間的數(shù)據(jù)流而言的系統(tǒng)全面的發(fā)現(xiàn)、文檔和可視化可以自動(dòng)化。
數(shù)據(jù)質(zhì)量——監(jiān)控和確保數(shù)據(jù)質(zhì)量和完整性的控制可以通過(guò)兩種主要方式嵌入。首先,可以在數(shù)據(jù)創(chuàng)建、捕獲和傳輸時(shí)應(yīng)用特定的控制和限制。比如對(duì)接受或有效值的限制以及數(shù)據(jù)流中的協(xié)調(diào)檢查。其次,在數(shù)據(jù)資產(chǎn)等戰(zhàn)略位置,可以對(duì)靜態(tài)數(shù)據(jù)實(shí)施質(zhì)量控制,以衡量完整性、準(zhǔn)確性和及時(shí)性。
主數(shù)據(jù)和參考數(shù)據(jù)——數(shù)據(jù)資產(chǎn)的非常具體的示例,主數(shù)據(jù)和參考數(shù)據(jù)是非常強(qiáng)大的杠桿,可以推動(dòng)在事務(wù)級(jí)別重復(fù)使用的數(shù)據(jù)的一致使用。比如MDM以確保在整個(gè)企業(yè)中,在入職、交易、客戶聯(lián)系、營(yíng)銷和關(guān)系管理等流程中使用正確的客戶數(shù)據(jù)元素。同樣,提供易于訪問(wèn)的參考數(shù)據(jù)(例如郵政地址標(biāo)準(zhǔn))將推動(dòng)其采用。
六、Data Fabric 作為系統(tǒng)之間的云原生粘合劑
提供跨所有系統(tǒng)和應(yīng)用程序連接的線程稱為數(shù)據(jù)結(jié)構(gòu)。它不是一個(gè)可以憑空實(shí)例化的魔法層;相反,它由一組支持功能和經(jīng)過(guò)仔細(xì)考慮的治理協(xié)議組成,這些協(xié)議共同使整個(gè)企業(yè)的信息可發(fā)現(xiàn)、編目、分類、標(biāo)記、質(zhì)量控制,并可通過(guò)通用的互操作性標(biāo)準(zhǔn)和渠道進(jìn)行訪問(wèn)。
在很大程度上,該結(jié)構(gòu)是由前面描述的數(shù)據(jù)資產(chǎn)、API 和數(shù)據(jù)管理中心組件啟用的。如果正確并充分地使用,它們應(yīng)該形成數(shù)據(jù)結(jié)構(gòu)的主要架構(gòu)。但是,即使不是最低要求,也有一些互補(bǔ)的數(shù)據(jù)功能:
數(shù)據(jù)管道、攝取、準(zhǔn)備、傳輸、供應(yīng)和存儲(chǔ)——在 API 無(wú)法完成工作的情況下,替代或補(bǔ)充的數(shù)據(jù)交付和集成選項(xiàng)可以確保根據(jù)業(yè)務(wù)或業(yè)務(wù)來(lái)收集、攝取、轉(zhuǎn)換、管理和提供數(shù)據(jù)。功能要求。需要配置存儲(chǔ)來(lái)保存數(shù)據(jù)。
數(shù)據(jù)編排——根據(jù)目標(biāo)用例和業(yè)務(wù)流程,可以應(yīng)用數(shù)據(jù)編排來(lái)從各種來(lái)源獲取數(shù)據(jù),組合和集成數(shù)據(jù),并將其提供給數(shù)據(jù)分析工具。數(shù)據(jù)編排可以在 IaaS 或 PaaS 級(jí)別執(zhí)行,也可以使用抽象基礎(chǔ)設(shè)施級(jí)別活動(dòng)的技術(shù)(例如 Apache Airflow、Prefect 和 Snowflake)來(lái)執(zhí)行。
數(shù)據(jù)安全和保護(hù)——監(jiān)控和確保敏感數(shù)據(jù)不丟失、不被濫用或被未經(jīng)授權(quán)的用戶訪問(wèn)的過(guò)程,并啟用主動(dòng)保護(hù)數(shù)據(jù)資產(chǎn)的功能。政策和標(biāo)準(zhǔn)應(yīng)規(guī)定如何保護(hù)數(shù)據(jù)以及如何共享數(shù)據(jù)。身份和訪問(wèn)管理 (IAM) 可以促進(jìn)基于角色的訪問(wèn),各種網(wǎng)絡(luò)和身份驗(yàn)證保護(hù)措施可以保護(hù)數(shù)據(jù)免遭未經(jīng)授權(quán)的訪問(wèn)和操縱。
報(bào)告、分析和數(shù)據(jù)科學(xué)——可以創(chuàng)建一個(gè)或多個(gè)數(shù)據(jù)平臺(tái)來(lái)滿足報(bào)告或分析用例。具有數(shù)據(jù)資產(chǎn)、API 和數(shù)據(jù)管理。數(shù)據(jù)管理中心到位后,這將成為一項(xiàng)簡(jiǎn)單的工作,因?yàn)閿?shù)據(jù)可用、易于理解且易于獲取,并且在云原生環(huán)境中,可以按需激活相應(yīng)的報(bào)告或數(shù)據(jù)科學(xué)工具,而無(wú)需大量的前期投資。
七、成功因素
讓我們以一些關(guān)于成功因素的想法來(lái)結(jié)束本文。取得成功的組織通常首先關(guān)注幾個(gè)選定的領(lǐng)域,從一開(kāi)始就吸引業(yè)務(wù)利益相關(guān)者,確保將遵守法規(guī)和政策方面的好處與業(yè)務(wù)成果一起考慮,并堅(jiān)持云優(yōu)先的設(shè)計(jì)原則。
從小規(guī)模開(kāi)始——從組織相對(duì)良好的領(lǐng)域中的 1 或 2 個(gè)數(shù)據(jù)資產(chǎn)開(kāi)始,其中物料、客戶和產(chǎn)品數(shù)據(jù)通常是強(qiáng)有力的候選者。在較小的規(guī)模上取得成功并利用聚集的動(dòng)力來(lái)推動(dòng)其他領(lǐng)域吸取的經(jīng)驗(yàn)教訓(xùn)的實(shí)施會(huì)更容易。
業(yè)務(wù)參與——從一開(kāi)始就包括業(yè)務(wù)代表。價(jià)值創(chuàng)造取決于它們的采用和消費(fèi),這就是為什么確保將相關(guān)要求納入數(shù)據(jù)資產(chǎn)和數(shù)據(jù)結(jié)構(gòu)中至關(guān)重要,包括需要什么數(shù)據(jù)以及如何訪問(wèn)數(shù)據(jù)。
效益整合——擁有強(qiáng)大成功案例的組織通常能夠?qū)v史數(shù)據(jù)治理職責(zé)與更具前瞻性的數(shù)據(jù)科學(xué)相關(guān)用例結(jié)合起來(lái),清楚地闡明強(qiáng)大的數(shù)據(jù)基礎(chǔ)將如何為整個(gè)企業(yè)的利益相關(guān)者服務(wù)。如果數(shù)據(jù)管理,投資回報(bào)更有說(shuō)服力。通過(guò)設(shè)計(jì)推動(dòng)法規(guī)遵從性以及以業(yè)務(wù)為導(dǎo)向、洞察力驅(qū)動(dòng)的用例。
云優(yōu)先——堅(jiān)持云原生設(shè)計(jì)可以防止供應(yīng)商壁壘,并允許進(jìn)行無(wú)風(fēng)險(xiǎn)、無(wú)缺失的實(shí)驗(yàn),避免高額前期投資,并能夠“快速修復(fù)”,在出現(xiàn)問(wèn)題時(shí)進(jìn)行擴(kuò)展成功。
- 上一篇
長(zhǎng)三角實(shí)現(xiàn)區(qū)塊鏈電子醫(yī)療票據(jù)互聯(lián)互通,螞蟻鏈提供技術(shù)支持
在過(guò)去,商業(yè)健康險(xiǎn)理賠時(shí),往往需要提交不同醫(yī)療材料及醫(yī)療票據(jù),隨著這一功能的打通,用戶可以實(shí)現(xiàn)長(zhǎng)三角地區(qū)跨省就醫(yī)的票據(jù)免上傳、免驗(yàn)真?zhèn)危粌H讓市民提交理賠材料更方便,更讓保險(xiǎn)公司審核理賠時(shí)效更快。
- 下一篇
萬(wàn)字詳解滴滴彈性云混部的落地歷程
由于未來(lái)自建IDC公共集群的容量有限,并且公有云需要額外購(gòu)買資源,存在成本增加,所以總體來(lái)說(shuō)驅(qū)逐目的優(yōu)先級(jí)是:混部集群>自建IDC公共集群>公有云,如果不是全局性問(wèn)題,還是盡快在混部集群內(nèi)部進(jìn)行驅(qū)逐。