01引言

隨著“十四五”規(guī)劃提出發(fā)展數(shù)字經(jīng)濟(jì)，推動數(shù)字產(chǎn)業(yè)化和產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型，各商業(yè)銀行正處于數(shù)字化轉(zhuǎn)型的深水區(qū)，在加速金融科技數(shù)字化、智能化、服務(wù)化的過程中，各領(lǐng)域都有原始的數(shù)據(jù)積累。以銀行金融科技運(yùn)維為例，配置管理建立后數(shù)據(jù)使用價值不高，數(shù)據(jù)問題也愈積愈多，其核心問題是要同步做好數(shù)據(jù)管理，數(shù)據(jù)管理區(qū)別于上層的數(shù)據(jù)治理，更側(cè)重于具體方法、流程、機(jī)制和措施等。這里結(jié)合運(yùn)維領(lǐng)域，具體說明進(jìn)行數(shù)據(jù)管理的方法和實踐。

02運(yùn)維數(shù)據(jù)管理面臨的問題

首先說明下對數(shù)據(jù)治理的理解，數(shù)據(jù)治理是專注于將數(shù)據(jù)作為商業(yè)資產(chǎn)進(jìn)行應(yīng)用和管理的一套機(jī)制，能消除數(shù)據(jù)的不一致性，建立規(guī)范的數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn)，提高組織的數(shù)據(jù)質(zhì)量，實現(xiàn)廣泛應(yīng)用和共享，發(fā)揮數(shù)據(jù)的商業(yè)價值。那么其具體的數(shù)據(jù)管理要解決什么問題呢？結(jié)合我們實際問題，總結(jié)有四個字“堵”，“獨”，“滯”，“漏”。這里以G行運(yùn)維配置數(shù)據(jù)作為管理對象，對其他銀行科技領(lǐng)域數(shù)據(jù)管理有一定代表性。

圖1 數(shù)據(jù)管理面臨的問題

03數(shù)據(jù)管理的“道”,“法”,“術(shù)”,“器”

大家可能有疑問，解決以上問題建立數(shù)據(jù)中臺不是最好的解決方案嗎？有不少企業(yè)在數(shù)字化轉(zhuǎn)型過程中，數(shù)據(jù)管理完全依賴數(shù)據(jù)中臺建設(shè)，沒有搞清數(shù)據(jù)管理基礎(chǔ)要做什么，導(dǎo)致中臺也建成了空中樓閣。正如阿里的onedata方法論體系，是先建立一套數(shù)據(jù)標(biāo)準(zhǔn)，用統(tǒng)一建模的方法梳理整合數(shù)據(jù)，再利用數(shù)據(jù)中臺工具對數(shù)據(jù)進(jìn)行匯總加工，因為有統(tǒng)一標(biāo)準(zhǔn)和建模，數(shù)據(jù)才能在中臺只實現(xiàn)一次順暢加工流轉(zhuǎn)。所以這里不談中臺建設(shè)，只說數(shù)據(jù)管理的具體思考和實踐?；谝陨蠁栴}，我們結(jié)合DAMA的數(shù)據(jù)治理框架及方法論，制定了具體的數(shù)據(jù)管理方法，也引用數(shù)據(jù)治理專家們總結(jié)的數(shù)據(jù)管理的經(jīng)驗，按“道”，“法”，“術(shù)”， “器”結(jié)合具體實踐工作，對運(yùn)維數(shù)據(jù)管理遇到的問題有一定指導(dǎo)作用。

圖2 數(shù)據(jù)管理的“道”，“法”，“術(shù)”，“器”

道

（一）”道”：這里引用DAMA-DMBOK2的數(shù)據(jù)治理之道，主要包含數(shù)據(jù)戰(zhàn)略，組織機(jī)制和數(shù)據(jù)文化。如果數(shù)據(jù)治理好比我們驅(qū)車到達(dá)遠(yuǎn)方的一項任務(wù)，那么“道“就是我們行駛的方向，以及可以利用的政策和可規(guī)避的風(fēng)險。

數(shù)據(jù)戰(zhàn)略好比數(shù)字化轉(zhuǎn)型的燈塔，由制度流程、組織人員和技術(shù)工具為數(shù)據(jù)戰(zhàn)略提供指導(dǎo)，數(shù)據(jù)戰(zhàn)略是為企業(yè)發(fā)展和運(yùn)營目標(biāo)提供支撐。通常制定為五個主要步驟：環(huán)境因素分析，確定戰(zhàn)略目標(biāo)，制定行動方案，落實保障措施，戰(zhàn)略評估優(yōu)化，其核心是建立數(shù)據(jù)思維。數(shù)據(jù)思維建立方法可通過自上而下的推動，營造數(shù)據(jù)驅(qū)動的文化氛圍，以及建立循序漸進(jìn)的培訓(xùn)機(jī)制等。不只是從企業(yè)做起，是需要從每個人做起，建立“我為人人，人人為我”的數(shù)據(jù)服務(wù)思維。G行數(shù)據(jù)治理總體框架包括“統(tǒng)一管理、合規(guī)底線、協(xié)同共建、創(chuàng)新驅(qū)動”四個方面。有三個要點：抓重點，善于簡化；求精確，注重量化；明不知，追求細(xì)化。

法

（二）“法”：主要是數(shù)據(jù)管理的一些方法和策略，好比我們驅(qū)車到達(dá)目的地的可選路徑，這些需要前期規(guī)劃好，結(jié)合流程確保管理策略能落地。

G行主要分為事前預(yù)防手段，事中控制技術(shù)，事后改進(jìn)措施。事前包括數(shù)據(jù)標(biāo)準(zhǔn)定義，校驗規(guī)范，流程制度優(yōu)化，組織人員培訓(xùn)保持認(rèn)知一致；事中包括控制源頭，規(guī)范標(biāo)準(zhǔn)輸入輸出，控制流轉(zhuǎn)，質(zhì)量校驗，精準(zhǔn)定位，預(yù)警機(jī)制；事后包括數(shù)據(jù)質(zhì)量探查和評估，數(shù)據(jù)問題匯總，根因分析，問題修復(fù)，流程和模型優(yōu)化。這里最重要的是數(shù)據(jù)標(biāo)準(zhǔn)的制定、推廣和跟蹤，數(shù)據(jù)標(biāo)準(zhǔn)其實可以分為基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)，分析和校驗數(shù)據(jù)標(biāo)準(zhǔn)和實施標(biāo)準(zhǔn)，然后通過組織、制度和流程將其管理規(guī)范貫穿起來，通過流程和制度監(jiān)督標(biāo)準(zhǔn)的執(zhí)行，有效地閉環(huán)管理。我們也是首先統(tǒng)一并制定了數(shù)據(jù)標(biāo)準(zhǔn)，利用ITSM流程工具結(jié)合CMDB發(fā)現(xiàn)的問題，逐一溯源，消滅數(shù)據(jù)問題，形成閉環(huán)跟蹤，持續(xù)監(jiān)督提高數(shù)據(jù)質(zhì)量。

術(shù)

（三）“術(shù)”：這里指數(shù)據(jù)管理的一些技術(shù)方法，好比我們驅(qū)車到達(dá)目的地的駕駛經(jīng)驗。

主要涉及元數(shù)據(jù)，主數(shù)據(jù)和參考數(shù)據(jù)的一些管理技術(shù)，我們主要通過DAMA數(shù)據(jù)定義標(biāo)準(zhǔn)的學(xué)習(xí)，對系統(tǒng)運(yùn)維領(lǐng)域的數(shù)據(jù)做了元數(shù)據(jù)和主數(shù)據(jù)的劃分。元數(shù)據(jù)可以理解為定義和描述其它數(shù)據(jù)的數(shù)據(jù)，包括技術(shù)和業(yè)務(wù)流程、數(shù)據(jù)規(guī)則和約束，還包括邏輯數(shù)據(jù)結(jié)構(gòu)與物理數(shù)據(jù)結(jié)構(gòu)等。主數(shù)據(jù)可以理解為與業(yè)務(wù)活動相關(guān)或提供業(yè)務(wù)活動語境，系統(tǒng)間共享的數(shù)據(jù)，包括業(yè)務(wù)交易中涉及的內(nèi)外部對象的詳細(xì)信息。元數(shù)據(jù)就像我們數(shù)據(jù)庫中定義的基表結(jié)構(gòu)，主數(shù)據(jù)是表里存儲共享的實際數(shù)據(jù)，或者好比元數(shù)據(jù)像一本書的目錄和索引，主數(shù)據(jù)就是書中的正文。很多金融企業(yè)的運(yùn)維數(shù)據(jù)在前期都是按運(yùn)維需求建立起來的，并沒有事先區(qū)分元數(shù)據(jù)與主數(shù)據(jù)，我們之前也是已經(jīng)定義的運(yùn)維相關(guān)的運(yùn)營配置數(shù)據(jù)、運(yùn)營性能數(shù)據(jù)和運(yùn)營管理數(shù)據(jù)，所以管理過程主要在之前數(shù)據(jù)需求劃分的基礎(chǔ)上，再按元數(shù)據(jù)和主數(shù)據(jù)進(jìn)行劃分，這樣劃分后的好處更有的放矢，更清晰我們的數(shù)據(jù)分類管理策略，更好地為我們的onedata數(shù)據(jù)中臺體系服務(wù)。我們對運(yùn)維領(lǐng)域元數(shù)據(jù)和主數(shù)據(jù)是按以下過程進(jìn)行管理：摸底、優(yōu)化、標(biāo)準(zhǔn)、整合、運(yùn)營。

圖3 數(shù)據(jù)管理過程

大部分運(yùn)維的配置類描述元數(shù)據(jù)都是未標(biāo)準(zhǔn)定義，或引用后再定義的，比如服務(wù)器硬件配置信息、操作系統(tǒng)信息、應(yīng)用軟件信息、IP信息等。這些信息我們都是在CMDB收集時直接采集，往往沒有制定標(biāo)準(zhǔn)，在之后的消費(fèi)過程就可能出現(xiàn)歧義、遺漏或無法關(guān)聯(lián)等問題。元數(shù)據(jù)就是數(shù)據(jù)標(biāo)準(zhǔn)的基礎(chǔ)，企業(yè)在制定數(shù)據(jù)標(biāo)準(zhǔn)的時候最先需要明確的就是數(shù)據(jù)業(yè)務(wù)屬性、技術(shù)屬性和管理屬性，而這三類屬性就是我們所說的業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和管理元數(shù)據(jù)，元數(shù)據(jù)如果不進(jìn)行規(guī)范化約束，就無法成為數(shù)據(jù)標(biāo)準(zhǔn)。我們針對元數(shù)據(jù)的梳理主要是分類了業(yè)務(wù)、技術(shù)和管理三類，并制定了配置數(shù)據(jù)管理標(biāo)準(zhǔn)規(guī)范，具體有三項措施：

1. 梳理出關(guān)鍵數(shù)據(jù)，將這些數(shù)據(jù)做埋點，以便后續(xù)進(jìn)行數(shù)據(jù)血緣跟蹤和分析；

2. 統(tǒng)一表結(jié)構(gòu)，將各類數(shù)據(jù)表形成統(tǒng)一結(jié)構(gòu)規(guī)范，層級管理，比如第一層基本信息，第二層關(guān)聯(lián)信息，第三層特殊信息；

3. 統(tǒng)一字段名規(guī)范，建立數(shù)據(jù)字典統(tǒng)一命名規(guī)范，再確定各個表來源和優(yōu)先級。

這些措施保障了理解數(shù)據(jù)準(zhǔn)確和標(biāo)準(zhǔn)的一致性，并提供統(tǒng)一訪問途徑，以便推廣技術(shù)元數(shù)據(jù)標(biāo)準(zhǔn)和應(yīng)用。在主數(shù)據(jù)管理方面，主要是按元數(shù)據(jù)定義的標(biāo)準(zhǔn)，對數(shù)據(jù)值和標(biāo)識符進(jìn)行控制和校驗，經(jīng)過管理的主數(shù)據(jù)應(yīng)是關(guān)鍵業(yè)務(wù)實體唯一的、權(quán)威的、最準(zhǔn)確的數(shù)據(jù)，更方便數(shù)據(jù)共享。在主數(shù)據(jù)規(guī)范管理后，我們更多關(guān)注系統(tǒng)之間的數(shù)據(jù)流轉(zhuǎn)、訪問關(guān)系、共享應(yīng)用等，更多地挖掘運(yùn)維消費(fèi)場景，實現(xiàn)數(shù)據(jù)服務(wù)。

器

（四）“器”：是在數(shù)據(jù)管理技術(shù)的基礎(chǔ)上，實現(xiàn)具體工作的工具，好比我們驅(qū)車到達(dá)目的地的主要交通工具。所謂“工欲善其事，必先利其器”， 在定義梳理這些元數(shù)據(jù)和主數(shù)據(jù)后，必然會用到兩個最常用的方法工具，建立模型和數(shù)據(jù)血緣。數(shù)據(jù)建模是最重要也是最常用的，是發(fā)現(xiàn)、分析和確定數(shù)據(jù)需求的過程，用數(shù)據(jù)模型的精確形式表示和傳遞這些數(shù)據(jù)需求。建立系統(tǒng)或平臺前期一般都會建立數(shù)據(jù)模型，其模型核心內(nèi)容是數(shù)據(jù)結(jié)構(gòu)、約束關(guān)系和數(shù)據(jù)操作這三部分，形成概念、邏輯和物理模型成果物，但建立和維護(hù)的過程是循環(huán)迭代的。我們按照以前CMDB系統(tǒng)建立的模型，進(jìn)行了重新梳理，發(fā)現(xiàn)有一些數(shù)據(jù)結(jié)構(gòu)已經(jīng)過期需要優(yōu)化調(diào)整，還有一些一直存在缺失，需補(bǔ)充數(shù)據(jù)結(jié)構(gòu)，也同步更新了約束關(guān)系和數(shù)據(jù)流向的定義，具體是按以下六個方面進(jìn)行全面梳理:

圖4 數(shù)據(jù)建模工作

數(shù)據(jù)建模工作我們是這樣具體實施的：關(guān)于數(shù)據(jù)結(jié)構(gòu)，重新收集數(shù)據(jù)有關(guān)需求，定義數(shù)據(jù)類型、結(jié)構(gòu)等信息，實現(xiàn)配置項結(jié)構(gòu)、字典（具體元數(shù)據(jù)）的建立；約束關(guān)系，梳理各團(tuán)隊內(nèi)部數(shù)據(jù)，定義數(shù)據(jù)的唯一標(biāo)識符，確定數(shù)據(jù)間關(guān)聯(lián)約束和驗證關(guān)系；數(shù)據(jù)操作：協(xié)商定義各運(yùn)維團(tuán)隊之間的接口規(guī)范和數(shù)據(jù)流向，明確數(shù)據(jù)操作和流向的消費(fèi)場景。除了數(shù)據(jù)模型的三個核心內(nèi)容外，我們還制定了接口傳輸方式，同步周期和接口負(fù)責(zé)人。首先根據(jù)數(shù)據(jù)量大小、重要程度以及數(shù)據(jù)時效性等要求，規(guī)范定義不同的接口同步方式，再次明確各運(yùn)維團(tuán)隊接口數(shù)據(jù)采集和同步周期，保證提供接口數(shù)據(jù)的完整和時效性，最終指定接口負(fù)責(zé)人溝通同步需求，確認(rèn)接口數(shù)據(jù)質(zhì)量，由負(fù)責(zé)人跟蹤推進(jìn)接口同步實現(xiàn)和問題解決，實現(xiàn)數(shù)據(jù)問題閉環(huán)處理。

04應(yīng)用實踐

（一）具體應(yīng)用場景：

G行通過系統(tǒng)運(yùn)維配置管理平臺（SMDB）和網(wǎng)絡(luò)安全自動化合規(guī)管理平臺（INS）實現(xiàn)基于底層的配置數(shù)據(jù)管理，通過應(yīng)用配置管理平臺（AMDB）實現(xiàn)應(yīng)用路書、系統(tǒng)交易信息和檔案管理等應(yīng)用場景管理，為CMDB提供數(shù)據(jù)消費(fèi)，規(guī)范數(shù)據(jù)標(biāo)準(zhǔn)，整合數(shù)據(jù)需求，去重尋源等優(yōu)化，增加數(shù)據(jù)校驗，實現(xiàn)閉環(huán)管理。通過平臺，結(jié)合數(shù)據(jù)采集匯總分析，以及相關(guān)操作工具，實現(xiàn)日常運(yùn)維配置管理、系統(tǒng)自動巡檢、系統(tǒng)檔案和運(yùn)維報表等運(yùn)維自動化消費(fèi)場景。

圖5 數(shù)據(jù)應(yīng)用場景

圖6 配置管理

圖7 運(yùn)維消費(fèi)場景

此外我們還結(jié)合數(shù)據(jù)血緣流向圖，提供多平臺互聯(lián)的消費(fèi)場景。在運(yùn)維環(huán)境隨著云計算和大數(shù)據(jù)的發(fā)展，集成化程度越來越高，系統(tǒng)全局性風(fēng)險的可能和危害越來越大，我們利用梳理的數(shù)據(jù)流向，和日常故障處理場景，重點為一線團(tuán)隊開發(fā)應(yīng)急故障查詢和應(yīng)急場景發(fā)布工具。一線同事在處理全局性故障時，能及時準(zhǔn)確地查詢相關(guān)信息并第一時間關(guān)聯(lián)處置，實現(xiàn)運(yùn)維的“手眼”并用。

圖8 數(shù)據(jù)服務(wù)輸出成果

（二）解決數(shù)據(jù)問題：

針對已經(jīng)建立的CMDB，我們?nèi)绾问崂泶嬖诘臄?shù)據(jù)問題呢？我們主要從兩個方面進(jìn)行梳理檢查：一是日常事件處理、問題分析等發(fā)現(xiàn)的數(shù)據(jù)問題，統(tǒng)一記錄、分析和整改跟蹤；二是通過數(shù)據(jù)模型的度量指標(biāo)進(jìn)行反向檢查：1.模型多大程度上反映了實際使用需求？2.模型的完整性如何？3.模型的結(jié)構(gòu)通用性如何？4.模型遵循命名標(biāo)準(zhǔn)的情況如何？5.模型的清晰、完整、準(zhǔn)確性如何？基于以上自查不難發(fā)現(xiàn)數(shù)據(jù)模型的問題，可以重新定義、梳理和規(guī)范數(shù)據(jù)模型，數(shù)據(jù)模型是數(shù)據(jù)規(guī)范標(biāo)準(zhǔn)的核心底座，是絕對值得花費(fèi)精力打造優(yōu)化的。

其實解決數(shù)據(jù)問題更多要源于數(shù)據(jù)訴求，對數(shù)據(jù)流向的管理無論從業(yè)務(wù)還是運(yùn)維管理都已經(jīng)變得非常重要。通過數(shù)據(jù)血緣分析能滿足元數(shù)據(jù)管理的需求，滿足監(jiān)管需求，影響分析和數(shù)據(jù)質(zhì)量問題分析等，針對運(yùn)維最有效的還可以系統(tǒng)遷移時參考數(shù)據(jù)血緣，減少系統(tǒng)遷移工作量。通常建立數(shù)據(jù)血緣的步驟是先梳理出元數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系建立模型，再以此為基礎(chǔ)整理所需的數(shù)據(jù)，并將數(shù)據(jù)加載進(jìn)數(shù)據(jù)庫，設(shè)計關(guān)系進(jìn)行鏈路匹配查詢分析，我們主要針對CMDB的數(shù)據(jù)進(jìn)行反向步驟的梳理，重點結(jié)合目前數(shù)據(jù)和應(yīng)用場景，抽取數(shù)據(jù)流向和關(guān)系，再根據(jù)關(guān)系檢查驗證以前的模型，對錯誤和遺漏的問題進(jìn)行修正和補(bǔ)充。

比如我們梳理的數(shù)據(jù)血緣關(guān)系，制作了以下數(shù)據(jù)流向圖，便于梳理和解決數(shù)據(jù)問題，具體包含以下內(nèi)容：

圖9 數(shù)據(jù)流向圖

1.數(shù)據(jù)節(jié)點（包括數(shù)據(jù)流入節(jié)點，主節(jié)點，數(shù)據(jù)流出節(jié)點），數(shù)據(jù)節(jié)點信息一般用來做可視化展示。

2.數(shù)據(jù)流轉(zhuǎn)線路，數(shù)據(jù)流轉(zhuǎn)線路表現(xiàn)三個維度的信息，分別是方向、唯一標(biāo)識、數(shù)據(jù)更新頻次。

3.清洗過濾規(guī)則，數(shù)據(jù)接受方會根據(jù)自己對數(shù)據(jù)的要求過濾接入的數(shù)據(jù)，這些要求就形成數(shù)據(jù)標(biāo)準(zhǔn)，依據(jù)這些標(biāo)準(zhǔn)選擇數(shù)據(jù)清洗。

4.轉(zhuǎn)換和關(guān)聯(lián)規(guī)則，從數(shù)據(jù)提供方出來的數(shù)據(jù)，有時需要特殊處理才能接入到數(shù)據(jù)需求方，按唯一標(biāo)識建立關(guān)聯(lián)并維持生命周期，到期后需要做歸檔或清除等處理。我們設(shè)計的血緣關(guān)系，能較清晰地表達(dá)數(shù)據(jù)間關(guān)聯(lián)關(guān)系，對組織數(shù)據(jù)的完整性、準(zhǔn)確性管理和溯源分析有一定幫助。

通過數(shù)據(jù)流向的血緣分析還可以糾偏數(shù)據(jù)和挖掘更多的應(yīng)用場景。方法通常有：自動解析，系統(tǒng)跟蹤，手工收集和機(jī)器學(xué)習(xí)等，我們主要使用的是自動解析結(jié)合手工收集，重點排查CMDB平臺原有的SQL語句和存儲過程，找出核心數(shù)據(jù)的來源和目標(biāo)流向，這些數(shù)據(jù)覆蓋約70%的流向關(guān)系，我們也按重點、熱點數(shù)據(jù)進(jìn)行收集，梳理過程主要還靠人員整理，雖然比較繁瑣，但是最大的好處是更加明確數(shù)據(jù)流向和應(yīng)用場景。還有一些數(shù)據(jù)是基于流程或手工更新的，我們采用手工收集方式，這些數(shù)據(jù)要確定好唯一數(shù)據(jù)源，能優(yōu)化流程的盡量自動化處理，必須手工處理的增加校驗機(jī)制來確保及時性和準(zhǔn)確性。

05總結(jié)展望

以上是我們結(jié)合數(shù)據(jù)管理方法，針對運(yùn)維數(shù)據(jù)的一些管理實踐。“在危機(jī)中育新機(jī)，于變局中開新局”，“十四五”規(guī)劃提出發(fā)展數(shù)字經(jīng)濟(jì)，G行也積極推進(jìn)數(shù)字化轉(zhuǎn)型工作，實現(xiàn)科技為業(yè)務(wù)賦能，運(yùn)維數(shù)據(jù)管理工作就是我們要重點開拓的新局。數(shù)據(jù)管理實踐是一項有既有挑戰(zhàn)又有意義的工作，而且需要不斷持續(xù)優(yōu)化，它即是一門科學(xué)，更是一門藝術(shù)，我們要深入學(xué)習(xí)以上“道”，“法”，“術(shù)”，“器”的方法論，再結(jié)合工作中的具體場景，不斷深耕實踐，讓運(yùn)維之手和運(yùn)維之眼有數(shù)可依，更加高效、從容地實現(xiàn)自動化、智能化運(yùn)維，全面實現(xiàn)科技賦能。我們將踔厲奮發(fā)、篤行不怠，持續(xù)推動數(shù)字化轉(zhuǎn)型工作更上一層樓，把一流財富管理銀行推向前進(jìn)！