數(shù)據(jù)工程的介紹

我們可以將數(shù)據(jù)視為一種新興的生產(chǎn)要素或生產(chǎn)原材料。通過(guò)對(duì)其進(jìn)行加工可以創(chuàng)造更多的價(jià)值，這些價(jià)值通常圍繞著業(yè)務(wù)和場(chǎng)景展開。因此，我們需要以一種能夠?qū)?shù)據(jù)生產(chǎn)和加工應(yīng)用到實(shí)際場(chǎng)景和價(jià)值中的方式來(lái)使用數(shù)據(jù)。

《數(shù)據(jù)工程白皮書》中的數(shù)據(jù)范疇包括結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化的各種類型數(shù)據(jù)。這是因?yàn)槲覀冃枰幚砀鞣N形式的數(shù)據(jù)，無(wú)論是二維表格，還是圖像、音頻、視頻等等。這些數(shù)據(jù)的加工和處理，是我們實(shí)現(xiàn)更智能化場(chǎng)景的關(guān)鍵。因此，我們需要以數(shù)據(jù)為中心，去面對(duì)并解決這些數(shù)據(jù)加工的挑戰(zhàn)。

圖：數(shù)據(jù)越來(lái)越重要

在面對(duì)不同的問題和企業(yè)發(fā)展現(xiàn)狀時(shí)，數(shù)據(jù)需求也會(huì)有所不同。為了更好地說(shuō)明這一點(diǎn)，《數(shù)據(jù)工程白皮書》列舉了信息化、數(shù)字化和智能化三個(gè)階段。在信息化階段，企業(yè)更多地關(guān)注業(yè)務(wù)流程和線上化，在構(gòu)建系統(tǒng)時(shí)，我們需要先關(guān)注功能實(shí)現(xiàn)，而非數(shù)據(jù)的整合和平臺(tái)化。在功能實(shí)現(xiàn)之后，我們需要將業(yè)務(wù)流程的變化信息轉(zhuǎn)化為數(shù)據(jù)，并將這些數(shù)據(jù)串聯(lián)起來(lái)，以形成業(yè)務(wù)數(shù)據(jù)化的大方向。在智能化方面，像ChatGPT和文本生成等技術(shù)最近非常火熱。然而，實(shí)現(xiàn)智能化需要依賴于訓(xùn)練數(shù)據(jù)樣本、構(gòu)建模型、測(cè)試和優(yōu)化等過(guò)程，這些過(guò)程都需要使用數(shù)據(jù)作為基礎(chǔ)。因此，數(shù)據(jù)在智能化過(guò)程中的使用至關(guān)重要。

圖：企業(yè)所處的不同階段

在使用數(shù)據(jù)的過(guò)程中，不同階段的企業(yè)都需要從四個(gè)大方向考慮。首先，在業(yè)務(wù)數(shù)據(jù)化過(guò)程中，需要用數(shù)據(jù)展現(xiàn)業(yè)務(wù)經(jīng)營(yíng)過(guò)程，例如數(shù)據(jù)洞察和可執(zhí)行業(yè)務(wù)動(dòng)作。包括了現(xiàn)有業(yè)務(wù)過(guò)程、銷售額提升、銷售額提升的結(jié)構(gòu)和下一步行動(dòng)方向。

圖：企業(yè)使用數(shù)據(jù)的四個(gè)階段

這里可以用銷售提升3%為例：

• 3%的銷售額提升是描述了企業(yè)目前正在發(fā)生什么
• 3%銷售額的提升是原有業(yè)務(wù)開展還是新興業(yè)務(wù)開展描述了企業(yè)發(fā)生變化的原因
• 3%銷售額的提升對(duì)企業(yè)運(yùn)營(yíng)來(lái)說(shuō)，是需要繼續(xù)投入新業(yè)務(wù)抑或是需要保持優(yōu)勢(shì)業(yè)務(wù)的持續(xù)開展描述了下一步的方向在哪里
• 企業(yè)發(fā)展訴求是要達(dá)到5%銷售額的提升，那么需要如何投入、如何發(fā)力描述了企業(yè)如何確保業(yè)務(wù)發(fā)展方向與預(yù)想保持一致

數(shù)據(jù)在企業(yè)中的應(yīng)用場(chǎng)景將越來(lái)越多，因此對(duì)于數(shù)據(jù)工程的概念可能存在不同的理解。需要澄清的是，數(shù)據(jù)工程是一個(gè)體系，涵蓋了從企業(yè)數(shù)據(jù)戰(zhàn)略、需求設(shè)計(jì)、技術(shù)設(shè)計(jì)到開發(fā)、質(zhì)量管控和流程等方面。它源于軟件工程的實(shí)踐，但是在數(shù)據(jù)工程中被提煉出來(lái)并映射到數(shù)據(jù)層面的工作。需要強(qiáng)調(diào)的是，數(shù)據(jù)工程不僅僅是數(shù)據(jù)開發(fā)。

為了快速實(shí)現(xiàn)數(shù)據(jù)工程這個(gè)復(fù)雜體系，需要規(guī)?；姆绞絹?lái)提高開發(fā)效率，并減少人員更替和交接所帶來(lái)的影響。為此，《數(shù)據(jù)工程白皮書》提出了相關(guān)實(shí)踐和對(duì)人員能力的要求，并提到了數(shù)據(jù)工程成熟度的概念。不同企業(yè)的需求和狀態(tài)不同，有些企業(yè)可能只需要遵循一些規(guī)范化的開發(fā)原則，而有些企業(yè)需要應(yīng)對(duì)幾十人甚至上百人的開發(fā)團(tuán)隊(duì)，保證在每個(gè)項(xiàng)目上都能發(fā)揮更高的工作效率。這時(shí)，需要對(duì)整個(gè)企業(yè)的數(shù)據(jù)工程成熟度進(jìn)行評(píng)估，以有針對(duì)性地提升相關(guān)方向。

圖：Thoughtworks對(duì)于數(shù)據(jù)工程概念的定義

數(shù)據(jù)工程的價(jià)值

數(shù)據(jù)轉(zhuǎn)化為業(yè)務(wù)價(jià)值的過(guò)程與企業(yè)使用數(shù)據(jù)的四個(gè)階段緊密相連。對(duì)于銷售額提升 3% 的需求，我們需要將這個(gè)數(shù)字拆解并了解其背后所要使用的數(shù)據(jù)以及所需經(jīng)歷的過(guò)程，比如銷售額是含稅還是不含稅、單位是按照什么樣的金額進(jìn)行換算等。在處理數(shù)據(jù)時(shí)，也會(huì)涉及到不同系統(tǒng)的選擇和數(shù)據(jù)信息的持續(xù)定義和澄清過(guò)程，最終才能得到真正的洞見。在整個(gè)數(shù)據(jù)流轉(zhuǎn)過(guò)程中，我們需要不斷提升各個(gè)步驟的效率。

圖：數(shù)據(jù)在企業(yè)內(nèi)流轉(zhuǎn)過(guò)程

在數(shù)據(jù)工程中，數(shù)據(jù)從原料加工到成品需要考慮很多因素，如指標(biāo)計(jì)算口徑、數(shù)據(jù)異常預(yù)警等。同時(shí)，數(shù)據(jù)需要在不同階段進(jìn)行設(shè)計(jì)和實(shí)現(xiàn)，以體現(xiàn)企業(yè)經(jīng)營(yíng)的狀況。在數(shù)據(jù)工程的設(shè)計(jì)中，需要考慮到各個(gè)階段的注意要素，以保障數(shù)據(jù)工作的有效性和準(zhǔn)確性。在業(yè)務(wù)和數(shù)據(jù)的融合過(guò)程中，需要將業(yè)務(wù)訴求與數(shù)據(jù)處理有效地融合在一起。業(yè)務(wù)和數(shù)據(jù)的邊界越來(lái)越模糊，因此需要技術(shù)支撐和保障，實(shí)現(xiàn)業(yè)務(wù)、數(shù)據(jù)和技術(shù)的有機(jī)融合，這是實(shí)現(xiàn)數(shù)據(jù)到價(jià)值過(guò)程的核心要素。

圖：數(shù)據(jù)“原料”到“成品”對(duì)加工示例

數(shù)據(jù)工程是一個(gè)復(fù)雜的體系，需要從人員層面解決開發(fā)成本和效率的問題。有標(biāo)準(zhǔn)化的設(shè)計(jì)和管控可以提高數(shù)據(jù)工程的效率和面對(duì)規(guī)?；瘯r(shí)的應(yīng)對(duì)能力。團(tuán)隊(duì)之間需要統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，解決數(shù)據(jù)孤島問題，降低業(yè)務(wù)場(chǎng)景下的聯(lián)動(dòng)成本。對(duì)于企業(yè)能夠快速滿足業(yè)務(wù)需求，以更小的成本實(shí)現(xiàn)業(yè)務(wù)訴求。根本目的是打造一個(gè)高響應(yīng)力的企業(yè)流程，以提高數(shù)據(jù)生產(chǎn)和加工的效率。只有在數(shù)據(jù)生產(chǎn)的相關(guān)原材料準(zhǔn)確無(wú)誤，才能挖掘數(shù)據(jù)的價(jià)值和實(shí)現(xiàn)智能化的演進(jìn)。因此，統(tǒng)一、標(biāo)準(zhǔn)化和提高效率是數(shù)據(jù)工程的核心要素。

圖：數(shù)據(jù)工程對(duì)企業(yè)對(duì)價(jià)值

數(shù)據(jù)工程的價(jià)值觀

我們看到了數(shù)據(jù)工程的價(jià)值，那么為了更好地落地?cái)?shù)據(jù)工程，我們需要明確數(shù)據(jù)工程的價(jià)值觀。思特沃克數(shù)據(jù)和人工智能團(tuán)隊(duì)根據(jù)我們服務(wù)的不同的客戶及過(guò)往的項(xiàng)目經(jīng)驗(yàn)，總結(jié)了如下的價(jià)值觀。我們參考了敏捷宣言中xxx勝過(guò)xxx的方式，我們認(rèn)為右邊的也有價(jià)值，但是更重視左邊的價(jià)值，因?yàn)槊總€(gè)企業(yè)都有自己的發(fā)展規(guī)模和階段，在每個(gè)時(shí)期會(huì)有不同的側(cè)重點(diǎn)。我們也期望在企業(yè)內(nèi)部，根據(jù)自身的實(shí)際情況，建立符合企業(yè)需求的價(jià)值觀，同時(shí)不斷地調(diào)整和演進(jìn)。

一、以數(shù)據(jù)產(chǎn)生的業(yè)務(wù)價(jià)值為交付結(jié)果

我們應(yīng)該關(guān)注數(shù)據(jù)處理后能為業(yè)務(wù)帶來(lái)的價(jià)值，而非僅僅關(guān)注數(shù)據(jù)接入和處理指標(biāo)的數(shù)量。例如，我們可以關(guān)注數(shù)據(jù)如何幫助了解銷售訂單的趨勢(shì)及其原因，以便為業(yè)務(wù)提供有益的指導(dǎo)。盡管不一定非得用業(yè)務(wù)收入作為衡量標(biāo)準(zhǔn)，但我們應(yīng)該努力實(shí)現(xiàn)數(shù)據(jù)產(chǎn)生的業(yè)務(wù)價(jià)值作為交付結(jié)果。

我們觀察到有些企業(yè)在建立數(shù)據(jù)中臺(tái)或數(shù)據(jù)平臺(tái)時(shí)，非常關(guān)注接入的數(shù)據(jù)量和計(jì)算指標(biāo)的多少，將其作為衡量項(xiàng)目成功與否的重要指標(biāo)。雖然數(shù)據(jù)接入、處理和指標(biāo)計(jì)算可以作為衡量數(shù)據(jù)平臺(tái)或數(shù)據(jù)中臺(tái)成果的指標(biāo)，因?yàn)樗鼈兎从沉斯ぷ髁亢吞幚砹浚覀儾唤ㄗh將它們視為北極星指標(biāo)或非常重要的指標(biāo)。我們強(qiáng)調(diào)的是數(shù)據(jù)產(chǎn)生的價(jià)值，即經(jīng)過(guò)處理后的數(shù)據(jù)如何服務(wù)于實(shí)際業(yè)務(wù)場(chǎng)景。

二、建立全功能的團(tuán)隊(duì)，實(shí)現(xiàn)端到端交付

許多企業(yè)在數(shù)據(jù)處理過(guò)程中存在類似的問題，如一個(gè)業(yè)務(wù)場(chǎng)景的實(shí)現(xiàn)可能會(huì)涉及數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)和報(bào)表可視化等部門，這個(gè)跨組、部門帶來(lái)的協(xié)作隔閡是非常影響交付結(jié)果的。雖然我們不一定要完全打破現(xiàn)有的組織形式，但我們應(yīng)該改進(jìn)我們的協(xié)作方式，盡量減少溝通隔閡，提高團(tuán)隊(duì)的協(xié)作效率。比如，建立基于項(xiàng)目的臨時(shí)交付團(tuán)隊(duì)。

三、面向業(yè)務(wù)域的劃分和面向未來(lái)的設(shè)計(jì)

隨著數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)和企業(yè)愿景的發(fā)展，數(shù)據(jù)分析需求將不斷擴(kuò)大，企業(yè)數(shù)據(jù)應(yīng)用預(yù)計(jì)會(huì)有很大的發(fā)展?jié)摿?。因此，在?guī)劃時(shí)要具有一定的前瞻性，考慮到企業(yè)未來(lái)對(duì)數(shù)據(jù)存儲(chǔ)、計(jì)算和分析的需求。

在這個(gè)背景下，數(shù)據(jù)存儲(chǔ)、計(jì)算框架的技術(shù)選擇都需要謹(jǐn)慎考慮。例如，選擇傳統(tǒng)數(shù)據(jù)庫(kù)還是Hive，Iceberg等，大數(shù)據(jù)處理框架如Spark、Flink，還是pandas就可以。此外，還需要考慮如何劃分?jǐn)?shù)據(jù)存儲(chǔ)，例如數(shù)據(jù)庫(kù)的劃分。在這里，我們推薦按照業(yè)務(wù)域進(jìn)行劃分，包括存儲(chǔ)、ETL組織、ETL調(diào)度（DAG）和報(bào)表規(guī)劃等。這樣，可以根據(jù)業(yè)務(wù)需求變化進(jìn)行靈活調(diào)整，適應(yīng)企業(yè)的發(fā)展。

四、團(tuán)隊(duì)知識(shí)積累和傳承勝過(guò)簡(jiǎn)單的文檔交接

在項(xiàng)目過(guò)程中，需要業(yè)務(wù)分析師、開發(fā)人員和測(cè)試人員緊密合作，共同了解需求，通過(guò)緊密協(xié)作進(jìn)行知識(shí)傳承。在實(shí)際開發(fā)過(guò)程中，我們鼓勵(lì)結(jié)對(duì)編程、Code Review等方式進(jìn)行知識(shí)傳承。我們的測(cè)試人員通常會(huì)在項(xiàng)目開始階段就參與需求了解，與業(yè)務(wù)和開發(fā)人員共同參與需求的確定。這樣的知識(shí)傳承方式有助于項(xiàng)目順利進(jìn)行，而不是業(yè)務(wù)分析師把一堆文檔交給開發(fā)和測(cè)試。

我們希望這些價(jià)值觀能夠引導(dǎo)大家進(jìn)行深入思考，更好地落地?cái)?shù)據(jù)工程。不只關(guān)注交付結(jié)果，更加關(guān)注交付流程中的需求、開發(fā)、測(cè)試和業(yè)務(wù)的協(xié)作和流程，從而提升交付效率和質(zhì)量，建立更加和諧的數(shù)據(jù)應(yīng)用交付團(tuán)隊(duì)。

數(shù)據(jù)工程的七條原則

基于上面的價(jià)值觀，我們形成了7條原則來(lái)指導(dǎo)各種場(chǎng)景下的應(yīng)用。我們將原則打印并放在顯眼位置提醒團(tuán)隊(duì)成員。在日常工作中遇到分歧時(shí)，我們回顧這些原則以指導(dǎo)數(shù)據(jù)開發(fā)過(guò)程的改進(jìn)，確保團(tuán)隊(duì)始對(duì)數(shù)據(jù)工程的一致理解。

原則一、功能設(shè)計(jì)與開發(fā)要從價(jià)值交付考量

我們會(huì)通過(guò)一系列的活動(dòng)確保項(xiàng)目的交付是基于業(yè)務(wù)價(jià)值的。通過(guò)愿景工作坊，針對(duì)高層管理者確定項(xiàng)目業(yè)務(wù)愿景。接下來(lái)，通過(guò)業(yè)務(wù)訪談，需求分析師和產(chǎn)品經(jīng)理與一線用戶進(jìn)行溝通，了解現(xiàn)狀、痛點(diǎn)和工作流程?；谑占男畔?，我們進(jìn)行桌面研究，整合類似客戶和項(xiàng)目經(jīng)驗(yàn)以及行業(yè)前沿洞見。

然后，我們通過(guò)訪談不同業(yè)務(wù)角色，為平臺(tái)用戶創(chuàng)建不同的用戶畫像（persona）。有時(shí)會(huì)為用戶起有趣的名字，以便討論時(shí)更加生動(dòng)。接著，通過(guò)服務(wù)藍(lán)圖工作坊梳理業(yè)務(wù)流程、系統(tǒng)支撐和數(shù)據(jù)產(chǎn)生交互過(guò)程。在梳理出需解決問題和需完成任務(wù)后，我們通過(guò)優(yōu)先級(jí)考量方式對(duì)功能進(jìn)行排序，平衡緊急程度和價(jià)值，從數(shù)據(jù)、技術(shù)和業(yè)務(wù)三個(gè)維度進(jìn)行考量。

通過(guò)一系列活動(dòng)確保我們是在為業(yè)務(wù)交付價(jià)值，在交付過(guò)程中，我們也會(huì)有一些其他的實(shí)踐確保和業(yè)務(wù)的緊密合作。

原則二、合理的架構(gòu)設(shè)計(jì)不僅指解決現(xiàn)有問題，還能夠在一定程度解決未來(lái)問題

數(shù)據(jù)類項(xiàng)目的重構(gòu)成本比傳統(tǒng)應(yīng)用開發(fā)要高一些，因?yàn)閿?shù)據(jù)遷移和上下游庫(kù)表的強(qiáng)依賴。所以，我們建議數(shù)據(jù)平臺(tái)的架構(gòu)要有一定的前瞻性。

在設(shè)計(jì)過(guò)程中，考慮四個(gè)方向：面向領(lǐng)域的設(shè)計(jì)，即按照領(lǐng)域維度拆分DAG構(gòu)建和庫(kù)表結(jié)構(gòu)；演進(jìn)式的平臺(tái)和工具設(shè)計(jì)，在選擇成熟的數(shù)據(jù)平臺(tái)工具時(shí)，要注意短時(shí)的易用性與長(zhǎng)期的可維護(hù)性之間的平衡；最后是數(shù)據(jù)模型設(shè)計(jì)的前瞻性，通過(guò)領(lǐng)域?qū)＜疫M(jìn)行邏輯建模并達(dá)成共識(shí)，方便基于邏輯模型進(jìn)行討論和實(shí)現(xiàn)。

原則三、我們倡導(dǎo)通過(guò)統(tǒng)一的工作標(biāo)準(zhǔn)和流程提升團(tuán)隊(duì)協(xié)作效率

雖然敏捷開發(fā)不鼓勵(lì)一定要遵循某個(gè)流程，但我們?nèi)匀恍枰欢ǖ墓ぷ鳂?biāo)準(zhǔn)。這些流程應(yīng)該是可調(diào)的，以便隨著時(shí)間的推移和團(tuán)隊(duì)的進(jìn)步進(jìn)行調(diào)整。

我們通過(guò)多年的實(shí)踐，摸索出一套適合國(guó)內(nèi)環(huán)境的敏捷開發(fā)流程。我們形成了一個(gè)穩(wěn)定的交付周期，每?jī)芍苓M(jìn)行一次迭代。在這個(gè)迭代開始前，我們會(huì)不斷地與業(yè)務(wù)方溝通以確定優(yōu)先級(jí)，確定迭代交付的內(nèi)容。在迭代中，對(duì)每個(gè)故事卡的完成情況進(jìn)行驗(yàn)收，確保數(shù)據(jù)準(zhǔn)確性，并在最后進(jìn)行持續(xù)發(fā)布。完整的迭代過(guò)程包括，拆分故事卡，迭代計(jì)劃，故事卡墻的建立，迭代開發(fā)，功能演示，用戶驗(yàn)收，持續(xù)發(fā)布，迭代回顧。

過(guò)程中，如何進(jìn)行數(shù)據(jù)探測(cè)，單元測(cè)試，代碼審核，代碼提交規(guī)范，數(shù)據(jù)質(zhì)量校驗(yàn)，都會(huì)形成團(tuán)隊(duì)自己的工作標(biāo)準(zhǔn)和流程，減少協(xié)作的隔閡。

原則四、工具是知識(shí)沉淀的具體表現(xiàn)，有效的工具能夠提升規(guī)模化開發(fā)效率

工具是知識(shí)沉淀的具體表現(xiàn)，通過(guò)有效的工具可以提升我們的開發(fā)效率。數(shù)據(jù)項(xiàng)目的交付可能包括數(shù)據(jù)集、報(bào)表、模型等可見部分，以及不可見的數(shù)據(jù)處理流程。我們需要在數(shù)據(jù)處理中提升效能，逐漸沉淀一些工具，例如數(shù)據(jù)接入層的自動(dòng)化工具、ETL框架、工作臺(tái)等，以提升開發(fā)效能。

原則五、欣然面對(duì)需求變化，及時(shí)調(diào)整交付策略 

這個(gè)原則主要是關(guān)于面對(duì)變化，并及時(shí)調(diào)整交付策略。基于一個(gè)Backlog的管理需求，我們需要處理來(lái)自不同來(lái)源的需求，如業(yè)務(wù)需求、公司規(guī)劃舉措、產(chǎn)品用戶反饋和線上問題等。這些需求將被歸入到一個(gè)Backlog中，并根據(jù)優(yōu)先級(jí)和緊迫性進(jìn)行排序，再放入后續(xù)迭代中。

然而，我們需要注意一點(diǎn)：在應(yīng)對(duì)需求變化時(shí)要避免過(guò)于隨意。例如，當(dāng)客戶在今天晚上提出需求，希望明天就能完成時(shí)，我們需要評(píng)估需求的緊迫性是否真的如此之高，并考慮如何更好地支持這種需求，例如通過(guò)改造系統(tǒng)，讓業(yè)務(wù)自己完成。原因在于開發(fā)需要有自己的節(jié)奏，如果頻繁地切換上下文或打破開發(fā)節(jié)奏，可能會(huì)對(duì)開發(fā)帶來(lái)反向影響。因此，我們需要小心管理這些需求。

總之，在面對(duì)需求變化和管理業(yè)務(wù)變化時(shí)，要注意避免隨意的變化，并確保開發(fā)能夠保持自己的節(jié)奏。這樣，我們才能更好地應(yīng)對(duì)和管理需求變化。

原則六、數(shù)據(jù)治理需要滲透到整個(gè)數(shù)據(jù)工程落地過(guò)程當(dāng)中

在實(shí)際操作中，我們倡導(dǎo)精益數(shù)據(jù)治理。這是因?yàn)樵谄髽I(yè)內(nèi)進(jìn)行大而全的數(shù)據(jù)治理會(huì)消耗大量的人力物力，并且實(shí)施起來(lái)相當(dāng)困難。

因此，我們現(xiàn)在的原則是基于數(shù)據(jù)應(yīng)用驅(qū)動(dòng)的數(shù)據(jù)治理。例如，在做一個(gè)訂單相關(guān)的報(bào)表時(shí)，我們首先針對(duì)這部分的數(shù)據(jù)治理，解決數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等問題，并根據(jù)應(yīng)用場(chǎng)景設(shè)計(jì)相應(yīng)的解決方案。當(dāng)我們需要處理其他方面的數(shù)據(jù)，如簽收和物流時(shí)，可以按照數(shù)據(jù)應(yīng)用的角度逐步完善數(shù)據(jù)治理制度。

在數(shù)據(jù)項(xiàng)目的實(shí)施過(guò)程中，可能會(huì)遇到一些數(shù)據(jù)問題，這些數(shù)據(jù)問題需要反向到業(yè)務(wù)系統(tǒng)的數(shù)據(jù)源進(jìn)行改變。但業(yè)務(wù)系統(tǒng)的變化可能會(huì)較慢或響應(yīng)遲緩，這時(shí)可以通過(guò)技術(shù)債進(jìn)行管理，在數(shù)據(jù)平臺(tái)可以暫時(shí)采用Workaround來(lái)解決問題。

總之，我們需要采用切片式的數(shù)據(jù)治理，并通過(guò)技術(shù)債進(jìn)行全面數(shù)據(jù)質(zhì)量管理。

原則七、人是數(shù)據(jù)工程落地的核心，要注重人員培養(yǎng)、知識(shí)傳承

雖然我們將這個(gè)原則放在第七位，但實(shí)際上它是最重要的原則。敏捷宣言中提到個(gè)人和交互勝過(guò)流程和工具，所以對(duì)于整個(gè)數(shù)據(jù)工程來(lái)說(shuō)，人員是核心。我們經(jīng)常在跟客戶探討數(shù)據(jù)項(xiàng)目的交付實(shí)踐的時(shí)候，最后都會(huì)歸結(jié)到員工能力和文化上。因此，我們會(huì)注重人員本身的培養(yǎng)，包括知識(shí)傳承和成長(zhǎng)。

這里的成長(zhǎng)并不僅僅指企業(yè)內(nèi)部的職業(yè)發(fā)展路線，而是指在項(xiàng)目或產(chǎn)品開發(fā)過(guò)程中的成長(zhǎng)。我們有一些好的實(shí)踐，如項(xiàng)目初期，團(tuán)隊(duì)成員會(huì)介紹自己的能力背景，并期望在項(xiàng)目中的成長(zhǎng)。在項(xiàng)目過(guò)程中，我們通過(guò)讀書會(huì)、分享、結(jié)對(duì)編程和代碼審查等方式，為數(shù)據(jù)工程師和數(shù)據(jù)分析師提供學(xué)習(xí)機(jī)會(huì)。對(duì)于長(zhǎng)期項(xiàng)目，我們需要有意識(shí)的逐漸培養(yǎng)人才梯隊(duì)。上圖中這里有一句話：“你需要長(zhǎng)得這么高才能敏捷嗎？”實(shí)際上，并非如此，一個(gè)團(tuán)隊(duì)中會(huì)有不同層次的人才，我們需要提供一個(gè)成長(zhǎng)環(huán)境，讓大家能夠提升能力和傳承知識(shí)。

總結(jié)

數(shù)據(jù)工程是數(shù)字經(jīng)濟(jì)下確保數(shù)據(jù)價(jià)值轉(zhuǎn)化的重要保障， 是加速數(shù)據(jù)轉(zhuǎn)化為價(jià)值的重要手段，數(shù)據(jù)工程能力應(yīng)對(duì)的不僅僅是當(dāng)下的挑戰(zhàn)，更是應(yīng)對(duì)未來(lái)數(shù)字經(jīng)濟(jì)大趨勢(shì)的秘密武器。隨著需要處理的數(shù)據(jù)量的增長(zhǎng)，為了處理數(shù)據(jù)領(lǐng)域的各種新問題，各種新技術(shù)、新概念逐漸涌現(xiàn)，現(xiàn)代數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖、湖倉(cāng)一體、分布式數(shù)據(jù)架構(gòu)、機(jī)器學(xué)習(xí)、數(shù)據(jù)云原生等逐一登上舞臺(tái)，數(shù)據(jù)工程的發(fā)展道阻且長(zhǎng)。

所以無(wú)論是站在企業(yè)內(nèi)部的發(fā)展訴求還是站在企業(yè)所處的社會(huì)大環(huán)境，都在要求企業(yè)加速自己轉(zhuǎn)型、完善自己的數(shù)據(jù)能力，在激烈的市場(chǎng)競(jìng)爭(zhēng)過(guò)程中獲得有利地位才能在未來(lái)數(shù)字經(jīng)濟(jì)繁榮成熟期到來(lái)之前占據(jù)有利戰(zhàn)略發(fā)展位置。