影子數(shù)據(jù)(或數(shù)據(jù)孤島)在以下情況下出現(xiàn):

自主性和速度優(yōu)先于技術(shù)標(biāo)準(zhǔn);

數(shù)據(jù)訪問或資源有限，迫使團(tuán)隊(duì)圍繞現(xiàn)有系統(tǒng)和流程工作;或者

數(shù)據(jù)消費(fèi)者決定部署他們自己的單點(diǎn)解決方案，而不是與您合作。

但是消費(fèi)者不是揮舞白旗，而是經(jīng)常在數(shù)據(jù)團(tuán)隊(duì)的監(jiān)視之外找到他們需要的東西——這是有風(fēng)險(xiǎn)的。

數(shù)據(jù)孤島給數(shù)據(jù)消費(fèi)者和數(shù)據(jù)團(tuán)隊(duì)帶來了許多風(fēng)險(xiǎn)，例如:

脆弱 :我敢打賭，財(cái)務(wù)分析團(tuán)隊(duì)的John沒有為他的數(shù)據(jù)集部署依賴關(guān)系管理和異常檢測(cè)等系統(tǒng)。當(dāng)高管們來問你為什么這個(gè)指標(biāo)是錯(cuò)的時(shí)，如果你不知道它是如何產(chǎn)生的，那就很難調(diào)試。無論哪種情況，這都會(huì)帶來有價(jià)值的業(yè)務(wù)數(shù)據(jù)丟失的風(fēng)險(xiǎn)。

知識(shí)流失 :如果一個(gè)數(shù)據(jù)“超級(jí)用戶”離開了，你不會(huì)想知道如何對(duì)你現(xiàn)在繼承的深?yuàn)W系統(tǒng)進(jìn)行逆向工程。這不僅是一種糟糕的資源分配，而且他們的系統(tǒng)可能在被發(fā)現(xiàn)成為問題之前就已經(jīng)造成了數(shù)不清的麻煩(一家公司發(fā)現(xiàn)，在一名團(tuán)隊(duì)成員離開后，他們的一種預(yù)測(cè)算法被發(fā)現(xiàn)自動(dòng)運(yùn)行，導(dǎo)致數(shù)百萬美元的收入受到影響)。

安全性 :“我并不知道這件事!”不會(huì)阻止監(jiān)管機(jī)構(gòu)對(duì)不當(dāng)處理個(gè)人數(shù)據(jù)處以罰款。對(duì)GDPR來說，罰款最高可達(dá)公司收入的4%——哎喲。

斷斷續(xù)續(xù)的訪問 :分析師會(huì)變得暴躁，當(dāng)他們無法訪問他們所需要的東西時(shí)，因?yàn)檫@些東西無法加入到他們的規(guī)范用戶表中，所以他們會(huì)變得暴躁。這些數(shù)據(jù)孤島要么造成不透明，要么需要重復(fù)流程，這兩者都不是積極的結(jié)果。

狹隘的決定 :雖然數(shù)據(jù)消費(fèi)者可以通過用戶友好的點(diǎn)解決方案快速行動(dòng)，但對(duì)于復(fù)雜的決策，他們可能需要專家來考慮實(shí)驗(yàn)設(shè)計(jì)、采樣偏差和混淆因素。整個(gè)部門可能會(huì)圍著馬車，朝著一個(gè)不會(huì)從根本上增加業(yè)務(wù)價(jià)值的目標(biāo)前進(jìn)，或者以任意的方式進(jìn)行衡量。

那么，數(shù)據(jù)團(tuán)隊(duì)如何識(shí)別隱藏在暗處的數(shù)據(jù)孤島呢?他們能否以此為契機(jī)，發(fā)現(xiàn)其數(shù)據(jù)平臺(tái)的弱點(diǎn)，并通過鼓勵(lì)或強(qiáng)迫的方式吸引消費(fèi)者?

在我看來，答案是肯定的。讓我們看看數(shù)據(jù)孤島在哪里，以及如何打破它們。

數(shù)據(jù)豎井1:轉(zhuǎn)換和預(yù)聚合

但是在我們談?wù)摂?shù)據(jù)消費(fèi)者之前，讓我們不要讓我們自己作為數(shù)據(jù)專業(yè)人員完全地?cái)[脫困境。我們?cè)诓磺袑?shí)際地努力滿足不斷增長的數(shù)據(jù)需求的同時(shí)，在我們團(tuán)隊(duì)的能力范圍內(nèi)工作，創(chuàng)建了我們應(yīng)得的數(shù)據(jù)孤島。

前幾天我們遇到的數(shù)據(jù)事件是由于添加到我們的技術(shù)堆棧中，這將一些跟蹤信息引入到流入我們應(yīng)用程序的數(shù)據(jù)結(jié)構(gòu)中。是的，相信我，我知道這很諷刺。

當(dāng)數(shù)據(jù)保存到S3中，然后被數(shù)據(jù)塊接收時(shí)，它只是部分加載，所以我們的管道中有丟失的數(shù)據(jù)。

我們的事后分析得出結(jié)論，我們的工作過于復(fù)雜，有太多的轉(zhuǎn)換。作為最佳實(shí)踐，我們應(yīng)該在關(guān)鍵檢查點(diǎn)將作業(yè)分解為一系列更小的轉(zhuǎn)換，這些轉(zhuǎn)換會(huì)寫入可監(jiān)控的表中，這將觸發(fā)蒙特卡羅容量警報(bào)。

在處理老派的ETL和商業(yè)智能實(shí)現(xiàn)時(shí)，我見過類似的場(chǎng)景。數(shù)據(jù)是為性能而預(yù)先聚合的，底層對(duì)于負(fù)責(zé)診斷關(guān)鍵指標(biāo)暗中下降的分析師來說是不可見的。如果分析師知道基礎(chǔ)數(shù)據(jù)是如何轉(zhuǎn)換的，他們就很幸運(yùn)了，更不用說能夠成功找到下降的原因了。

雖然商業(yè)智能工具會(huì)吹捧它們的數(shù)據(jù)準(zhǔn)備能力，但這最終會(huì)變成對(duì)工具之外的團(tuán)隊(duì)不可用的另一個(gè)業(yè)務(wù)邏輯筒倉。顯然，最后一英里操作有一些好處，也許BI中的“不超過SELECT*”這樣的規(guī)則太苛刻了，但是任何可重用的語義都必須對(duì)您的團(tuán)隊(duì)廣泛可用。

解決辦法 :將復(fù)雜的轉(zhuǎn)換或SQL查詢分解成不同的檢查點(diǎn)，這些檢查點(diǎn)會(huì)寫出數(shù)據(jù)質(zhì)量受監(jiān)控的表。確保您的業(yè)務(wù)邏輯不會(huì)被鎖定在只有部分用戶可以訪問的單一工具中。

數(shù)據(jù)筒倉2:電子表格

在許多組織中，電子表格仍然是使數(shù)據(jù)民主化的最成功的方式，即使它們可能偶爾會(huì)成為數(shù)據(jù)團(tuán)隊(duì)痛苦和嘲笑的來源。

我們?cè)谪?cái)務(wù)部門的合作伙伴可以使用PC和VLOOKUP做一些了不起的事情，根據(jù)我的經(jīng)驗(yàn)，沒有什么比將表格放入Google Sheets并與合作伙伴合作手動(dòng)添加標(biāo)簽更好的方式來民主化新數(shù)據(jù)的原型，這些標(biāo)簽是他們?cè)诜治鲋锌吹降挠幸饬x的屬性。

當(dāng)電子表格從原型進(jìn)入生產(chǎn)階段時(shí)，它就變成了一個(gè)數(shù)據(jù)倉庫。或者換句話說，如果您不止一次看到同一個(gè)電子表格在業(yè)務(wù)運(yùn)營中發(fā)揮作用，那么是時(shí)候?qū)⑦壿嬒蛏嫌我苿?dòng)，創(chuàng)建更系統(tǒng)的東西了。

解決方案: 對(duì)于數(shù)據(jù)團(tuán)隊(duì)來說，一個(gè)竅門是定期檢查用于指導(dǎo)業(yè)務(wù)的龐大的電子表格，或者可能位于共享驅(qū)動(dòng)器中的電子表格，這些電子表格可能有一些復(fù)雜的公式或宏位于您的團(tuán)隊(duì)根據(jù)其規(guī)范提供的數(shù)據(jù)之上。

這種回顧通常會(huì)揭示解決您的數(shù)據(jù)平臺(tái)中的差距的方法，并且可以幫助您將轉(zhuǎn)換帶到上游以增加可觀察性和可伸縮性。您甚至可以為更廣泛的應(yīng)用開發(fā)新的標(biāo)準(zhǔn)化指標(biāo)的機(jī)會(huì)，如生命周期價(jià)值(LTV ),并在更精細(xì)的層次上生成它們。

數(shù)據(jù)孤島3:“一體化”解決方案–ESP、CDP、DMP、A/B

如果做錯(cuò)了，這些可能是最難控制的筒倉。

大部分營銷技術(shù)堆棧像電子郵件服務(wù)提供商和營銷自動(dòng)化平臺(tái)一樣，領(lǐng)先于現(xiàn)代數(shù)據(jù)倉庫的進(jìn)步而脫穎而出。這意味著提高影響力的最便捷方式是采用一體化解決方案，直接收集、管理和向營銷人員提供數(shù)據(jù)。這種孤島造成的一些最緊迫的問題是，這些系統(tǒng)很快經(jīng)歷了客戶群的無序蔓延，并且分割的活動(dòng)通常缺乏衡量。

早在我做咨詢的時(shí)候，我就評(píng)估過一個(gè)大型電信公司在“微定位”不到客戶群的1% 因?yàn)樗麄冊(cè)诓恢挥X中把活動(dòng)過濾給了滿意的顧客每個(gè) 復(fù)雜分段中的屬性。

但是幾年前我們有了轉(zhuǎn)機(jī)——數(shù)據(jù)團(tuán)隊(duì)和技術(shù)現(xiàn)在能夠足夠快速和靈活地跟上業(yè)務(wù)發(fā)展的速度，同時(shí)利用倉庫中豐富的數(shù)據(jù)釋放新的機(jī)會(huì)營銷人員和其他業(yè)務(wù)合作伙伴看到了數(shù)據(jù)團(tuán)隊(duì)的價(jià)值，而不是繞過它。

這些營銷第一的解決方案正在適應(yīng)。無論您是選擇現(xiàn)代的CDP還是反向ETL來將數(shù)據(jù)傳輸?shù)綘I銷人員手中，必備的特性是在您的企業(yè)數(shù)據(jù)倉庫上進(jìn)行收集、轉(zhuǎn)換和基本的分段操作。

解決辦法 : 我發(fā)現(xiàn)，讓營銷團(tuán)隊(duì)參與進(jìn)來的最佳方式是創(chuàng)建尊重和滿足他們對(duì)速度和自主權(quán)的需求的系統(tǒng)，同時(shí)合作確保強(qiáng)有力的治理和衡量是解決方案的一部分。

我的推薦?主動(dòng)消除孤島

讓睡覺的狗躺著可能很有誘惑力，但是，在我看來，數(shù)據(jù)團(tuán)隊(duì)?wèi)?yīng)該積極主動(dòng)地消除數(shù)據(jù)孤島或任何“影子數(shù)據(jù)”系統(tǒng)。

我通常選擇夢(mèng)想領(lǐng)域的方法——“如果你建造了它，它們就會(huì)到來。”(這種方法可能更類似于收集需求、確定項(xiàng)目范圍、獲得批準(zhǔn)、構(gòu)建最小可行產(chǎn)品、獲得反饋、迭代，它們就會(huì)到來——但這并不簡潔)。

但是，如果您構(gòu)建了它，但他們沒有來，那么您需要解決這是否是您的技術(shù)解決方案的失敗，缺乏組織的認(rèn)同，或者完全是其他原因。然后，您需要找到一個(gè)解決方案，讓您走上打破孤島的正確道路。

畢竟，數(shù)據(jù)最終是數(shù)據(jù)團(tuán)隊(duì)的責(zé)任，消費(fèi)者將做他們需要做的事情來訪問它。作為數(shù)據(jù)領(lǐng)導(dǎo)者，我們前進(jìn)的最佳途徑是接受這一現(xiàn)實(shí)，并采取措施緩解它。