企業(yè)年復(fù)一年地產(chǎn)生更多數(shù)據(jù)，但保存數(shù)據(jù)的位置數(shù)量正在急劇增加。數(shù)據(jù)的激增以及我們用來(lái)保護(hù)數(shù)據(jù)的方法伴隨著市場(chǎng)變化——經(jīng)濟(jì)、技術(shù)以及客戶行為和營(yíng)銷策略的變化，僅舉幾例。

事實(shí)上，您甚至可能聽(tīng)說(shuō)過(guò)IDC新的《2021-2025年全球數(shù)據(jù)領(lǐng)域預(yù)測(cè)》，該預(yù)測(cè)預(yù)計(jì)全球數(shù)據(jù)生產(chǎn)和復(fù)制在預(yù)測(cè)期內(nèi)將以23%的復(fù)合年增長(zhǎng)率擴(kuò)大，到2025年達(dá)到181澤字節(jié)。2020年的數(shù)據(jù)量為64.2澤字節(jié)，比2012年的6.5澤字節(jié)增長(zhǎng)了十倍。

順便說(shuō)一句，一個(gè)zettabyte等于1,000,000,000,000,000,000,000(1021)字節(jié)，或近2500億張DVD，這比您預(yù)期的要多得多。

雖然不斷增長(zhǎng)的數(shù)據(jù)使公司能夠設(shè)置基線、基準(zhǔn)和目標(biāo)以繼續(xù)前進(jìn)，但它提出了一個(gè)問(wèn)題，即究竟是什么導(dǎo)致了它，以及它對(duì)您組織的工程團(tuán)隊(duì)效率意味著什么。

是什么導(dǎo)致了數(shù)據(jù)爆炸？

從2022年開(kāi)始，大數(shù)據(jù)分析顯示信息消費(fèi)急劇增加。這一趨勢(shì)始于2020年，當(dāng)時(shí)由于大流行的限制，個(gè)人主要呆在家里。當(dāng)時(shí)它在一年內(nèi)從41澤字節(jié)躍升至64.2澤字節(jié)。據(jù)專家介紹，近200澤字節(jié)的數(shù)據(jù)需要額外的存儲(chǔ)容量。從2020年到2025年，存儲(chǔ)庫(kù)類別將以每年19.2%的速度增長(zhǎng)。

事實(shí)上，Statista預(yù)測(cè)，到2025年，世界將產(chǎn)生略多于180澤字節(jié)的數(shù)據(jù)。

早在疫情之前，產(chǎn)生和交換的內(nèi)容和信息量就一直在不斷增加。想想Domo的統(tǒng)計(jì)數(shù)據(jù)，在家工作的人數(shù)從18個(gè)月前的大約15%增加到現(xiàn)在的50%以上（在疫情期間有時(shí)接近100%）。Zoom和Microsoft Teams等協(xié)作解決方案越來(lái)越受歡迎。這意味著更多的位和字節(jié)。

事實(shí)上，每天有超過(guò)300,000個(gè)組織和1.15億用戶登錄Microsoft Teams。Zoom也擁有大量用戶。在鼎盛時(shí)期，該公司每分鐘舉行近200,000次會(huì)議。任何平臺(tái)上的每一分鐘都需要大量存儲(chǔ)空間來(lái)建立連接。

Domo還檢查了世界人口。大約60%的人口擁有互聯(lián)網(wǎng)連接，活躍用戶超過(guò)50億。他們中的大多數(shù)是移動(dòng)的并利用社交媒體。無(wú)論如何，在我們這個(gè)小地球上，這就是每個(gè)人的大量數(shù)據(jù)。

數(shù)據(jù)爆炸式增長(zhǎng)對(duì)工程師團(tuán)隊(duì)效率的影響

數(shù)據(jù)過(guò)載是全球企業(yè)面臨的一個(gè)日益嚴(yán)重的問(wèn)題。企業(yè)必須一遍又一遍地篩選大量數(shù)據(jù)，以識(shí)別和掌握其復(fù)雜性。這意味著適當(dāng)保護(hù)這些數(shù)據(jù)會(huì)給大多數(shù)企業(yè)帶來(lái)巨大的財(cái)務(wù)和人力成本。隨著數(shù)據(jù)日益增長(zhǎng)，每個(gè)業(yè)務(wù)團(tuán)隊(duì)都受到影響，使他們遠(yuǎn)離核心職責(zé)。

這種數(shù)據(jù)增長(zhǎng)熱潮對(duì)于組織來(lái)說(shuō)很重要，因?yàn)槿绻€沒(méi)有影響到您的客戶，它很快就會(huì)影響到您的客戶。如果他們還沒(méi)有開(kāi)始詢問(wèn)有關(guān)大數(shù)據(jù)和數(shù)據(jù)分析的問(wèn)題，他們很有可能很快就會(huì)提出問(wèn)題，因?yàn)樘幚泶罅繑?shù)據(jù)的團(tuán)隊(duì)不可避免地會(huì)出現(xiàn)不一致，并且無(wú)法對(duì)其進(jìn)行適當(dāng)?shù)脑u(píng)估。公司的競(jìng)爭(zhēng)能力將越來(lái)越取決于其利用數(shù)據(jù)、應(yīng)用分析和集成新技術(shù)的能力。

除了內(nèi)部開(kāi)發(fā)之外，外部數(shù)據(jù)擴(kuò)展（來(lái)自政府來(lái)源、外部供應(yīng)商等）將出現(xiàn)爆炸式增長(zhǎng)。尤其是工程團(tuán)隊(duì)，很快就會(huì)被與競(jìng)爭(zhēng)數(shù)據(jù)、新產(chǎn)品和服務(wù)發(fā)布、市場(chǎng)發(fā)展和行業(yè)趨勢(shì)有關(guān)的大量信息所淹沒(méi)，從而導(dǎo)致信息焦慮。

爆炸性的數(shù)據(jù)增長(zhǎng)可能難以處理

標(biāo)題有點(diǎn)夸張，但“大數(shù)據(jù)”一詞并非如此。今天的數(shù)據(jù)工程師必須處理比以往更多的數(shù)據(jù)，而且沒(méi)有放緩的跡象。雖然大量數(shù)據(jù)對(duì)行業(yè)有利，但數(shù)據(jù)的增長(zhǎng)速度超出了任何人的預(yù)期，這導(dǎo)致了一些問(wèn)題。

表現(xiàn)不佳

即使是最強(qiáng)大的設(shè)備，所有這些數(shù)據(jù)也會(huì)造成負(fù)擔(dān)。報(bào)告和模型在試圖解釋流經(jīng)它們的大量數(shù)據(jù)時(shí)會(huì)卡頓。如果您不小心，您的工程師的數(shù)據(jù)需求可能會(huì)超出您計(jì)算機(jī)的容量。

對(duì)于大多數(shù)工程師團(tuán)隊(duì)來(lái)說(shuō)，時(shí)間是寶貴的。您不能在幾份報(bào)告上浪費(fèi)他們的時(shí)間。但是，有一些方法可以解決這個(gè)問(wèn)題。如果您還沒(méi)有，遷移到云可能是一個(gè)現(xiàn)實(shí)的選擇。云數(shù)據(jù)倉(cāng)庫(kù)提供了各種優(yōu)勢(shì)，包括比傳統(tǒng)倉(cāng)庫(kù)更具可擴(kuò)展性和彈性的能力。

無(wú)法獲取數(shù)據(jù)

對(duì)于難以足夠快地提取數(shù)據(jù)集的工程師來(lái)說(shuō)，所有這些數(shù)據(jù)可能是壓倒性的。較舊的ETL技術(shù)可能會(huì)產(chǎn)生大量代碼并進(jìn)一步減慢您的流程，但沒(méi)有幫助。一個(gè)潛在的選擇是使用ELT系統(tǒng)——提取、加載和轉(zhuǎn)換——根據(jù)需要與數(shù)據(jù)進(jìn)行交互。它可能與您的數(shù)據(jù)治理政策相沖突（更多內(nèi)容見(jiàn)下文），但它可能有助于建立更廣泛的數(shù)據(jù)視圖并為您的主要模型提供更好的數(shù)據(jù)集。

數(shù)據(jù)管道維護(hù)

對(duì)數(shù)據(jù)管道的不斷增長(zhǎng)的需求和大數(shù)據(jù)的增長(zhǎng)趨勢(shì)使其看起來(lái)更像是一場(chǎng)海嘯，并使維護(hù)現(xiàn)有管道成為數(shù)據(jù)工程中的一項(xiàng)重大挑戰(zhàn)。

代碼也有變化。命令式編程正在被聲明式編程所取代。對(duì)低代碼甚至零代碼系統(tǒng)的日益重視，減少了維護(hù)并減輕了數(shù)據(jù)工程師的負(fù)擔(dān)。

其他行業(yè)害怕自動(dòng)化，但在這種情況下，數(shù)據(jù)工程師是他們的朋友。

無(wú)法正確管理數(shù)據(jù)

數(shù)據(jù)治理不是游戲。它為您可能希望避免的數(shù)據(jù)工程增加了一層官僚主義。另一方面，替代方案可能會(huì)導(dǎo)致關(guān)鍵數(shù)據(jù)值和定義不一致。這意味著在多個(gè)集成和報(bào)告中循環(huán)的不正確數(shù)據(jù)的可能性。

考慮一下您的公司有多少個(gè)互連系統(tǒng)。如果應(yīng)用程序之間未同步特定字段，則可能會(huì)在錯(cuò)誤的時(shí)間從錯(cuò)誤的位置提取報(bào)告，從而導(dǎo)致錯(cuò)誤的數(shù)據(jù)。如果字段未實(shí)時(shí)更新，則尤其如此。

爆炸性的數(shù)據(jù)增長(zhǎng)可能是加強(qiáng)您的工程團(tuán)隊(duì)的機(jī)會(huì)

盡管數(shù)據(jù)爆炸最終可能會(huì)停止，但無(wú)論您喜歡與否，公司和個(gè)人仍將繼續(xù)每天每秒生成新信息。這為IT行業(yè)的任何人創(chuàng)造了機(jī)會(huì)，他們隨時(shí)準(zhǔn)備提供企業(yè)所需的工具來(lái)收集、存儲(chǔ)、管理和分析可供他們使用的大量數(shù)據(jù)，并將其用于自身優(yōu)勢(shì)。

這種數(shù)據(jù)爆炸式增長(zhǎng)可以成為數(shù)據(jù)分析師和工程領(lǐng)導(dǎo)者將更多數(shù)據(jù)納入其開(kāi)發(fā)流程以更好地了解其團(tuán)隊(duì)真正需要的職責(zé)的途徑。例如，更好的數(shù)據(jù)可以幫助管理層更清楚地了解他們的團(tuán)隊(duì)，方法是評(píng)估行為指標(biāo)以發(fā)現(xiàn)團(tuán)隊(duì)的微妙之處、建立增加員工人數(shù)的案例或提供更好的團(tuán)隊(duì)反饋。

工程團(tuán)隊(duì)可以利用客觀數(shù)據(jù)來(lái)建立更明智的產(chǎn)品路線圖，消除可能的障礙，并避免與其他團(tuán)隊(duì)、領(lǐng)導(dǎo)層和董事會(huì)成員的誤解。工程師將通過(guò)數(shù)據(jù)驅(qū)動(dòng)的策略更深入地了解生產(chǎn)周期的潮起潮落，從而使他們能夠更好地為團(tuán)隊(duì)配備適當(dāng)?shù)娜藛T和資源。

成為數(shù)據(jù)驅(qū)動(dòng)的組織是必須的

每天都有越來(lái)越多的人訪問(wèn)互聯(lián)網(wǎng)和手機(jī)網(wǎng)絡(luò)。IT、電信和娛樂(lè)公司已經(jīng)發(fā)現(xiàn)了使用更多帶寬和存儲(chǔ)以及更廣泛和更好服務(wù)的新方法。因此，數(shù)據(jù)擴(kuò)張不太可能很快放緩。隨著更多技術(shù)的發(fā)明，它似乎每隔幾年就會(huì)增加一個(gè)數(shù)量級(jí)。

然而，值得注意的是，技術(shù)仍然只是一種工具。雖然爆炸性數(shù)據(jù)會(huì)對(duì)不同的組織職能產(chǎn)生負(fù)面影響，但它仍然可以被操縱、保護(hù)和利用，以推動(dòng)您的業(yè)務(wù)實(shí)現(xiàn)正增長(zhǎng)。正如許多人所指出的那樣，我們?nèi)匀皇菦Q定技術(shù)會(huì)發(fā)生什么的人，而不是相反——還有什么比成為數(shù)據(jù)驅(qū)動(dòng)的組織更好的利用技術(shù)的方式呢？