什么是大數(shù)據(jù)?

大數(shù)據(jù)是一個術(shù)語，用來描述一個組織中以各種形式存在的巨大且快速擴展的數(shù)據(jù)量，這些數(shù)據(jù)通常來自多個來源。換言之，數(shù)據(jù)是巨大、多樣且分散的。大數(shù)據(jù)對幾乎每一個行業(yè)的企業(yè)決策、產(chǎn)品創(chuàng)造和運營管理都產(chǎn)生了巨大影響。大數(shù)據(jù)的主要障礙與組織、技術(shù)和運營方面的限制有關(guān)，例如缺乏基礎(chǔ)設(shè)施或熟練人員。讓我們將這些障礙分解為易于管理、易于理解的問題，并提供具體的解決方案。

大數(shù)據(jù)挑戰(zhàn)及其解決方案

1、數(shù)量不斷增長

挑戰(zhàn)：大數(shù)據(jù)名副其實。企業(yè)擁有數(shù)兆字節(jié)的數(shù)據(jù)，這些數(shù)據(jù)不斷擴展，如果處理不當，可能很快就失控。企業(yè)失去了從數(shù)據(jù)資產(chǎn)中獲得價值的機會，因為在缺乏足夠的設(shè)計、處理能力和基礎(chǔ)設(shè)施的情況下，其無法跟上這種擴展。

解決方案：利用存儲和管理技術(shù)來處理與大數(shù)據(jù)管理相關(guān)的日益增長的數(shù)量和困難。確保決策與組織需求和業(yè)務(wù)目標相一致，無論是使用云計算、本地托管還是混合策略。構(gòu)建工具和可擴展的架構(gòu)，以適應(yīng)不斷增長的數(shù)據(jù)量而不犧牲其完整性。

2、數(shù)據(jù)質(zhì)量低下

挑戰(zhàn)：大數(shù)據(jù)的主要問題之一是質(zhì)量低下，僅美國每年就花費超過3萬億美元。那么，錯誤數(shù)據(jù)究竟是什么?不一致的、過時的、缺失的、錯誤的、難以辨認的和重復(fù)的數(shù)據(jù)可能會降低整個集合的質(zhì)量。即使是很小的錯誤和不一致也可能導(dǎo)致嚴重的大數(shù)據(jù)問題。因此，監(jiān)控其質(zhì)量至關(guān)重要。否則，弊大于利。錯誤、低效率和誤導(dǎo)性的見解是由糟糕的數(shù)據(jù)質(zhì)量引起的，它們最終會給組織帶來成本。

解決方案：建立內(nèi)部方法和人員來處理數(shù)據(jù)是實現(xiàn)良好數(shù)據(jù)衛(wèi)生的第一步。應(yīng)該建立適當?shù)臄?shù)據(jù)治理，決定訪問控制和數(shù)據(jù)管理的工具和協(xié)議。利用許多可用的當前數(shù)據(jù)管理技術(shù)來建立一個有效的過程，以各種方式清理、過濾、排序、豐富和管理數(shù)據(jù)。

3、數(shù)據(jù)來源多，集成難度大

挑戰(zhàn)：顯然，數(shù)據(jù)越多越好。但前提是，知道如何為協(xié)作分析編譯信息，否則更多的數(shù)據(jù)通常不會轉(zhuǎn)化為更大的價值。事實上，尋找或創(chuàng)建能帶來洞察力和集成異構(gòu)數(shù)據(jù)的觸點是大數(shù)據(jù)倡議面臨的兩個最困難的問題。

解決方案：制作一個清單，以確定數(shù)據(jù)的來源，以及將其集成以進行協(xié)作分析是否有意義。使用數(shù)據(jù)集成技術(shù)鏈接來自多個來源的數(shù)據(jù)，包括數(shù)據(jù)庫、文件、應(yīng)用和數(shù)據(jù)倉庫，并為大數(shù)據(jù)分析做好準備?？梢允褂胮recise或Qlik等產(chǎn)品，這些產(chǎn)品是專業(yè)的數(shù)據(jù)集成解決方案，又或者可以使用Microsoft、SAP、Oracle或企業(yè)目前使用的其他技術(shù)。

4、項目和基礎(chǔ)設(shè)施成本增加

挑戰(zhàn)：阻礙高管將數(shù)據(jù)貨幣化的主要障礙之一是有限的IT預(yù)算。實施大數(shù)據(jù)的成本很高。其包括龐大的初期投資，且不能立即獲得回報，因此謹慎的準備是必要的。此外，基礎(chǔ)設(shè)施隨著數(shù)據(jù)量的增加而迅速擴展。有時候，可能會很容易忘記財產(chǎn)及維護其的費用。

解決方案：通過定期監(jiān)控基礎(chǔ)設(shè)施，大數(shù)據(jù)可以解決大多數(shù)日益增加的成本問題。在構(gòu)建數(shù)據(jù)處理管道時，要及早考慮費用。選擇負擔得起的工具，滿足經(jīng)濟限制。良好的開發(fā)和數(shù)據(jù)運行方法有助于平衡可擴展性成本，找到節(jié)省成本的可能性，并監(jiān)控用于數(shù)據(jù)管理和存儲的服務(wù)和資源。

5、洞察時間長

挑戰(zhàn)：“洞察時間”這個術(shù)語描述的是在數(shù)據(jù)變得過時和不可用之前，需要多長時間才能從數(shù)據(jù)中得出結(jié)論。低效的數(shù)據(jù)管理技術(shù)和費力的數(shù)據(jù)管道導(dǎo)致的大數(shù)據(jù)問題之一是獲得洞察力的時間很長。在某些業(yè)務(wù)場景中，這個指標比其他指標更重要。

解決方案：當從事物聯(lián)網(wǎng)和大數(shù)據(jù)項目時，自動化和遠程控制嚴重依賴于低延遲，應(yīng)該考慮利用邊緣和霧技術(shù)來提供盡可能接近行動的分析。對實時數(shù)據(jù)的快速響應(yīng)將成為可能，而洞察的時間將縮短。

不必堅持嚴格的數(shù)據(jù)方法。在創(chuàng)建和構(gòu)建數(shù)據(jù)管道時，采用靈活的方法并定期進行檢查，以確定效率低下和速度下降的情況。利用大數(shù)據(jù)可視化工具和方法，以及當代人工智能技術(shù)，更快地提供和傳播見解。