什么是大數(shù)據(jù)分析?

大數(shù)據(jù)分析描述了在大量原始數(shù)據(jù)中發(fā)現(xiàn)趨勢(shì)、模式和相關(guān)性的過(guò)程，以幫助做出基于數(shù)據(jù)的決策。這些過(guò)程使用熟悉的統(tǒng)計(jì)分析技術(shù)，并在更新的工具的幫助下將它們應(yīng)用于更廣泛的數(shù)據(jù)集。自 2000 年代初以來(lái)，大數(shù)據(jù)一直是一個(gè)流行詞，當(dāng)時(shí)軟件和硬件功能使組織能夠處理大量非結(jié)構(gòu)化數(shù)據(jù)。隨著數(shù)據(jù)的爆炸式增長(zhǎng)，Hadoop、Spark 和 NoSQL 數(shù)據(jù)庫(kù)等早期創(chuàng)新項(xiàng)目被創(chuàng)建用于存儲(chǔ)和處理大數(shù)據(jù)。隨著數(shù)據(jù)工程師尋找方法來(lái)集成由傳感器、網(wǎng)絡(luò)、交易、智能設(shè)備、Web 使用等創(chuàng)建的大量復(fù)雜信息，該領(lǐng)域不斷發(fā)展。

大數(shù)據(jù)分析的工作原理

1.收集數(shù)據(jù)

每個(gè)組織的數(shù)據(jù)收集看起來(lái)都不同。借助當(dāng)今的技術(shù)，組織可以從各種來(lái)源收集結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，從云存儲(chǔ)到移動(dòng)應(yīng)用程序，再到物聯(lián)網(wǎng)傳感器等。一些數(shù)據(jù)將存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中，商業(yè)智能工具和解決方案可以輕松訪問(wèn)它。對(duì)于倉(cāng)庫(kù)來(lái)說(shuō)過(guò)于多樣化或復(fù)雜的原始或非結(jié)構(gòu)化數(shù)據(jù)可能會(huì)被分配元數(shù)據(jù)并存儲(chǔ)在數(shù)據(jù)湖中。

2.過(guò)程數(shù)據(jù)

收集和存儲(chǔ)數(shù)據(jù)后，必須對(duì)其進(jìn)行適當(dāng)?shù)慕M織，以獲得有關(guān)分析查詢的準(zhǔn)確結(jié)果，尤其是當(dāng)數(shù)據(jù)很大且非結(jié)構(gòu)化時(shí)?？捎脭?shù)據(jù)呈指數(shù)級(jí)增長(zhǎng)，這使得數(shù)據(jù)處理成為組織面臨的挑戰(zhàn)。一種處理選項(xiàng)是批處理，它隨時(shí)間推移查看大型數(shù)據(jù)塊。當(dāng)收集和分析數(shù)據(jù)之間的周轉(zhuǎn)時(shí)間較長(zhǎng)時(shí)，批處理非常有用。流處理一次查看小批量數(shù)據(jù)，縮短了收集和分析之間的延遲時(shí)間，從而更快地做出決策。流處理更復(fù)雜，通常更昂貴。

3.清理數(shù)據(jù)

無(wú)論數(shù)據(jù)大小，都需要進(jìn)行清理，以提高數(shù)據(jù)質(zhì)量并獲得更強(qiáng)的結(jié)果;所有數(shù)據(jù)的格式必須正確，任何重復(fù)或不相關(guān)的數(shù)據(jù)都必須被消除或考慮在內(nèi)。臟數(shù)據(jù)可能會(huì)模糊和誤導(dǎo)，從而產(chǎn)生有缺陷的見(jiàn)解。

4.分析數(shù)據(jù)

讓大數(shù)據(jù)進(jìn)入可用狀態(tài)需要時(shí)間。一旦準(zhǔn)備就緒，高級(jí)分析流程就可以將大數(shù)據(jù)轉(zhuǎn)化為大洞察。其中一些大數(shù)據(jù)分析方法包括：

數(shù)據(jù)挖掘?qū)Υ笮蛿?shù)據(jù)集進(jìn)行排序，通過(guò)識(shí)別異常和創(chuàng)建數(shù)據(jù)集群來(lái)識(shí)別模式和關(guān)系。

預(yù)測(cè)分析使用組織的歷史數(shù)據(jù)對(duì)未來(lái)進(jìn)行預(yù)測(cè)，識(shí)別即將到來(lái)的風(fēng)險(xiǎn)和機(jī)遇。

深度學(xué)習(xí)通過(guò)使用人工智能和機(jī)器學(xué)習(xí)來(lái)模仿人類的學(xué)習(xí)模式，對(duì)算法進(jìn)行分層，并在最復(fù)雜和最抽象的數(shù)據(jù)中查找模式。