社會方方面面都在進入數(shù)字化時代，大數(shù)據(jù)相關的技術支撐體系，其作用不可小覷。數(shù)據(jù)倉庫和數(shù)據(jù)湖都是大數(shù)據(jù)底座的概念，經(jīng)常是我們討論技術方案的熱點。

表面看，兩者都是作為大數(shù)據(jù)存儲的方案，但在功能、目的和體系結構方面存在根本差異。

本文主要探討一下這兩個概念存在的幾個特點以及區(qū)別。

1.數(shù)據(jù)存儲類別

在數(shù)據(jù)多樣性方面，數(shù)據(jù)湖可以輕松地容納半結構化、結構化和非結構化等不同類型的數(shù)據(jù)，這些數(shù)據(jù)都可以是原生格式，沒有任何預定義的數(shù)據(jù)模型。例如：視頻、文檔、媒體流、表格數(shù)據(jù)等。

相反，數(shù)據(jù)倉庫存儲的內(nèi)容為特定用例正確建模和組織的結構化數(shù)據(jù)。結構化數(shù)據(jù)一般是預定義好的數(shù)據(jù)模型，適用于傳統(tǒng)關系數(shù)據(jù)庫的數(shù)據(jù)。

從數(shù)據(jù)多樣化角度看，數(shù)據(jù)湖更容易訪問。

2.處理方法

數(shù)據(jù)湖遵循schema-on-read的數(shù)據(jù)處理方法。因此，可以在數(shù)據(jù)湖上攝取到原始數(shù)據(jù)，而無需結構化或建模。用戶可以直接分析特定結構的數(shù)據(jù)，具有更好的敏捷性和靈活性。

然而，對于數(shù)據(jù)倉庫，在數(shù)據(jù)提取之前，就需要預先對數(shù)據(jù)建模，然后再執(zhí)行 schema-on-write 方法。要求在將數(shù)據(jù)加載到倉庫之前，按照預定義的方案對數(shù)據(jù)進行格式化和結構化。

3.存儲成本

在數(shù)據(jù)成本方面，數(shù)據(jù)湖提供了一種更加具有成本效益的存儲解決方案，因為它通?？梢岳瞄_源技術實現(xiàn)。即使組織需要處理大量數(shù)據(jù)，分布式的存儲基礎架構的使用也可以降低總體存儲成本。

與之相比，數(shù)據(jù)倉庫由于其專有技術和結構化性質，其存儲成本更高。倉庫中采用的索引和模式機制會導致存儲需求以及其他費用的增加。

4.敏捷性

數(shù)據(jù)湖因為沒有剛性的數(shù)據(jù)結構，因此更具備靈活性。數(shù)據(jù)科學家和開發(fā)人員可以無縫地配置、查詢或建模，從而實現(xiàn)快速實驗。

相反，數(shù)據(jù)倉庫的修改比較耗時。數(shù)據(jù)模型或模式的任何更改都需要在不同的業(yè)務流程中進行大量的協(xié)調(diào)，耗時耗力。

5.安全性

隨著大數(shù)據(jù)技術的發(fā)展，對安全性要求也越來越高。一些增強的安全技術包括訪問控制、合規(guī)框架和加密，可以提高數(shù)據(jù)湖的安全性，降低未經(jīng)授權訪問的風險。

數(shù)據(jù)倉庫技術已經(jīng)有幾十年的歷史，因此具有比較成熟的安全功能和強大的訪問控制機制。

相比之下，數(shù)據(jù)湖中不斷發(fā)展的安全協(xié)議使其在安全性方面更加強大。

6.可訪問性

由于數(shù)據(jù)湖支持非結構化和原始性質的數(shù)據(jù)，擁有更多可以有效利用的專業(yè)工具和技能，提供了更大的勘探能力和靈活性，可以滿足高級分析專業(yè)人員和數(shù)據(jù)科學家的需求。

而數(shù)據(jù)倉庫主要針對的是整個組織的分析用戶和商業(yè)智能。

7.成熟度

數(shù)據(jù)倉庫總體比數(shù)據(jù)湖的概念更早，更成熟，但隨著大數(shù)據(jù)技術的應用落地，數(shù)據(jù)湖也在不斷地進行細化、進化?？梢灶A期其成熟度水平會隨著時間的推移而提高。在未來幾年，它將成為大數(shù)據(jù)應用方面的一項突出技術。

雖然數(shù)據(jù)倉庫是一種成熟的技術，但該技術也面臨的主要問題在于原始數(shù)據(jù)的處理。

8.應用場景

數(shù)據(jù)湖是處理來自不同來源的不同類型數(shù)據(jù)以及進行機器學習和數(shù)據(jù)分析的好方案?？梢允褂脭?shù)據(jù)湖存儲大量多源異構數(shù)據(jù)，并進行分析，有利于預測模型、實時分析和數(shù)據(jù)發(fā)掘。

數(shù)據(jù)倉庫可以作為集中歷史數(shù)據(jù)的方案，是結構化數(shù)據(jù)分析、預定義查詢和報告的理想選擇。

9.可集成性

數(shù)據(jù)湖往往需要強大的交互能力來處理、分析和接收來自不同來源的數(shù)據(jù)。數(shù)據(jù)管道和集成框架通常用于簡化數(shù)據(jù)湖環(huán)境中的抽取、轉換、消費和攝取。

數(shù)據(jù)倉庫可以與傳統(tǒng)的報表平臺、商業(yè)智能（BI）和數(shù)據(jù)集成框架無縫集成。這些應用程序旨在支持外部應用程序和系統(tǒng)，從而實現(xiàn)整個組織的數(shù)據(jù)協(xié)作和共享。

10.互補性

數(shù)據(jù)湖通過以原始格式存儲來自不同數(shù)據(jù)源的數(shù)據(jù)來補充數(shù)據(jù)倉庫。包括非結構化、半結構化和結構化數(shù)據(jù)。提供了經(jīng)濟高效且可擴展的解決方案，可通過實時分析、預測建模和機器學習等功能來分析大量數(shù)據(jù)。

另一方面，數(shù)據(jù)倉庫通常是一個互補的事務系統(tǒng)，因為它為統(tǒng)計報表和結構化數(shù)據(jù)分析提供了解決方案。

總之

即使數(shù)據(jù)倉庫和數(shù)據(jù)湖在大數(shù)據(jù)應用上有著許多共同的目標，但在處理方法、安全性、敏捷性、成本、架構、集成等方面存在一定的差異。因此，選擇哪一種數(shù)據(jù)存儲方案，需要先理解它們的優(yōu)勢和局限。