大數(shù)據(jù)安全有哪些挑戰(zhàn)與解決方案?
大數(shù)據(jù)安全是監(jiān)控和保護企業(yè)重要業(yè)務(wù)數(shù)據(jù)的過程,其目的是確保業(yè)務(wù)安全合規(guī)地持續(xù)運營。
確保大數(shù)據(jù)平臺的安全需要傳統(tǒng)的安全工具、新開發(fā)的工具集和智能流程的組合,以在大數(shù)據(jù)平臺的整個生命周期內(nèi)監(jiān)控安全性。
大數(shù)據(jù)安全如何工作
大數(shù)據(jù)安全的任務(wù)非常明確:通過防火墻、強大的用戶身份驗證、最終用戶培訓、入侵保護系統(tǒng)(IPS)和入侵檢測系統(tǒng)(IDS)阻止未經(jīng)授權(quán)的用戶的訪問和入侵。萬一有人獲得訪問權(quán)限,需要對傳輸和靜止的數(shù)據(jù)進行加密。
這是一種網(wǎng)絡(luò)安全策略。然而,大數(shù)據(jù)環(huán)境增加了另一個級別的安全性,因為安全工具必須在網(wǎng)絡(luò)中不存在的三個階段中運行。這三個階段分別是:數(shù)據(jù)輸入,也就是輸入的內(nèi)容;存儲數(shù)據(jù);數(shù)據(jù)輸出到應用程序和報告中。
第一階段:數(shù)據(jù)源。大數(shù)據(jù)來源于多種來源和數(shù)據(jù)類型。僅用戶生成的數(shù)據(jù)就可以包括CRM數(shù)據(jù)、事務(wù)和數(shù)據(jù)庫數(shù)據(jù),以及大量非結(jié)構(gòu)化數(shù)據(jù),例如電子郵件或社交媒體帖子。除此之外,企業(yè)還擁有整個機器生成的數(shù)據(jù)世界,包括日志和傳感器。企業(yè)需要在從數(shù)據(jù)源到平臺的傳輸過程中保護這些數(shù)據(jù)。
第二階段:存儲數(shù)據(jù)。保護存儲的數(shù)據(jù)需要成熟的安全工具集,包括靜態(tài)加密、強用戶認證、入侵防護和規(guī)劃。企業(yè)需要在具有許多服務(wù)器和節(jié)點的分布式集群平臺上運行其安全工具集。此外,它的安全工具必須保護日志文件和分析工具,因為它們在平臺內(nèi)運行。
第三階段:輸出數(shù)據(jù)。造成大數(shù)據(jù)平臺的復雜性和成本的原因是,它可以在海量數(shù)據(jù)和不同類型的數(shù)據(jù)中運行有意義的分析。這些分析將結(jié)果輸出到應用程序、報告和指示板。這種極其有價值的情報為網(wǎng)絡(luò)攻擊者提供了豐富的目標,對輸出和入口進行加密至關(guān)重要。此外,在這一階段確保合規(guī)性:確保輸出給最終用戶的結(jié)果不包含受監(jiān)管的數(shù)據(jù)。
大數(shù)據(jù)的安全是一條迂回的道路,從理論上來說,它可能會在多個點上受到網(wǎng)絡(luò)攻擊。
引領(lǐng)大數(shù)據(jù)安全和趨勢
大數(shù)據(jù)領(lǐng)域的兩個最主要趨勢在某種程度上是相互對立的:為智能技術(shù)提供信息的大數(shù)據(jù)的激增,以及消費者在決定如何使用他們的個人數(shù)據(jù)方面越來越重視安全性。
物聯(lián)網(wǎng)、人工智能、機器學習甚至CRM數(shù)據(jù)庫等技術(shù)收集了包含高度敏感個人信息的TB級規(guī)模的數(shù)據(jù)。這種個人的大數(shù)據(jù)對于那些希望更好地為其受眾提供產(chǎn)品和服務(wù)的企業(yè)來說是有價值的,但這也意味著所有公司和第三方供應商都要對個人數(shù)據(jù)的道德使用和管理負責。
隨著大數(shù)據(jù)及其企業(yè)用例的持續(xù)增長,大多數(shù)企業(yè)都在努力遵守消費者數(shù)據(jù)法律法規(guī),但他們的安全漏洞使數(shù)據(jù)容易被破壞。以下介紹大數(shù)據(jù)世界中的一些頂級趨勢,許多企業(yè)忽視的重要安全要點,以及一些確保大數(shù)據(jù)安全的建議:
(1)更新云計算和分布式安全基礎(chǔ)設(shè)施
大數(shù)據(jù)的增長導致許多企業(yè)轉(zhuǎn)向云計算和數(shù)據(jù)結(jié)構(gòu)基礎(chǔ)設(shè)施,以支持更多的數(shù)據(jù)存儲可擴展性。云安全通常是基于遺留安全原則建立的,因此,如果云安全特性配置錯誤,容易受到網(wǎng)絡(luò)攻擊。
對于企業(yè)來說,要做到這一點,需要與云計算供應商和存儲供應商討論他們的產(chǎn)品,是否嵌入了安全解決方案,以及他們或第三方合作伙伴是否推薦了任何額外的安全資源。
(2)設(shè)置移動設(shè)備管理策略和流程
物聯(lián)網(wǎng)和其他移動設(shè)備是大數(shù)據(jù)的最主要的來源和接收器,但它們也帶來了一些安全漏洞,因為許多這些技術(shù)都是為個人生活所擁有和使用的。企業(yè)需要為員工如何使用個人設(shè)備上的公司數(shù)據(jù)設(shè)置嚴格的策略,并確保設(shè)置額外的安全層,以便管理哪些設(shè)備可以訪問敏感數(shù)據(jù)。
(3)提供數(shù)據(jù)安全培訓和最佳實踐
在大多數(shù)情況下,大數(shù)據(jù)是由于成功的網(wǎng)絡(luò)釣魚攻擊或其他針對不知情員工的個性化攻擊而受到損害。企業(yè)培訓其員工了解典型的社交工程攻擊及其特征,并設(shè)置幾層身份驗證安全措施以限制哪些人員可以訪問敏感數(shù)據(jù)存儲。
大數(shù)據(jù)安全的好處
大數(shù)據(jù)安全系統(tǒng)具有客戶保留、風險識別、業(yè)務(wù)創(chuàng)新、成本和效率等優(yōu)勢,對任何企業(yè)來說都有價值。
以下是大數(shù)據(jù)安全的主要好處:
保留客戶:通過大數(shù)據(jù)安全,企業(yè)可以觀察到許多數(shù)據(jù)模式,這使他們能夠更好地使他們的產(chǎn)品和服務(wù)符合客戶的需求。
風險識別:由于大數(shù)據(jù)的安全性,企業(yè)可以使用大數(shù)據(jù)工具來識別其基礎(chǔ)設(shè)施中的風險,幫助企業(yè)創(chuàng)建風險管理解決方案。
業(yè)務(wù)創(chuàng)新:大數(shù)據(jù)安全可以幫助企業(yè)更新工具,并幫助將產(chǎn)品轉(zhuǎn)移到新的安全系統(tǒng)中。這種創(chuàng)新可以改善業(yè)務(wù)流程、營銷技巧、客戶服務(wù)和生產(chǎn)力。
成本優(yōu)化:大數(shù)據(jù)安全技術(shù)可以通過高效存儲、處理和分析大量數(shù)據(jù),降低客戶成本。大數(shù)據(jù)安全工具還會計算出該產(chǎn)品將如何使企業(yè)受益,因此企業(yè)可以選擇一家更適合其基礎(chǔ)設(shè)施的合作伙伴。
大數(shù)據(jù)安全面臨的挑戰(zhàn)
確保大數(shù)據(jù)的安全面臨一些挑戰(zhàn),可能會危及其安全性。需要記住的是,這些挑戰(zhàn)絕不僅限于內(nèi)部部署的大數(shù)據(jù)平臺。它們也與云計算有關(guān),當企業(yè)在云平臺中托管大數(shù)據(jù)平臺時,也面臨安全性挑戰(zhàn),沒有什么是理所當然的。企業(yè)可以與其云服務(wù)提供商密切合作,通過強大的安全服務(wù)級別協(xié)議來克服這些挑戰(zhàn)。
以下是大數(shù)據(jù)安全面臨的主要挑戰(zhàn):
新技術(shù)可能容易受到攻擊:用于非結(jié)構(gòu)化大數(shù)據(jù)和非關(guān)系數(shù)據(jù)庫的高級分析工具是積極開發(fā)的大數(shù)據(jù)技術(shù)的例子。安全軟件和進程很難保護這些新工具集。
產(chǎn)生不同的影響:成熟的安全工具有效保護數(shù)據(jù)的入口和存儲。但是,它們可能對從多個分析工具到多個位置的數(shù)據(jù)輸出產(chǎn)生不同的影響。
未經(jīng)許可的訪問:大數(shù)據(jù)管理員可能會在未經(jīng)許可或通知的情況下決定挖掘數(shù)據(jù)。無論動機是好奇還是犯罪獲利,企業(yè)的安全工具都需要對可疑訪問進行監(jiān)視和警報,無論其來自何處。
超出常規(guī)審計:大數(shù)據(jù)安裝的規(guī)模(TB級規(guī)模到PB級規(guī)模)對于常規(guī)安全審計來說太大了。由于大多數(shù)大數(shù)據(jù)平臺都是基于集群的,這在多個節(jié)點和服務(wù)器之間引入了多個漏洞。
需要持續(xù)更新:如果大數(shù)據(jù)所有者不定期更新環(huán)境的安全性,他們將面臨數(shù)據(jù)丟失和暴露的風險。
大數(shù)據(jù)安全技術(shù)
從加密到用戶訪問控制,這些大數(shù)據(jù)安全工具都不是新工具。新穎之處在于它們的可擴展性和在不同階段保護多種類型數(shù)據(jù)的能力。
加密:加密工具需要保護傳輸中的數(shù)據(jù)和靜態(tài)數(shù)據(jù),并且需要在大量數(shù)據(jù)量中做到這一點。加密還需要對許多不同類型的數(shù)據(jù)進行操作,包括用戶生成的和機器生成的數(shù)據(jù)。加密工具還需要使用不同的分析工具集及其輸出數(shù)據(jù),以及常見的大數(shù)據(jù)存儲格式,包括關(guān)系數(shù)據(jù)庫管理系統(tǒng)、非關(guān)系數(shù)據(jù)庫和專門的文件系統(tǒng)。
集中式密鑰管理:集中式密鑰管理多年來一直是網(wǎng)絡(luò)安全的最佳實踐。它同樣適用于大數(shù)據(jù)環(huán)境,特別是那些地理分布廣泛的環(huán)境。最佳實踐包括策略驅(qū)動的自動化、日志記錄、按需密鑰交付,以及從密鑰使用中抽象密鑰管理。
用戶訪問控制:用戶訪問控制可能是最基本的網(wǎng)絡(luò)安全工具,但許多企業(yè)實行最低限度的控制,因為管理開銷可能很高。這在網(wǎng)絡(luò)層面已經(jīng)很危險,對大數(shù)據(jù)平臺來說可能是災難性的。強大的用戶訪問控制需要基于策略的方法,該方法可以根據(jù)用戶和基于角色的設(shè)置自動進行訪問。策略驅(qū)動的自動化管理復雜的用戶控制級別,例如保護大數(shù)據(jù)平臺免受內(nèi)部攻擊的多個管理員設(shè)置。
入侵檢測與防御:入侵檢測系統(tǒng)與防御系統(tǒng)是網(wǎng)絡(luò)安全的主力軍。這并不會降低它們對大數(shù)據(jù)平臺的價值。大數(shù)據(jù)的價值和分布式架構(gòu)使其容易遭到入侵。入侵防御系統(tǒng)(IPS)使網(wǎng)絡(luò)安全管理員能夠保護大數(shù)據(jù)平臺免受入侵,如果網(wǎng)絡(luò)入侵成功,入侵檢測系統(tǒng)(IDS)將在入侵造成重大損害之前將其隔離。
物理安全:不要忽視物理安全。當企業(yè)在自己的數(shù)據(jù)中心部署大數(shù)據(jù)平臺時,或者在云計算提供商的數(shù)據(jù)中心安全問題上仔細做盡職調(diào)查時,就可以構(gòu)建它。物理安全系統(tǒng)可以阻止陌生人或工作人員進入敏感區(qū)域。視頻監(jiān)控和安全日志也會這樣做。
實施大數(shù)據(jù)安全
無論企業(yè)是剛剛開始大數(shù)據(jù)管理并正在尋求初始的大數(shù)據(jù)安全解決方案,無論是企業(yè)還是長期的大數(shù)據(jù)用戶都需要更新安全性,這里有一些大數(shù)據(jù)安全實施的提示:
管理和培訓好內(nèi)部用戶:如上所述,員工的意外安全錯誤為惡意行為者提供了最常使用的安全漏洞之一。對員工進行安全和憑證管理最佳實踐方面的培訓,建立并讓所有用戶簽署移動和企業(yè)設(shè)備策略,并根據(jù)每個用戶的角色僅向其提供最低必要的數(shù)據(jù)源訪問權(quán)限。
計劃定期的安全監(jiān)控和審計:特別是在大數(shù)據(jù)和軟件幾乎每天都在增長的大公司中,定期評估網(wǎng)絡(luò)和數(shù)據(jù)環(huán)境如何隨時間變化是很重要的。市場上提供了一些網(wǎng)絡(luò)監(jiān)控工具和第三方服務(wù),使企業(yè)的安全人員能夠?qū)崟r查看異常活動和用戶。定期的安全審計還使企業(yè)的團隊有機會在問題成為真正的安全問題之前進行評估。
與值得信賴的大數(shù)據(jù)公司合作:大數(shù)據(jù)存儲、分析和托管服務(wù)提供商通常會提供某種形式的安全性,或者與第三方組織合作。企業(yè)使用的平臺可能不具備其所在行業(yè)或特定用例所需的所有特定功能,因此需要與其提供商討論安全問題、監(jiān)管要求和大數(shù)據(jù)用例,以便他們可以根據(jù)企業(yè)的需要定制服務(wù)。
誰負責大數(shù)據(jù)安全?
大數(shù)據(jù)部署跨越多個業(yè)務(wù)部門。IT人員、數(shù)據(jù)庫管理員、程序員、質(zhì)量測試人員、信息安全人員、合規(guī)主管以及業(yè)務(wù)部門都以某種方式負責大數(shù)據(jù)部署。那么誰負責保護大數(shù)據(jù)? 其答案是每個人。IT人員和信息安全人員負責政策、流程和安全軟件,有效保護大數(shù)據(jù)部署免受惡意軟件和未經(jīng)授權(quán)的用戶訪問。合規(guī)人員必須與該團隊密切合作,以保護合規(guī)性,例如自動從發(fā)送給質(zhì)量控制團隊的結(jié)果中剝離信用卡號碼。數(shù)據(jù)庫管理人員應該與IT部門和信息安全部門緊密合作,以保護他們的數(shù)據(jù)庫。
最后,終端用戶同樣有責任保護企業(yè)的數(shù)據(jù)。具有諷刺意味的是,盡管許多企業(yè)使用他們的大數(shù)據(jù)平臺來檢測入侵異常,但大數(shù)據(jù)平臺和任何存儲的數(shù)據(jù)一樣容易受到惡意軟件和網(wǎng)絡(luò)入侵者的攻擊。網(wǎng)絡(luò)攻擊者滲透網(wǎng)絡(luò)(包括大數(shù)據(jù)平臺)最簡單的方法之一就是發(fā)送電子郵件。盡管大多數(shù)用戶都知道如何刪除來自不明來源或偽造的郵件,但一些網(wǎng)絡(luò)釣魚攻擊非常復雜。當管理員管理企業(yè)大數(shù)據(jù)平臺的安全性時,永遠不要忽視不起眼的電子郵件的力量。
企業(yè)需要確保大數(shù)據(jù)平臺免受各種威脅,它將為企業(yè)的業(yè)務(wù)提供多年的良好服務(wù)。
大數(shù)據(jù)安全公司簡介
數(shù)字安全是一個龐大的領(lǐng)域,有著成千上萬的供應商??紤]到高技術(shù)挑戰(zhàn)和可擴展性要求,大數(shù)據(jù)安全是一個相當小的領(lǐng)域。然而,大數(shù)據(jù)所有者愿意并且能夠支付費用來確保有價值的就業(yè)機會,大數(shù)據(jù)安全供應商也在做出回應。以下是一些具有代表性的大數(shù)據(jù)安全公司。
(1)Snowflake
Snowflake公司的數(shù)據(jù)專家團隊認為,數(shù)據(jù)安全應該內(nèi)置到所有數(shù)據(jù)管理系統(tǒng)中,而不是在事后添加。Snowflake公司的數(shù)據(jù)云包括全面的數(shù)據(jù)安全功能,例如數(shù)據(jù)屏蔽和端到端加密傳輸和靜態(tài)數(shù)據(jù)。他們還為用戶提供可訪問的支持,允許他們提交報告,Snowflake和他們的合作伙伴HackerOne公司可以在運行他們的私人漏洞程序時進行分析。
(2)Teradata
Teradata公司是數(shù)據(jù)庫和分析軟件的頂級提供商,他們也是云數(shù)據(jù)安全解決方案的主要支持者和提供商。他們的托管服務(wù)名為云數(shù)據(jù)安全即服務(wù),提供定期第三方審計,為數(shù)據(jù)監(jiān)管委員會的審計做準備。它們還提供傳輸和靜態(tài)數(shù)據(jù)加密、數(shù)據(jù)庫用戶角色管理、存儲設(shè)備退役、云安全監(jiān)控和兩層云安全防御計劃等功能。
(3)Cloudera
Cloudera公司在大數(shù)據(jù)安全方面的主要策略是通過他們的共享數(shù)據(jù)體驗來鞏固安全管理,或者從統(tǒng)一的角度管理所有工作負載的安全和策略。這意味著,即使工具和最常用的工作負載隨著時間的推移而變化,策略和安全更新仍然可以集中管理,而不會出現(xiàn)孤島。在他們的安全解決方案中,Cloudera公司提供了統(tǒng)一的身份驗證和授權(quán)、審計的端到端可見性、安全解決方案、特定于數(shù)據(jù)策略的解決方案以及多種形式的加密。
(4)IBM
IBM公司的數(shù)據(jù)安全產(chǎn)品組合側(cè)重于多種環(huán)境、全球數(shù)據(jù)法規(guī)和簡單的解決方案,以便用戶可以在部署之后輕松管理其數(shù)據(jù)源和安全更新。IBM公司在數(shù)據(jù)安全方面關(guān)注的一些主要領(lǐng)域包括混合云安全管理、嵌入式策略和法規(guī)管理以及安全的開源分析管理。
(5)Oracle
Oracle公司是大數(shù)據(jù)市場上最大的數(shù)據(jù)庫主機和提供商之一,但他們也為客戶提供一些頂級安全工具。他們的安全解決方案主要集中在以下幾個方面:安全評估、數(shù)據(jù)保護和訪問控制、審計和監(jiān)控。他們還為兩個最流行的解決方案(Autonomous Database和Exadata)擴展了特定于平臺的安全支持。
結(jié)語
如果企業(yè)使用精心選擇的大數(shù)據(jù)安全工具,這些工具將在多年內(nèi)為業(yè)務(wù)提供良好的服務(wù),使其能夠保護其大數(shù)據(jù)平臺免受各種威脅。
大數(shù)據(jù)安全形勢正在不斷變化,以幫助所有的企業(yè)和用戶。即使面臨許多挑戰(zhàn),大數(shù)據(jù)安全的好處、易于實施以及當今先進的大數(shù)據(jù)安全工具也將幫助企業(yè)成長。
- 上一篇
數(shù)字化轉(zhuǎn)型中的企業(yè)架構(gòu)管理
改變在傳統(tǒng)的等級結(jié)構(gòu)公司中被視為“有問題”的概念。所有這些概念都需要時間,而且每家公司的概念都不一樣。處理它,允許它,走新的道路!實現(xiàn)新工作和新的EAM。
- 下一篇
有了數(shù)據(jù)湖,數(shù)據(jù)倉庫究竟能不能被取代?他們又有什么樣的區(qū)別呢?
數(shù)據(jù)湖是近兩年中比較新的技術(shù)在大數(shù)據(jù)領(lǐng)域中,對于一個真正的數(shù)據(jù)湖應該是什么樣子,現(xiàn)在對數(shù)據(jù)湖認知還是處在探索的階段,像現(xiàn)在代表的開源產(chǎn)品有iceberg、hudi、Delta Lake。