深入大資料安全分析（1）：為什麼需要大資料安全分析？

標籤：大資料   大資料安全分析   大資料分析   bdsa   

【前言】經過我們的不懈努力，2014年底我們終於發布了大資料安全分析平台（Big Data Security Analytics Platform，簡稱BDSAP）。那麼，到底什麼是大資料安全分析？為什麼需要大資料安全分析？何時需要？誰需要？應用情境是什嗎？解決什麼問題？有什麼價值和意義？大資料安全分析將如何重塑網路安全技術領域？在目前如何建設大資料安全分析平台？從本期開始，我將開啟一個新的系列文章——深入大資料安全分析。如果說我在2011年底開始持續到2012年中的《當網路安全遇上大資料分析》系列文章是對業界大資料安全分析的系統化研究的開始的話，那麼這個新的系列文章就是我們經過多年研究後獲得的一些理解和體會。讓我們一起走進大資料安全分析，探究一下他將如何改變我們的網路安全領域吧。

為什麼需要大資料安全分析？

Last Updated @ 2015-01-06 by 葉蓬

【關鍵詞】大資料安全分析，大資料

【摘要】大資料改變著我們的方方面面，對於安全分析也不例外。安全要素資訊呈現出大資料的特徵，而傳統的安全分析方法面臨重大挑戰，資訊與網路安全需要基於大資料的安全分析。

 

毫無疑問，我們已經進入了大資料（Big Data）時代。人類的生產生活每天都在產生大量的資料，並且產生的速度越來越快。根據IDC和EMC的聯合調查，到2020年全球資料總量將達到40ZB。2013年，Gartner將大資料列為未來資訊架構發展的10大趨勢之首。Gartner預測將在2011年到2016年間累計創造2320億美元的產值。

大資料早就存在，只是一直沒有足夠的基礎實施和技術來對這些資料進行有價值的挖據。隨著儲存成本的不斷下降、以及分析技術的不斷進步，尤其是雲端運算的出現，不少公司已經發現了大資料的巨大價值：它們能揭示其他手段所看不到的新變化趨勢，包括需求、供給和顧客習慣等等。比如，銀行可以以此對自己的客戶有更深入的瞭解，提供更有個性的定製化服務；銀行和保險公司可以發現詐騙和騙保；零售企業更精確探知顧客需求變化，為不同的細分客戶群體提供更有針對性的選擇；製藥企業可以以此為依據開發新藥，詳細追蹤藥物療效，並監測潛在的副作用；安全公司則可以識別更具隱蔽性的攻擊、入侵和違規。

當前網路與資訊安全領域，正在面臨著多種挑戰。一方面，企業和組織安全體系架構的日趨複雜，各種類型的安全資料越來越多，傳統的分析能力明顯力不從心；另一方面，新型威脅的興起，內控與合規的深入，傳統的分析方法存在諸多缺陷，越來越需要分析更多的安全資訊、並且要更加快速的做出判定和響應。資訊安全也面臨大資料帶來的挑戰。

1      安全資料的大資料化

安全資料的大資料化主要體現在以下三個方面：

1）             資料量越來越大：網路已經從千兆邁向了萬兆，網路安全裝置要分析的資料包資料量急劇上升。同時，隨著NGFW的出現，安全網關要進行應用程式層協議的分析，分析的資料量更是大增。與此同時，隨著安全防禦的縱深化，安全監測的內容不斷細化，除了傳統的攻擊監測，還出現了合規監測、應用監測、使用者行為監測、效能檢測、事務監測，等等，這些都意味著要監測和分析比以往更多的資料。此外，隨著APT等新型威脅的興起，全包捕獲技術逐步應用，海量資料處理問題也日益凸顯。

2）             速度越來越快：對於網路裝置而言，包處理和轉寄的速度需要更快；對於安管平台、事件分析平台而言，資料來源的事件發送速率（EPS，Event per Second，事件數目每秒）越來越快。

3）             種類越來越多：除了資料包、日誌、資產資料，安全要素資訊還加入了漏洞資訊、配置資訊、身份與訪問資訊、使用者行為資訊、應用資訊、商務資訊、外部情報資訊等。

安全資料的大資料化，自然引發人們思考如何將大資料技術應用於安全領域。

2      傳統的安全分析面臨挑戰

安全資料的數量、速度、種類的迅速膨脹，不僅帶來了海量異構資料的融合、儲存和管理的問題，甚至動搖了傳統的安全分析方法。

當前絕大多數安全分析工具和方法都是針對小資料量設計的，在面對大資料量時難以為繼。新的攻擊手段層出不窮，需要檢測的資料越來越多，現有的分析技術不堪重負。面對天量的安全要素資訊，我們如何才能更加迅捷地感知網路安全態勢？

傳統的分析方法大都採用基於規則和特徵的分析引擎，必須要有規則庫和特徵庫才能工作，而規則和特徵只能對已知的攻擊和威脅進行描述，無法識別未知的攻擊，或者是尚未被描述成規則的攻擊和威脅。面對未知攻擊和複雜攻擊如APT等，需要更有效分析方法和技術！如何做到知所未知？

面對天量安全資料，傳統的集中化安全分析平台（譬如SIEM，安全管理平台等）也遭遇到了諸多瓶頸，主要表現在以下幾方面：

• 高速海量安全資料的採集和儲存變得困難

• 異構資料的儲存和管理變得困難

• 威脅資料來源較小，導致系統判斷能力有限

• 對曆史資料的檢測能力很弱

• 安全事件的調查效率太低

• 安全系統相互獨立，無有效手段協同工作

• 分析的方法較少

• 對於趨勢性的東西預測較難，對早期預警的能力比較差

• 系統互動能力有限，資料展示效果有待提高

從上世紀80年代入侵檢測技術的誕生和確立以來，安全分析已經發展了很長的時間。當前，資訊與網路安全分析存在兩個基本的發展趨勢：情境感知的安全分析與智能化的安全分析。

Gartner在2010年的一份報告中指出，“未來的資訊安全將是情境感知的和自適應的”。所謂情境感知，就是利用更多的相關性要素資訊的綜合研判來提升安全決策的能力，包括資產感知、位置感知、拓撲感知、應用感知、身份感知、內容感知，等等。情境感知極大地擴充了安全分析的縱深，納入了更多的安全要素資訊，拉升了分析的空間和時間範圍，也必然對傳統的安全分析方法提出了挑戰。

同樣是在2010年，Gartner的另一份報告指出，要“為企業安全智能的興起做好準備”。在這份報告中，Gartner提出了安全智能的概念，強調必須將過去分散的安全資訊進行整合與關聯，獨立的分析方法和工具進行整合形成互動，從而實現智能化的安全分析與決策。而資訊的整合、技術的整合必然導致安全要素資訊的迅猛增長，智能的分析必然要求將機器學習、資料挖據等技術應用於安全分析，並且要更快更好地的進行安全決策。

3      資訊與網路安全需要大資料安全分析

安全資料的大資料化，以及傳統安全分析所面臨的挑戰和發展趨勢，都指向了同一個技術——大資料分析。正如Gartner在2011年明確指出，“資訊安全正在變成一個大資料分析問題”。

於是，業界出現了將大資料分析技術應用於資訊安全的技術——大資料安全分析（Big Data Security Analysis，簡稱BDSA），也有人稱做針對安全的大資料分析（Big Data Analysis for Security）。

藉助大資料安全分析技術，能夠更好地解決天量安全要素資訊的採集、儲存的問題，藉助基於大資料分析技術的機器學習和資料挖據演算法，能夠更加智能地洞悉資訊與網路安全的態勢，更加主動、彈性地去應對新型複雜的威脅和未知多變的風險。

【待續】下一篇——《什麼是大資料安全分析？》

本文出自 “專註安管平台” 部落格，請務必保留此出處http://yepeng.blog.51cto.com/3101105/1599937

深入大資料安全分析（1）：為什麼需要大資料安全分析？