大資料DDos檢測——DDos攻擊本質上是時間序列資料，t+1時刻的資料特點和t時刻強相關，因此用HMM或者CRF來做檢測是必然！ 和一個句子的分詞演算法CRF沒有區別！

標籤：變數   service   資源   原理   internet   破壞   隨機   str   線性   

DDos攻擊本質上是時間序列資料，t+1時刻的資料特點和t時刻強相關，因此用HMM或者CRF來做檢測是必然！——和一個句子的分詞演算法CRF沒有區別！
註：傳統DDos檢測直接基於IP資料發送流量來識別，通過硬體防火牆搞定。大資料方案是針對慢速DDos攻擊來搞定。
痛點：在進行攻擊的時候，攻擊資料包都是經過偽裝的，在源IP 位址上也是進行偽造的，這樣就很難對攻擊進行地址的確定，在尋找方面也是很難的。這樣就導致了分散式阻斷服務攻擊在檢驗方法上是很難做到的。領域知識見：http://blog.csdn.net/eric_sunah/article/details/72782224
還有匯總的：http://cleanbugs.com/item/ddos-attack-learning-414049.html

論文：http://www.jos.org.cn/ch/reader/create_pdf.aspx?file_no=3960 可以下載，提到了TCP flood，UDP flood，ICMP flood實驗

 

摘自：http://wap.cnki.net/lunwen-1013353778.html
基於譜分析與統計機器學習的DDoS攻擊檢測技術研究
陳世文

　　結合國家863項目“高可信網路業務管控系統”和“面向三網融合的統一安全管控網路”的研究需求,按照“分布式檢測、層級化攔阻和集中Threat Detection Service”的總體思路,本文對DDoS攻擊檢測技術展開專門研究,從宏觀攻擊流感知與微觀檢測方法兩個角度,提出了基於IP流序列譜分析的泛洪攻擊與低速率拒絕服務(Low-rate Denial of Service, LDoS)攻擊感測方式,在感知到攻擊的基礎上,將DDoS攻擊檢測轉化為機器學習的二分類問題,利用隱馬爾科夫模型、孿生支援向量機和條件隨機場三種機器學習模型,實現機率點檢測、分類超平面檢測以及融合多特徵處理優勢的條件隨機場檢測方法。 針對宏觀感知問題,提出了基於快速分數階Fourier變換估計Hurst旨數的泛洪DDoS攻擊感測方式,利用DDoS攻擊對網路流量自相似性的影響,通過監測Hurst指數變化閾值判斷是否存在DDoS攻擊,相比於小波分析等方法,該方法計算複雜度低,Hurst旨數估計精度高;對於隱蔽性較強的低速率拒絕服務LDoS攻擊,提出了基於巴特利特功率譜估計的感測方式,相比於矩形窗和三角窗方法,巴特利特功率譜估計一致性好,對低速率拒絕服務LDoS攻擊檢測率高。 針對微觀的具體攻擊特徵檢測問題,提出了基於隱馬爾科夫模型、基於孿生支援向量機和基於條件隨機場等三種統計機器學習方法的攻擊檢測策略。 首先,從機率點判別角度,提出了一種基於多特徵並行隱馬爾科夫模型(Multi-Feature Parallel Hidden Markov Model, MFP-HMM)的DDoS攻擊檢測方法。該方法利用HMM隱狀態序列與特徵觀測序列的對應關係,將攻擊引起的多維特徵異常變化轉化為離散型隨機變數,通過機率計算來刻畫當前滑動視窗序列與正常行為輪廓的偏離程度。MFP-HMM模型架構採用多維特徵平行處理模式,有利於擴充新的特徵模組。特徵序列通過滑動視窗後形成觀測序列送入HMM,可通過硬體實現多級流水加速,為可重構設計與分布式部署提供條件。實驗結果表明,基於MFP-HMM的方法優於標準HMM等機器學習方法,檢測準確率高,虛警率低。 其次,從分類超平面判別角度,提出了基於最小二乘孿生支援向量機(Least Square Twin Support Vector Machine, LSTSVM)的DDoS攻擊分類超平面檢測方法,該方法藉助最佳化方法來解決機器學習問題,利用支援向量機模型較好的非線性處理能力與泛化能力,採用IP包五元組熵、IP標識、TCP頭標誌和包速率等作為LSTSVM模型的多維檢測特徵向量,以體現DDoS攻擊存在的流分布特性。基於DARPA2000資料集和TFN2K攻擊採集資料集下的實驗表明,該方法優於標準支援向量機(Support Vector Machine, SVM)等機器學習方法,對於正常突發流量與DDoS攻擊流量檢測準確率較高、虛警率較低。 最後,提出了一種融合多種判別規則的條件隨機場DDoS攻擊檢測方法。該方法不要求各個特徵量必須滿足獨立同分布的假設條件,在充分利用條件隨機場綜合處理多特徵優勢的基礎上,將基於特徵匹配與異常檢測的方法有效地統一起來,實現高檢測率與低誤判率。DARPA2000資料集實驗表明,基於條件隨機場的方法優於傳統SVM等方法,準確率高於99.5%,虛警率FPR低於0.6%,並且抗背景雜訊能力強,魯棒性好。……
[關鍵詞]：DDoS攻擊;自相似性;分數階傅氏變換;Bartlett譜估計;隱馬爾科夫模型;孿生支援向量機;條件隨機場

摘自：http://cdmd.cnki.com.cn/Article/CDMD-90002-2007140546.htm
基於機器學習的分散式阻斷服務攻擊檢測方法研究
孫永強
【摘要】： 近年來,分散式阻斷服務(Distributed Denial of Service: DDoS)攻擊的檢測與防禦技術成為資訊安全領域的研究熱點之一。DDoS攻擊具有的分布式特性,使得該類攻擊比傳統的拒絕服務的攻擊(Denial of Service: DoS)擁有更多的攻擊資源,具有更強大的破壞力,而且更難以防範。目前,由於現有入侵檢測技術的局限性,DDoS攻擊已經對Internet安全運行構成了極大的威脅,使得對新一代DDoS檢測與防禦技術研究的需求更為迫切。 本文在詳細分析了DDoS的原理及其檢測防禦技術的國內外研究現狀的基礎上,針對現有檢測方法存在的問題,結合機器學習的相關理論進展,研究了基於機器學習的DDoS攻擊檢測方法,重點開展了基於隱馬爾可夫模型(Hidden Markov Model: HMM)的新的DDoS檢測模型與基於適應性學習的分布式協同檢測機制的研究。主要研究工作和創新點包括: 1、結合HMM的相關理論,提出了基於HMM與源IP地址監控的DDoS攻擊檢測方法。該方法採用網路資料流中的源IP地址資訊進行網路流量狀態的特徵表示。首先根據正常資料流進行常用源IP地址庫的學習;然後利用隱馬爾可夫模型進行網路資料流動態IP地址序列的統計建模。通過正常流量的IP地址序列進行HMM模型學習,來對未知的網路流量進行基於動態源IP地址序列的即時異常檢測,同時常用源IP地址庫也保持線上學習更新。 2、針對DDoS分布式檢測中存在的問題,提出了一種基於適應性學習的分布式協同檢測方法。在分布式協同檢測架構下,採用資料融合的方法進行檢測,同時結合一種基於回報的適應性學習演算法,在保證檢測精度的條件下,降低系統中各檢測結點之間的通訊量,提高系統運行效率。 3、設計並實現了基於機器學習的DDoS檢測實驗原型系統,包括基於HMM的單點檢測模組和基於適應性學習的分布式協同檢測機制。在區域網路環境下,結合上述實驗原型系統對DDoS攻擊進行了類比和檢測,驗證了本文提出方法的可行性和有效性。 本文的研究內容是國家自然科學基金“基於增強學習的自適應入侵檢測方法研究”的重要組成部分。與其它的檢測方法相比,本文提出方法具有檢測準確性高、即時性強、便於響應、易於部署等特點,具有比較好的應用前景。
【關鍵詞】：分散式阻斷服務攻擊 機器學習 隱馬爾可夫模型 入侵檢測

 

大資料DDos檢測——DDos攻擊本質上是時間序列資料，t+1時刻的資料特點和t時刻強相關，因此用HMM或者CRF來做檢測是必然！ 和一個句子的分詞演算法CRF沒有區別！