基于Spark平臺的異常流量實時檢測

打開文本圖片集

摘要：傳統(tǒng)的流量檢測方法在大規(guī)模、大流量網(wǎng)絡(luò)環(huán)境下不能滿足對異常流量檢測的準確性和實時性要求，基于此，該文構(gòu)建了一個基于spark平臺的分布式流量實時檢測模型。該模型使用LibPcap、Flume、SparkStreaming實現(xiàn)分布式流量采集、上傳和實時計算，以滿足大流量場景下實時性需求；通過CNN網(wǎng)絡(luò)提取流量載荷內(nèi)容特征和雙向流量統(tǒng)計特征，基于Stacking算法進行模型融合，提高了檢測準確性；使用CIC-IDS-2018數(shù)據(jù)集對該模型進行了測試。（剩余8544字）