基于WEB訪問(wèn)日志的異常檢測(cè)技術(shù)研究.pdf

1、在網(wǎng)絡(luò)技術(shù)不斷進(jìn)步地推動(dòng)下，互聯(lián)網(wǎng)不斷地?cái)U(kuò)大其作為通訊和商業(yè)媒介的影響力，更在互聯(lián)網(wǎng)企業(yè)創(chuàng)造新興商業(yè)渠道中扮演極為重要的角色。互聯(lián)網(wǎng)業(yè)務(wù)需求的迅速增加激勵(lì)著企業(yè)和各國(guó)政府發(fā)展國(guó)際化的復(fù)雜信息網(wǎng)絡(luò)，網(wǎng)絡(luò)技術(shù)與WEB服務(wù)呈現(xiàn)多樣化。然而，黑客技術(shù)不斷進(jìn)化以及系統(tǒng)安全防護(hù)功能不足導(dǎo)致了近兩年網(wǎng)絡(luò)安全事件頻發(fā)，網(wǎng)絡(luò)攻擊數(shù)量不斷上升，網(wǎng)絡(luò)攻擊檢測(cè)已成為一個(gè)備受關(guān)注的研究課題，檢測(cè)和阻止網(wǎng)絡(luò)攻擊的技術(shù)研究工作需要更加深入地展開(kāi)。
　　今天的商

2、用入侵檢測(cè)系統(tǒng)主要是基于簽名的，用于檢測(cè)已被識(shí)別的攻擊行為，這樣的系統(tǒng)需要頻繁地更新規(guī)則庫(kù)和簽名庫(kù)，耗時(shí)長(zhǎng)且不能夠檢測(cè)未知攻擊。服務(wù)器內(nèi)部署的大部分檢測(cè)系統(tǒng)之間缺乏聯(lián)動(dòng)機(jī)制，并且缺少對(duì)大規(guī)模數(shù)據(jù)有效分析的能力，使得數(shù)據(jù)分析難度和耗費(fèi)時(shí)間不斷增加。因此面向應(yīng)用層的異常檢測(cè)技術(shù)被廣泛研究，通過(guò)分析正常行為的特征模式，構(gòu)建正向安全模型，可以有效識(shí)別惡意攻擊行為，由于該類技術(shù)不是基于已有專家知識(shí)構(gòu)建的，因此對(duì)于挖掘未知的剛絡(luò)攻擊手段、跟蹤新型的

3、木馬行為以及挖掘新型的網(wǎng)絡(luò)漏洞都有著重要的意義。
　　本文的工作以自主研究課題“基于海量日志的WEB行為安全模型研究”中提出的“WEB日志安全智能分析系統(tǒng)”為基礎(chǔ)，該系統(tǒng)主要通過(guò)建立多層次的WEB訪問(wèn)模型對(duì)異常行為進(jìn)行分析研究，挖掘海量訪問(wèn)日志數(shù)據(jù)之間潛在的關(guān)系。本文主要介紹并研究了多種類型的檢測(cè)方式，探討了各種方法和系統(tǒng)的優(yōu)勢(shì)及不足，然后利用數(shù)據(jù)挖掘的思想挖掘用戶行為模式。實(shí)現(xiàn)了日志數(shù)據(jù)分析子系統(tǒng)中的IP/UA(User Age

4、nt)特征分析和攻擊頻繁模式挖掘兩個(gè)模塊的功能，最終通過(guò)特征檢測(cè)達(dá)到識(shí)別用戶的異常行為，并對(duì)異常進(jìn)行了類別的劃分。
　　為了滿足功能測(cè)試和項(xiàng)目自身的需求，項(xiàng)目組搭建了以Hadoop加ELK為基礎(chǔ)的大數(shù)據(jù)分析平臺(tái)。收集了某大型網(wǎng)站群的歷史WEB訪問(wèn)日志，使用較流行的ElasticSearch平臺(tái)達(dá)到口志數(shù)據(jù)存儲(chǔ)、管理以及查詢的目的，利用分布式編程模型對(duì)大規(guī)模訪問(wèn)日志進(jìn)行分布式處理和計(jì)算，以求達(dá)到支撐歷史數(shù)據(jù)批量分析和實(shí)時(shí)流量數(shù)據(jù)分析