Web日志挖掘技術研究與應用.pdf

1、隨著Internet的普及和計算機技術的發(fā)展，網(wǎng)絡用戶的規(guī)模越來越大，用戶訪問網(wǎng)絡的行為也變的越來越多樣化和復雜化。網(wǎng)絡在電子商務、提供在線服務和信息搜索等方面得到了廣泛的應用。許多商業(yè)網(wǎng)站都在不斷提高服務質(zhì)量、網(wǎng)站性能和競爭力以便吸引更多的客戶。那么如何提高站點服務性能、改進站點結(jié)構(gòu)和提供個性化服務?為解決這些問題，研究人員提出了Web日志挖掘，它是目前研究比較多的一個研究方向。日志挖掘的主要數(shù)據(jù)源來自服務器端的日志數(shù)據(jù)，對其進行預處

2、理和模式挖掘從而得到用戶的訪問模式，進而可以了解群體用戶的訪問模式和興趣，為站點結(jié)構(gòu)優(yōu)化和用戶個性化服務提供決策支持。
　　 通過對大量文獻資料的學習和分析，本文對Web日志挖掘預處理階段中的關鍵步驟進行研究并提出了相應的算法；本文還針對K-means算法的缺陷，提出了改進算法，并將其應用到Web日志挖掘中。
　　 本文首先介紹了當前國內(nèi)外研究現(xiàn)狀，接著在第2章介紹了數(shù)據(jù)挖掘概念和Web挖掘等內(nèi)容。
　　 其次重

3、點詳細介紹了Web日志挖掘預處理中的數(shù)據(jù)清洗、用戶識別、會話識別、路徑補充和事務識別五個關鍵步驟。因為預處理后數(shù)據(jù)的準確性將直接影響到數(shù)據(jù)挖掘的效果，所以對日志數(shù)據(jù)的預處理是很有必要的。本文第3章對當前預處理中的數(shù)據(jù)清洗、用戶識別和事務識別三個關鍵步驟進行了詳細的分析和研究，提出了數(shù)據(jù)清洗、用戶識別和事務識別三個設計算法。用戶識別算法結(jié)合了時間閾值，識別的用戶更加符合實際，并且能夠識別出更多的用戶；根據(jù)日志記錄的請求頁和參引頁間的鏈接關

4、系，再結(jié)合時間閾值設計出了新的事務識別算法，該算法能夠識別出很多有意義的事務。
　　 最后介紹了聚類分析，重點研究了K-means算法，針對K-means算法的初始聚類中心隨機選擇的缺陷，第4章設計了改進的K-means算法，該算法結(jié)合層次聚類算法AGNES，得到密度比較高的k個初始聚類中心，經(jīng)實驗驗證準確率明顯得到提高，迭代次數(shù)減小。本文還將改進算法應用到Web日志挖掘中，進行用戶聚類從而得到群體用戶的需求，為網(wǎng)站優(yōu)化和個性化