基于SPARK的用戶特征分析.pdf

1、近年來，互聯(lián)網(wǎng)的飛速發(fā)展提供了一個豐富便捷的網(wǎng)絡環(huán)境，人們越來越習慣在網(wǎng)絡上進行交流、交易、娛樂等等，海量的用戶網(wǎng)絡數(shù)據(jù)充斥著整個互聯(lián)網(wǎng)，越來越多的人看到了大數(shù)據(jù)背后隱藏的價值，全球范圍內掀起來大數(shù)據(jù)研究的浪潮;隨著大數(shù)據(jù)技術的火熱研究，吸引了國內外眾多學者投入到大數(shù)據(jù)挖掘的研究中，實現(xiàn)了基于用戶網(wǎng)絡行為數(shù)據(jù)的分析挖掘的研究體系。
　　大數(shù)據(jù)計算平臺并不需要使用超高性能的服務器才能實現(xiàn)，使用普通的PC即可搭建而成，并且這種集群化的

2、模式表現(xiàn)出的計算性能往往比超高性能的服務器還要好。以Spark為代表的分布式計算平臺是近幾年剛剛興起并且快速發(fā)展的一種新技術，原因在于這種分布式平臺是基于內存的計算模式，可以提供海量存儲和超級計算的能力。把分析挖掘超大數(shù)據(jù)集的任務使用云計算方案來解決，能夠極大地提升計算速度和用戶分類的效能。因此，以Spark為代表的分布式計算平臺和海量用戶數(shù)據(jù)集的分類挖掘相融合，會是一個很有科研價值和應用潛力的研究方向。
　　本文主要研究基于Sp

3、ark和改進的TF-IDF算法的用戶特征分析，具體工作如下:
　　1、研究了Spark的相關技術以及Spark集群的搭建過程。使用樸素貝葉斯分類算法，結合Spark內存計算框架，對用戶觀看視頻及次數(shù)信息進行分析，建立用戶性別和年齡區(qū)間的分類模型;并進一步介紹了整個分析系統(tǒng)的架構。
　　2、在基本的分類算法中，并沒考慮特征項權重問題，這樣并不能體現(xiàn)出每一個特征項的價值，基于這一因素，采用傳統(tǒng)的TF-IDF權重進行進一步實驗，與

4、基本的分類算法對比分類效果。
　　3、列出傳統(tǒng)的TF-IDF權重計算方法的缺陷，僅僅考慮特征項自身的價值，而沒有體現(xiàn)特征項與類別之間的相關性;針對這一問題，提出了一種基于特征項與類別間相關性的TFC-IDFC權重計算方法，并詳細介紹了優(yōu)化分類模型的過程，通過實驗得出分類結果。
　　4、將改進的權重計算方法與基本分類算法和傳統(tǒng)的TF-IDF權重計算方法進行比較，通過正確率和F1值兩個指標，證明考慮到特征項與類別的相關性所提出的