基于Spark的混合推薦系統(tǒng).pdf

1、隨著信息技術的快速發(fā)展，信息過載已經(jīng)成為互聯(lián)網(wǎng)領域面臨的重要挑戰(zhàn)。為了緩解互聯(lián)網(wǎng)用戶與海量數(shù)據(jù)間日益加劇的矛盾，研究人員提出了推薦系統(tǒng)的概念。作為推薦系統(tǒng)的一個重要分支，混合推薦系統(tǒng)通過組合多種推薦算法提高系統(tǒng)性能，目前廣泛應用于電子商務、社交網(wǎng)絡和視頻網(wǎng)站等領域。然而，用戶量與數(shù)據(jù)量的急速增長對混合推薦系統(tǒng)的性能提出了更高的要求。例如，視頻網(wǎng)站要求混合推薦系統(tǒng)為用戶精準推薦各類視頻，并根據(jù)用戶行為的變化訓練新的模型，及時更新推薦結果。

2、由于數(shù)據(jù)量的增加，開發(fā)人員難以利用經(jīng)驗確定各推薦算法對最終結果的影響程度。因此，粗粒度權重計算方法影響混合推薦系統(tǒng)的精度，增加開發(fā)難度。此外，由于系統(tǒng)基于大規(guī)模數(shù)據(jù)訓練特征模型，訓練過程包含大量迭代計算，使得訓練一次模型的時間為一天甚至幾天，難以滿足用戶對推薦系統(tǒng)效率的需求。
　　本文通過分析不同的數(shù)據(jù)集、推薦算法以及權重計算方法的特點，引入適用于迭代計算的通用大規(guī)模數(shù)據(jù)處理平臺Spark，設計并實現(xiàn)了基于Spark的混合推薦系統(tǒng)

3、，以提高推薦系統(tǒng)的精度、多樣性和效率。本文的主要工作及創(chuàng)新點如下:
　　1.首先，本文提出一種細粒度權重計算方法，將各推薦算法的權值擴展為權重向量。該方法提高了評分預測推薦的精度，并有效緩解數(shù)據(jù)稀疏帶來的冷啟動問題;
　　2.其次，本文基于大規(guī)模數(shù)據(jù)處理框架Spark，以細粒度權重計算方法為核心，設計實現(xiàn)細粒度權重混合子系統(tǒng)。該子系統(tǒng)基于分布式計算框架Spark降低模型訓練時間，并利用細粒度權重計算方法提高推薦精度。實驗結果