基于Hadoop的垂直搜索引擎的設計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術的飛速發(fā)展，網(wǎng)絡信息呈現(xiàn)爆炸式地更新和增長，各式各樣的搜索引擎逐漸進入了大眾的視野。面對海量數(shù)據(jù)，傳統(tǒng)的集中式搜索引擎存在服務器負載強度大、系統(tǒng)不夠穩(wěn)定且工作效率低等性能瓶頸。通用式搜索引擎也存在檢索范圍廣，檢索結果不專業(yè)、不準確的缺點，顯然不符合特定領域下信息檢索的需求。
　　基于上述問題，本文提出了一種基于Hadoop的垂直搜索引擎系統(tǒng)。該系統(tǒng)搭建了一個Hadoop云計算平臺，完成文件的分布式存儲和數(shù)據(jù)的并行處理

2、。在分布式集群環(huán)境中結合MapReduce編程模型，實現(xiàn)搜索引擎的各功能模塊。在高效處理數(shù)據(jù)的同時，保證了數(shù)據(jù)的安全存儲和系統(tǒng)的穩(wěn)定運行。另外，本文為該系統(tǒng)的網(wǎng)頁信息抓取模塊設計了一個面向主題的網(wǎng)絡爬蟲算法VPCRAW用以抓取與主題相關的網(wǎng)頁信息。該算法綜合了VSM算法和PageRank算法的優(yōu)勢，兼顧網(wǎng)頁內容相關性和鏈接權威性，真正做到了網(wǎng)頁信息的垂直抓取，為后續(xù)模塊提供更為專業(yè)的源文件，從而提高最終檢索結果的準確率。
　　實驗