基于Lucene和Heritrix構(gòu)建搜索引擎的研究和示例實現(xiàn).pdf

1、隨著網(wǎng)絡信息資源的急劇增長，人們越來越多地關(guān)注如何快速有效地從網(wǎng)絡信息中，抽取出潛在的、有價值的信息，使之有效地在管理和決策中發(fā)揮作用。 搜索引擎(SearchEngine)網(wǎng)站是指因特網(wǎng)上專門提供查詢服務的一類網(wǎng)站，這些網(wǎng)站通過網(wǎng)絡搜索軟件(又稱為網(wǎng)絡搜索機器人)或網(wǎng)站登錄等方式，收集因特網(wǎng)上大量網(wǎng)站的頁面，經(jīng)過加工處理后建庫，從而能夠?qū)τ脩籼岢龅母鞣N查詢作出響應，提供用戶所需的信息。 自1994年起至今，伴隨著因特網(wǎng)

2、的日益發(fā)展壯大以及Web信息量的迅速膨脹，Web搜索引擎技術(shù)己經(jīng)經(jīng)歷了三個發(fā)展階段：集中式檢索階段、分布式檢索階段和智能化檢索階段。當前搜索引擎研究主要集中在自動化、智能化檢索和提高檢索結(jié)果的精確度上。今后搜索引擎還將不斷擴展附加功能，以主題化檢索為特征，以適應不同層次用戶的個人化信息檢索需求。 論文首先介紹了Lucene這種在開源社區(qū)里構(gòu)建全文檢索系統(tǒng)和搜索引擎使用得最廣泛的技術(shù)，分析了它的架構(gòu)以及主要工作原理。構(gòu)建搜索引擎，

3、需要使用網(wǎng)絡爬蟲對網(wǎng)絡資源進行分析，抓取。接下來，論文就對網(wǎng)絡爬蟲Heritrix進行了深入的分析，對各個核心部件進行了詳細介紹。然后，在前面研究的基礎(chǔ)上，設計實現(xiàn)了一個搜索引擎示例，演示了它的功能，論文對示例的設計思路，實現(xiàn)細節(jié)進行了闡述。論文的最后一章，在深入分析高級搜索技術(shù)的基礎(chǔ)上，對性能提升的策略進行了總結(jié)，實現(xiàn)了搜索優(yōu)化以及性能提升。在附錄部分，對Lucene的分析器進行了分析，并且實現(xiàn)了一個中文分析器，加入到示例中，提高了示