基于帶詞長的詞典機制和規(guī)則判定的歧義消解算法的中文分詞技術(shù)的研究.pdf

1、隨著計算機軟件和硬件以及計算機網(wǎng)絡(luò)的飛速發(fā)展，人們已經(jīng)進入信息時代。在這個信息社會里，信息的重要性與日俱增，無論是個人、公司、乃至政府都需要獲取和掌握大量有用的信息。在這種環(huán)境下，中文信息處理技術(shù)逐漸成為一項需要重點研究的技術(shù)，而其中最為重要的就是中文分詞技術(shù)。中文與英文不同，中文文本是一個連續(xù)的字符串，除了標(biāo)點符號之外，詞與詞之間并沒有明顯的切分標(biāo)志，也就是語言文字的書寫方法沒有詞界，因而中文信息處理的首要問題是詞的切分問題。

2、　　本文在研究了中文分詞各種算法和技術(shù)的基礎(chǔ)上，提出了一種帶詞長的哈希詞典機制有效的提高了長詞的匹配效率，并提出一種基于動詞判定算法和優(yōu)先級判定算法的歧義消解機制，有效地提高了歧義消解的精確性。以下是本文具體的研究內(nèi)容:
　　(1)研究了中文分詞的研究背景和研究意義;中文分詞的相關(guān)技術(shù)以及現(xiàn)有的幾種主流的中文分詞算法?，F(xiàn)有的中文分詞算法主要有:基于詞典的分詞算法，基于統(tǒng)計的分詞算法，基于規(guī)則的分詞算法和基于理解的分詞算法等。在主流

3、的分詞系統(tǒng)中主要用到的是基于詞典的分詞算法。
　　(2)研究了現(xiàn)有的幾種詞典機制:基于整詞二分的詞典機制、基于TRIE樹的分詞詞典機制、基于逐字二分的分詞詞典機制和基于哈希的分詞詞典機制。綜合存儲空間和查找時間上兩方面的考慮，進行了以上幾種詞典機制的比較，本文采用基于哈希的分詞詞典機制。針對長詞匹配效率不高的問題，本文提出了一種帶詞長的哈希詞典機制。
　　(3)研究了中文分詞主要面臨的問題:歧義問題。歧義包括:交集型歧義、組

4、合型歧義和真歧義。本文詳細介紹了這三種歧義。并介紹了主要的三種歧義采集算法:雙向最大掃描法、逐詞掃描的最大匹配法、最長詞次長詞發(fā)現(xiàn)算法。本文采用雙向最大掃描的歧義采集方法。歧義采集后，本文改進了退一字組合算法，加入了動詞判定算法和優(yōu)先級判定算法來進行歧義的消解，在一定程度上提高了歧義消解的精確性。
　　(4)采用VC++6.0集成開發(fā)工具，利用本文所提出的算法設(shè)計并實現(xiàn)了中文分詞系統(tǒng)，并描述了系統(tǒng)的體系結(jié)構(gòu)和系統(tǒng)中各模塊的工作原理