中文詞性標注的研究與實現(xiàn).pdf

1、隨著信息檢索和自然語言處理的發(fā)展，在信息檢索中引入自然語言處理技術是信息檢索發(fā)展的重要趨勢之一，而詞性標注作為自然語言處理領域的基礎，可以提高信息檢索的效果和效率，因此在信息檢索領域有著非常重要的作用。因此，本文圍繞詞性標注對其中的關鍵問題進行了系統(tǒng)研究，并著重實現(xiàn)一個詞性標注系統(tǒng)。 本文首先對詞性標注的基礎技術——中文分詞作了系統(tǒng)的研究。中文分詞模塊采用了逆向最人匹配作為基本分詞方法，結合規(guī)則和統(tǒng)計的方法解決分詞歧義問題，并對

2、中文姓名和高頻未登錄詞分別采用相應策略進行識別，所設計和實現(xiàn)的中文分詞系統(tǒng)具有較高的分詞準確率和較快的分詞速度，可以為詞性標注提供良好的基礎。 本文主要對基于統(tǒng)計的詞性標注技術進行了研究，所實現(xiàn)詞性標注系統(tǒng)主要通過隱馬爾可大模型對訓練語料庫進行數(shù)據(jù)統(tǒng)計，獲取所需詞性和詞匯概率信息，并采用Viterbi算法進行標注。針對訓練語料庫規(guī)模較小導致的數(shù)據(jù)稀疏的問題，運用了簡單而高效的Katz算法進行數(shù)據(jù)平滑處理，有效地避免了因數(shù)據(jù)稀疏導