中文信息處理中若干技術的研究與實現(xiàn).pdf

1、隨著Intenet迅猛發(fā)展，各種資源不斷增多。為了快速、高效的查找信息，信息處理以成為當前重要的研究領域。 針對信息處理涉及的內容，本文對中文信息處理中的若干關鍵技術進行了研究，主要研究內容和貢獻如下： 實現(xiàn)了一種基于句法詞典的句法分析方法。通過把文法規(guī)則映射為特征詞，把句法分析轉換為利用特征詞生成句法判定樹，使概率方法和規(guī)則方法有效的結合在一起。在封閉的測試中，該方法獲得了89.40％的查全率，87.13％的查準率。

2、 提出了一種利用樣本距離，改進K-means聚類的方法，有效地避免了初始點的選擇所帶來的誤差，以及噪聲和孤立點的影響。 介紹了一種把多種語料庫存入字典結構，以及使用此字典結構的方法；對特征詞，使用多層hash存儲，結合最大向前匹配，實現(xiàn)了快速分詞算法，1G內存下，分詞速度到2M/S；在實現(xiàn)基于隱馬爾可夫模型的詞性標注同時，結合平滑算法，標注正確率達到86％，排歧正確率達到82％；在實現(xiàn)基于KNN分類算法中，使用CHI統(tǒng)計方