面向文本分類的文本特征學習技術研究.pdf

1、面對互聯(lián)網上文檔資源日益豐富的情況，文本分類旨在自動對文檔歸類，使人們便于收集和管理各種文檔，因此文本分類具有廣泛的應用背景和較高的實用價值。但是，現(xiàn)存文本分類系統(tǒng)仍然存在很多問題。 本文研究工作緊緊的圍繞文本特征學習，從不同方面展開文本特征的自動學習。作者在前人工作的基礎上提出一些新的處理技術和模型，取得一些研究成果。主要創(chuàng)新點包括： ●提出一種自動學習領域關聯(lián)詞的算法，并把學習到的領域關聯(lián)詞用作文本特征，構造一個無指

2、導的文本分類系統(tǒng)。該算法應用Bootsrapping的學習框架，從大規(guī)模的無標注文本語料中，計算候選詞和領域種子詞集的關聯(lián)度，從中選取關聯(lián)度大的詞做為新的領域關聯(lián)詞。該算法輸入是大規(guī)模的無標注文本語料和少量種子詞。接著，把領域關聯(lián)詞用作文本特征，構造一個無指導的文本分類系統(tǒng)。該文本分類系統(tǒng)不用任何的人工標注分類語料，只需要每個類別手工構造少量的種子詞(3-10個)。通過這個算法，我們可以在新的分類體系中很快構建出新的文本分類系統(tǒng)。

3、 ●提出一種弱指導的文本分類系統(tǒng)的構建方法，該方法使用大規(guī)模無標注語料來改善分類器的訓練效果。訓練過程：首先，使用小標注語料來訓練初始最大熵分類器；用訓練好的最大熵分類器對無標注文本語料進行類別標注，從中選擇置信度高的文檔作為下一輪訓練時的訓練語料；再次訓練分類器；如此循環(huán)訓練、標注，直到學習結束。也就是利用大規(guī)模的無標注文本語料，來改善基于小標注訓練集的最大熵模型分類器訓練效果。 ●提出一種基于全局信息的詞聚類模型-glob

4、alCM。在聚類過程中，該模型充分利用當前所有簇的信息來參與相似度的計算，克服了舊有模型只考慮相關的兩個簇信息造成聚類效果差的問題。實驗表明，globalCM的詞聚類效果優(yōu)于傳統(tǒng)的聚類方法。然后，把學習的詞簇用作文本特征，構建一個基于詞簇文本特征的分類系統(tǒng)。實驗結果表明，基于詞簇文本特征表示具有明顯的降維效果，和基于詞特征的特征選取方法相比，降維幅度大約為100位。 ●提出一種基于Ontology的領域知識庫構建方法。首先，給出

5、兩個基本概念定義：領域關聯(lián)詞和領域特征屬性。接著，采用框架表示法來表示領域知識。最后，詳細描述了東北大學自然語言處理實驗室領域知識庫的構建方法，并給出一個實際構建“軍事”領域知識庫的例子。 ●提出把領域知識庫用于文本特征表示的兩種方法。第一種表示：用領域知識庫中的領域關聯(lián)詞作為文本特征；第二種表示：用領域知識庫中的領域特征屬性作為文本特征。實驗結果表明，用領域關聯(lián)詞作為文本特征，有助于增強文本特征的表達能力。 ●提出一個

6、自劃分學習模型，以解決領域知識庫覆蓋度不足的問題。該模型結合Bootsrapping學習框架和globalCM模型，按照領域知識庫的結構，自動把候選詞劃分到相關領域中。文中把學習結果用于文本特征表示。實驗結果表明，這種學習模型可以進一步提高領域知識庫在文本分類中的作用。 ●提出一個領域知識庫的半自動構建模型。采用上述的自劃分學習模型，學習出新的領域關聯(lián)詞，構成一個候選集，提供給領域知識專家作為選擇對象。然后，專家從中選取合適的領