基于查詢接口特征的深度網絡資源聚類分析.pdf

1、互聯(lián)網的快速發(fā)展，給人們帶來了海量的信息，并且這些信息仍然在快速增長。整個互聯(lián)網可以劃分為表層網絡和深度網絡兩部分，其中表層網絡是指通過超鏈接可以被傳統(tǒng)搜索引擎索引到的頁面的集合，而深度網絡指的是互聯(lián)網上的網絡數(shù)據(jù)庫，其資源只能通過網絡數(shù)據(jù)庫提供的查詢接口才能訪問。與表層網絡相比，深度網絡包含的數(shù)據(jù)質量更高、更專業(yè)。然而，由于深度網絡數(shù)據(jù)的異構性和動態(tài)性，必須對其進行數(shù)據(jù)集成后才能有效地加以利用，而有效地把這些信息按照領域分類則是對其進

2、行數(shù)據(jù)集成的先決條件。 查詢接口是進入深度網絡的唯一途徑，它首先是一個表單，但并非所有的表單都是查詢接口，對此，本文實現(xiàn)表單分類器將查詢接口從表單中分離。同時，通過對查詢接口的實驗，發(fā)現(xiàn)查詢接口所具有的特征可以代表深度數(shù)據(jù)資源的領域及查詢能力，從而利用查詢接口特征來聚類深度網絡資源。查詢接口與普通文本聚類一個區(qū)別在于查詢接口的特征矩陣稀疏，因此利用傳統(tǒng)的基于距離相似度的凝聚層次聚類算法聚類效果不是很理想，針對該問題，本文利用非參

3、數(shù)假設檢驗的方法來求類簇間的相似，并改進相似度目標函數(shù)，將其運用到傳統(tǒng)的凝聚層次聚類算法中，實現(xiàn)對查詢接口的聚類，從而也就實現(xiàn)了對查詢接口所代表的深度網絡資源的聚類。 運用假設檢驗進行聚類時，因為統(tǒng)計中對事件的觀察值有要求，而初始類簇不經處理可能不滿足假設檢驗的要求，針對該問題，本文使用對查詢接口進行預處理的思想即首先對所有查詢接口進行接口類型過濾，然后根據(jù)屬性間的包含程度將數(shù)據(jù)分組，再根據(jù)屬性的發(fā)生次數(shù)對組進行過濾，最后只對那