混合數(shù)據(jù)的核密度估計(jì)熵與快速的貪心特征選擇算法.pdf

1、在海量數(shù)據(jù)的時(shí)代，特征選擇作為數(shù)據(jù)挖掘、模式識(shí)別、機(jī)器學(xué)習(xí)的關(guān)鍵步驟，在降低維度、提升算法速度與精確度等方面發(fā)揮著越來(lái)越重要的作用。信息論中熵和互信息等概念在特征選擇算法中占據(jù)重要的地位，具有無(wú)需先驗(yàn)知識(shí)檢測(cè)非線性關(guān)系、抗噪聲干擾等優(yōu)點(diǎn)。但傳統(tǒng)基于信息論的特征選擇方法主要針對(duì)離散特征，而現(xiàn)實(shí)世界存在著大量連續(xù)特征、混合特征的數(shù)據(jù)。離散化是一種常見(jiàn)的解決方法，即將連續(xù)特征轉(zhuǎn)換為離散特征，再間接地計(jì)算信息論中的概率值，這種方法可能導(dǎo)致原始信

2、息的損失。核密度估計(jì)（簡(jiǎn)寫(xiě)KDE）在統(tǒng)計(jì)學(xué)理論中用于對(duì)隨機(jī)變量的概率密度函數(shù)進(jìn)行無(wú)參估計(jì)，部分研究者由此提出了基于KDE的條件熵，并應(yīng)用于特征選擇算法，實(shí)驗(yàn)結(jié)果證明這類方法具有較好的效果。但現(xiàn)有研究中，KDE熵公式較少且局限于連續(xù)特征，KDE熵計(jì)算用時(shí)較長(zhǎng)、效率較低，且在高維下更加嚴(yán)重。這些問(wèn)題導(dǎo)致基于KDE熵的特征選擇算法的種類較少、速度非常慢，難以被廣泛應(yīng)用。
　　本研究主要內(nèi)容包括：⑴提出較完整的連續(xù)特征KDE熵，提出混合特