卷積神經(jīng)網(wǎng)絡的并行化研究.pdf

1、卷積神經(jīng)網(wǎng)絡(ConvolutionalNeuralNetWorks，CNN)算法能夠有效地從原始輸入中學習到高階不變性的特征，廣泛應用于車牌檢測、人臉檢測、手勢識別、語音識別、圖像復原和語義分析等領域。目前，CNN算法主要以串行方式實現(xiàn)。串行實現(xiàn)的CNN算法存在兩個主要缺陷:(1)不能發(fā)揮算法內在的并行性，導致訓練過程需要較長時間;(2)伸縮性不強，使得不能高效地處理數(shù)據(jù)密集型問題。
　　 谷歌提出的并行編程框架MapRedu

2、ce具有良好的擴展性和容錯性，成為當前云計算平臺并行處理大規(guī)模數(shù)據(jù)的主流技術。本文使用MapReduce并行化CNN，并采用GPU加速計算過程，以增強算法的并行性和伸縮性，取得的成果如下:
　　 1.提出利用MapReduce并行化訓練卷積神經(jīng)網(wǎng)絡的方法(CNN-MR)，并部署到Hadoop云計算平臺。CNN-MR采用數(shù)據(jù)并行的分解方法，將訓練樣本劃分給平臺中的每個計算節(jié)點。并使用批量更新的方式，在所有計算節(jié)點處理本地訓練樣本結

3、束之后，節(jié)點之間做一次通信，得到可訓練參數(shù)在整個訓練集上的全局梯度改變量并更新網(wǎng)絡，多次迭代，至網(wǎng)絡收斂到設定閾值或最大迭代次數(shù)，算法結束。
　　 2.提出利用GPU加速CNN-MR算法的方法(CNN-MR-G)，并部署到G-Hadoop計算平臺。將CNN每層的特征圖、神經(jīng)元或權值分別映射到GPU的線程塊、線程，使得同層神經(jīng)元可并行地計算輸出結果、輸出誤差或權值的局部梯度改變量。
　　 在手體字數(shù)據(jù)集(MNIST)和自建