分布式數據處理系統(tǒng)中作業(yè)性能優(yōu)化關鍵技術研究.pdf

1、隨著各行業(yè)中數據規(guī)模地增長，分布式數據處理技術被廣泛應用于各行業(yè)數據分析中。MapReduce具有使用方便、易于編程、容錯性強和高性價比等優(yōu)勢，目前已經成為主流的分布式處理模型，并在各行業(yè)的大規(guī)模數據分析中得到了廣泛的應用。然而隨著數據處理需求的不斷增長，MapReduce自身存在的一些缺陷也逐漸顯露，最常見的缺陷包括：MapReduce中較多的配置參數、不完善的任務調度策略、數據本地化有效性低和資源槽分配不合理等。這些不足導致MapR

2、educe作業(yè)執(zhí)行效率低下。MapReduce作業(yè)性能調優(yōu)是通過優(yōu)化MapReduce中各方面的不足來改善MapReduce作業(yè)性能，使得作業(yè)在MapReduce中的執(zhí)行時間大大降低，因此，MapReduce作業(yè)性能優(yōu)化的研究具有重要的科學意義和應用價值。
　　本文針對MapReduce作業(yè)性能優(yōu)化的若干關鍵問題進行研究。在總結作業(yè)性能優(yōu)化相關研究成果的基礎上，建立了I/O代價函數來闡述配置參數對作業(yè)執(zhí)行時間的重要性；提出了通過特

3、征選擇的方法來選擇影響作業(yè)執(zhí)行時間的重要參數，同時通過優(yōu)化數據本地化、數據副本置放策略和任務調度的方法來改善作業(yè)執(zhí)行時間。
　　本文的研究內容和創(chuàng)新點具體包含以下幾個方面：
　?、偻ㄟ^建立I/O讀寫字節(jié)數和I/O請求數目函數證明了存在部分配置參數會直接影響MapReduce作業(yè)的執(zhí)行時間。并驗證了各配置參數對MapReduce作業(yè)執(zhí)行時間的影響程度不同。
　?、谔岢隽嘶诤撕瘮祽土P的聚類特征選擇算法（ IK-means

4、），解決了MapReduce中因配置參數過多而使得平臺管理人員配置困難的問題。在IK-means中，為了準確地判斷各特征參數的影響程度，采用各向異性高斯核函數代替了傳統(tǒng)的高斯核函數，通過各向異性高斯核函數不同方向的參數（也被稱為核寬）來反映每個特征的重要程度。提出利用梯度下降算法來最小化各向異性高斯核的核寬向量，使得所選擇的特征進行聚類的效果能最接近原始特征的聚類效果，從而達到特征選擇的目的。針對聚類特征選擇算法對初始點選擇敏感的問題，

5、提出了全局感知的局部密度初始點選擇算法。通過理論證明和實驗結果表明，本文提出的特征選擇算法在配置參數的選擇中具有良好的效果。
　　③提出了基于二部圖最小權匹配的數據本地化算法，解決了MapReduce中同時滿足多任務數據本地化的問題，同時提出了動態(tài)副本自適應算法，通過熱數據的識別解決了動態(tài)副本置放技術中的如何確定備份副本的問題。理論論證和實驗結果表明動態(tài)自適應副本算法有效地支撐了二部圖最小權匹配算法，并改善了多任務數據本地化的有效