

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、隨著各行業(yè)中數據規(guī)模地增長,分布式數據處理技術被廣泛應用于各行業(yè)數據分析中。MapReduce具有使用方便、易于編程、容錯性強和高性價比等優(yōu)勢,目前已經成為主流的分布式處理模型,并在各行業(yè)的大規(guī)模數據分析中得到了廣泛的應用。然而隨著數據處理需求的不斷增長,MapReduce自身存在的一些缺陷也逐漸顯露,最常見的缺陷包括:MapReduce中較多的配置參數、不完善的任務調度策略、數據本地化有效性低和資源槽分配不合理等。這些不足導致MapR
2、educe作業(yè)執(zhí)行效率低下。MapReduce作業(yè)性能調優(yōu)是通過優(yōu)化MapReduce中各方面的不足來改善MapReduce作業(yè)性能,使得作業(yè)在MapReduce中的執(zhí)行時間大大降低,因此,MapReduce作業(yè)性能優(yōu)化的研究具有重要的科學意義和應用價值。
本文針對MapReduce作業(yè)性能優(yōu)化的若干關鍵問題進行研究。在總結作業(yè)性能優(yōu)化相關研究成果的基礎上,建立了I/O代價函數來闡述配置參數對作業(yè)執(zhí)行時間的重要性;提出了通過特
3、征選擇的方法來選擇影響作業(yè)執(zhí)行時間的重要參數,同時通過優(yōu)化數據本地化、數據副本置放策略和任務調度的方法來改善作業(yè)執(zhí)行時間。
本文的研究內容和創(chuàng)新點具體包含以下幾個方面:
?、偻ㄟ^建立I/O讀寫字節(jié)數和I/O請求數目函數證明了存在部分配置參數會直接影響MapReduce作業(yè)的執(zhí)行時間。并驗證了各配置參數對MapReduce作業(yè)執(zhí)行時間的影響程度不同。
?、谔岢隽嘶诤撕瘮祽土P的聚類特征選擇算法( IK-means
4、),解決了MapReduce中因配置參數過多而使得平臺管理人員配置困難的問題。在IK-means中,為了準確地判斷各特征參數的影響程度,采用各向異性高斯核函數代替了傳統(tǒng)的高斯核函數,通過各向異性高斯核函數不同方向的參數(也被稱為核寬)來反映每個特征的重要程度。提出利用梯度下降算法來最小化各向異性高斯核的核寬向量,使得所選擇的特征進行聚類的效果能最接近原始特征的聚類效果,從而達到特征選擇的目的。針對聚類特征選擇算法對初始點選擇敏感的問題,
5、提出了全局感知的局部密度初始點選擇算法。通過理論證明和實驗結果表明,本文提出的特征選擇算法在配置參數的選擇中具有良好的效果。
③提出了基于二部圖最小權匹配的數據本地化算法,解決了MapReduce中同時滿足多任務數據本地化的問題,同時提出了動態(tài)副本自適應算法,通過熱數據的識別解決了動態(tài)副本置放技術中的如何確定備份副本的問題。理論論證和實驗結果表明動態(tài)自適應副本算法有效地支撐了二部圖最小權匹配算法,并改善了多任務數據本地化的有效
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 海量數據處理系統(tǒng)框架關鍵技術研究.pdf
- 分布式數據處理系統(tǒng)的研究與應用.pdf
- HPC集群環(huán)境下分布式數據處理系統(tǒng)研究.pdf
- 基于云計算的醫(yī)療數據處理系統(tǒng)的關鍵技術研究.pdf
- 微波干涉儀數據處理系統(tǒng)關鍵技術研究與實現.pdf
- 60736.數字城市中的分布式數據處理關鍵技術研究
- 分布式數據采集處理系統(tǒng)技術研究.pdf
- 大規(guī)模數據處理系統(tǒng)中MapReduce任務劃分與調度關鍵技術研究.pdf
- AST3實時數據處理系統(tǒng)關鍵技術的研究.pdf
- 分布式海量數據處理系統(tǒng)計算節(jié)點的設計與實現.pdf
- 分布式數據處理系統(tǒng)中配置及任務管理模塊的設計與實現.pdf
- 分布式數據存儲關鍵技術研究.pdf
- 分布式高可靠性海量數據處理系統(tǒng)中控節(jié)點設計與實現.pdf
- 分布式RDF數據查詢處理關鍵技術研究.pdf
- 基于云的大數據處理系統(tǒng)性能優(yōu)化問題研究.pdf
- 鍋爐性能試驗數據處理系統(tǒng)開發(fā)研究.pdf
- 基于DHT的分布式垃圾郵件處理系統(tǒng)關鍵技術研究.pdf
- 海量空間環(huán)境數據分布式并行處理關鍵技術研究.pdf
- 農業(yè)物聯(lián)網數據處理系統(tǒng).pdf
- 精密光柵數據處理系統(tǒng)的研究.pdf
評論
0/150
提交評論