基于數(shù)據(jù)偏斜條件下Reduce任務(wù)放置機(jī)制的研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，互聯(lián)網(wǎng)已經(jīng)越來(lái)越普及，各行各業(yè)都受到它的影響，網(wǎng)絡(luò)用戶數(shù)目不斷攀升，這也使得互聯(lián)網(wǎng)中所產(chǎn)生的數(shù)據(jù)朝著大和雜的方向發(fā)展，對(duì)這類型數(shù)據(jù)的分析處理和挖掘搜索已經(jīng)成為互聯(lián)網(wǎng)行業(yè)新的方向，同時(shí)這些都為分布式計(jì)算和云計(jì)算的發(fā)展提供了新的發(fā)展機(jī)遇。MapReduee是Google提出用于處理海量數(shù)據(jù)的分布式并行計(jì)算編程模型，基于該框架能夠容易地編寫應(yīng)用程序，這些應(yīng)用程序能夠運(yùn)行在由上千個(gè)機(jī)器組成的大集群上，具有自動(dòng)并行處理作業(yè)

2、、可靠性高、具有容錯(cuò)能力以及編程簡(jiǎn)單，能夠并行地處理上TB級(jí)別的海量數(shù)據(jù)集等特點(diǎn)。
　　在大多數(shù)運(yùn)行的Hadoop系統(tǒng)中，對(duì)于頻繁的磁盤I/O和跨機(jī)架和不同物理節(jié)點(diǎn)的大數(shù)據(jù)量的傳輸，中間數(shù)據(jù)的傳輸已經(jīng)成為制約性能的的瓶頸。本文提出reduce任務(wù)放置算法，將目標(biāo)任務(wù)調(diào)度到其相關(guān)map任務(wù)所在的物理節(jié)點(diǎn)或者同一機(jī)架內(nèi)以此來(lái)獲得中數(shù)據(jù)，提高本地化讀取數(shù)據(jù)性能。由于key值是需要直到map任務(wù)結(jié)束之后才能被計(jì)算，本輪提出了一種基于水池抽

3、樣的方法來(lái)獲取中間鍵值的分布情況?；谶@個(gè)抽樣的出來(lái)的數(shù)據(jù)分布比較好的接近原始數(shù)據(jù)的分布，基于這個(gè)中間鍵值的分布來(lái)執(zhí)行分區(qū)策略，跨機(jī)架之間通信通過(guò)考慮它的距離和損耗將對(duì)應(yīng)于map任務(wù)相關(guān)的reduce任務(wù)調(diào)度值其相近的物理節(jié)點(diǎn)來(lái)獲取中間數(shù)據(jù)的本地性。論文基于Hadoop2.4.0來(lái)實(shí)現(xiàn)CORP(Correlation-oriented reduceplacement)算法并且通過(guò)sort，grep，join這三種作業(yè)類型來(lái)對(duì)其性能進(jìn)行評(píng)

4、估，實(shí)驗(yàn)的結(jié)果也顯示該算法在對(duì)其數(shù)據(jù)本地性和reduce負(fù)載有了較大的改善，但是由于前期的抽樣帶來(lái)的額外的負(fù)擔(dān)使得論文中CORP算法對(duì)于執(zhí)行時(shí)間方面的優(yōu)化不是特別的大。
　　本論文不僅在Hadoop的集群環(huán)境中基于數(shù)據(jù)傾斜實(shí)現(xiàn)了任務(wù)的放置的研究，并且將該方法至于云環(huán)境中通過(guò)虛擬機(jī)來(lái)實(shí)現(xiàn)任務(wù)的放置。任務(wù)虛機(jī)啟動(dòng)的位置越是靠近存儲(chǔ)節(jié)點(diǎn)，獲得的本地化數(shù)據(jù)就越多?；诂F(xiàn)有的模型和工作提出了虛擬機(jī)啟發(fā)式遷移HM(Heuristic Migr