存儲系統(tǒng)中測試數據集的構建方法研究.pdf

1、隨著大數據(BigData)的應用越來越廣泛,社會對信息存儲的需求在不斷地增大;而且隨著存儲技術的發(fā)展,存儲系統(tǒng)架構和存儲系統(tǒng)軟件都變得復雜多樣;此外,應用環(huán)境,存儲的數據也越來越復雜多變;因此,存儲系統(tǒng)的管理測試,性能優(yōu)化等工作變得異常困難和重要。存儲系統(tǒng)的性能測試,文件系統(tǒng)元數據管理等方面的研究,都需要大量的負載數據,但數據來源多是以前的trace數據集,這些數據集通常存在數據信息不完整,各種操作混合的問題;而且,現(xiàn)公開的trace

2、數據集缺少相應的文件系統(tǒng)元數據的鏡像數據。另外,目前還沒有針對大數據應用環(huán)境下的可用trace數據集。
　　針對以上問題,提出了一種基于統(tǒng)計分析的采用自相似性模型的trace數據集構建方法。該方法能夠生成精確的可重現(xiàn)的文件系統(tǒng)鏡像,并能合成相應的大規(guī)模的,可定制的文件系統(tǒng)動態(tài)負載數據集。文件系統(tǒng)trace負載合成系統(tǒng)通過對實際trace數據集的統(tǒng)計分析,得出動態(tài)屬性的負載模型并加以評估,用文件系統(tǒng)鏡像生成引擎生成文件系統(tǒng)的鏡像,用