基于Hadoop海量日志文件的網站并發(fā)性能分析.pdf

1、商業(yè)數據、科學數據、網頁數據這三大類海量數據憑借著異構性、動態(tài)性和膨脹性等特點給傳統的數據處理方式帶來巨大壓力。以Hadoop為代表的大規(guī)模數據處理技術突破以往的單機數據處理模式，引入大規(guī)模分布式計算機集群來提升數據處理性能，大大減輕了數據處理壓力。Hadoop技術現已憑借著可伸縮性、健壯性以及計算性能和成本上無可替代的優(yōu)勢逐漸發(fā)展為海量數據處理的最佳解決方案，受到越來越多IT企業(yè)的重視。
　　本文首先研究海量數據相關技術的應用現

2、狀及 Hadoop平臺的設計架構，選取網站自動生成的日志文件為處理對象，提出一種基于 Hadoop的海量日志文件處理模型。根據日志文件信息冗余、格式不統一的特點，該模型在設計時首先對格式進行解析處理，提取其中有價值的信息并將其鍵值化。再遵循MapReduce編程框架，分兩階段設計任務匯總模塊和對結果的求平均排序模塊，目的是能根據日志提供的信息統計出網站的并發(fā)量及平均響應時間，以此探索網站并發(fā)量高的時候響應時間的變化情況，分析網站性能的優(yōu)