HDFS云存儲系統(tǒng)可用性能的優(yōu)化研究.pdf

1、互聯(lián)網信息化技術的迅猛發(fā)展，直接導致了數據的急劇暴增。為解決海量數據的存儲和處理，分布式存儲系統(tǒng)應運而生并迅速成為趨勢。Hadoop是Apache研發(fā)的一個開源的分布式云計算軟件框架，能夠為當前大數據提供計算與存儲服務。HDFS是Hadoop的分布式文件系統(tǒng)，采用主從式的分布式系統(tǒng)架構，但由于它只有一個NameNode節(jié)點，會產生單點故障問題，所以它并不支持系統(tǒng)的高可用性。所以它并不支持系統(tǒng)的高可用性。隨著海量數據的急劇膨脹，HDFS本

2、身架構所存在的缺陷問題也越來越凸顯，單一NameNode架構直接嚴重影響到了系統(tǒng)的可用性，成為了整個分布式文件系統(tǒng)的性能瓶頸。
　　本文對HDFS的體系架構、元數據模型、數據組織以及數據流等進行了詳細的解析，并簡單闡述了現(xiàn)有的HDFS高可用性解決方案進行對比分析，提出了本文的高可用性方案-基于ZooKeeper的分布式NameNode節(jié)點集群。本文主要工作如下：
　　（1）概述了云存儲的相關理論知識，對HDFS分布式文件系統(tǒng)

3、的體系架構、數據組織與數據交互等進行了深入的分析。另外，詳細介紹了ZooKeeper的基礎知識。
　?。?）介紹高可用性的相關概念并分析HDFS本身架構所存在的缺陷，重點對HDFS現(xiàn)有的高可用性解決方案進行分析，并最終提出本文的高可用性方案-基于ZooKeeper的分布式NameNode節(jié)點集群，然后進行了簡單的分析對比。
　　（3）本文基于ZooKeeper的分布式NameNode節(jié)點的高可用性方案中，利用ZooKeepe