HDFS Federation联邦

HDFS Federation联邦

1.HDFS架构的局限性

内存限制

由于NameNode在内存中存储所有的元数据（metadata），因此单个NameNode所能存储的对象数目受到NameNode所在JVM的heap size的限制。随着数据的飞速增长，存储的需求也随之增长。内存将成为限制系统横向扩展的瓶颈。

隔离问题

由于HDFS仅有一个NameNode，无法隔离各个程序，因此HDFS上的一个程序就很有可能影响整个HDFS上运行其它的程序

性能的瓶颈

由于是单个NameNode的HDFS架构，因此整个HDFS文件系统的吞吐量受限于单个NameNode的吞吐量。

2.HDFS Federation架构设计

3.Federation优点

通过多个namenode/namespace把元数据的存储和管理分散到多个节点中，使得namenode/namespace可以通过增加机器来进行水平扩展。能把单个namenode的负载分散到多个节点中，在HDFS数据规模较大的时候不会也降低HDFS的性能。可以通过多个namespace来隔离不同类型的应用，把不同类型应用的HDFS元数据的存储和管理分派到不同的namenode中。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。