HDFS角色SecondaryNameNode

HDFS角色SecondaryNameNode

[root@node1 name]# pwd/var/itbaizhan/hadoop/full/dfs/name|-current | |-edits_0000000000000000001-0000000000000000008| |-edits_0000000000000000009-0000000000000000038| |-edits_0000000000000000039-0000000000000000040| |-edits_0000000000000000041-0000000000000000041| |-edits_0000000000000000042-0000000000000000043| |-edits_0000000000000000044-0000000000000000045| |-edits_0000000000000000046-0000000000000000047| |-edits_0000000000000000048-0000000000000000049| |-edits_0000000000000000050-0000000000000000051| |-edits_0000000000000000052-0000000000000000053| |-edits_0000000000000000054-0000000000000000054| |-edits_0000000000000000055-0000000000000000056| |-fsimage_0000000000000000054| |-fsimage_0000000000000000054.md5| |-fsimage_0000000000000000056| |-fsimage_0000000000000000056.md5| |-edits_inprogress_0000000000000000057| |-seen_txid #57| |-VERSION|-in_use.lock[root@node2 namesecondary]# pwd/var/itbaizhan/hadoop/full/dfs/namesecondary|-current | |-edits_0000000000000000001-0000000000000000008| |-edits_0000000000000000009-0000000000000000038| |-edits_0000000000000000039-0000000000000000040| |-edits_0000000000000000041-0000000000000000041| |-edits_0000000000000000042-0000000000000000043| |-edits_0000000000000000044-0000000000000000045| |-edits_0000000000000000046-0000000000000000047| |-edits_0000000000000000048-0000000000000000049| |-edits_0000000000000000050-0000000000000000051| |-edits_0000000000000000052-0000000000000000053| |-edits_0000000000000000055-0000000000000000056| |-fsimage_0000000000000000054| |-fsimage_0000000000000000054.md5| |-fsimage_0000000000000000056| |-fsimage_0000000000000000056.md5| |-VERSION|-in_use.lock

1、SecondaryNameNode中checkpoint目录布局（dfs.namenode.checkpoint.dir）和NameNode中的基本一样。

2、如果NameNode完全坏掉，可以快速地从SecondaryNameNode恢复。有可能丢数据

1、secondarynamenode请求namenode生成新的edits log文件(edits_inprogress_…)并向其中写日志。NameNode会在所有的存储目录中更新seen_txid文件

2、SecondaryNameNode通过HTTP GET的方式从NameNode下载fsimage和edits文件到本地。

3、SecondaryNameNode将fsimage加载到自己的内存，并根据edits log更新内存中的fsimage信息，然后将更新完毕之后的fsimage写到磁盘上。

4、SecondaryNameNode通过HTTP PUT将新的fsimage文件发送到NameNode，NameNode将该文件保存为.ckpt的临时文件备用。

5、NameNode重命名该临时文件并准备使用。此时NameNode拥有一个新的fsimage文件和一个新的很小的edits log文件（可能不是空的，因为在SecondaryNameNode合并期间可能对元数据进行了读写操作）。管理员也可以将NameNode置于safemode，通过hdfs dfsadmin -saveNamespace命令来进行edits log和fsimage的合并。

检查点创建时机:对于创建检查点（checkpoint）的过程，有三个参数进行配置：

dfs.namenode.checkpoint.period 3600s dfs.namenode.checkpoint.txns 1000000操作动作次数 dfs.namenode.checkpoint.check.period 60s 1分钟检查一次操作次数

合并条件总结：1、每小时一次，2、不足一小时，则只要edits log中记录的事务数达到了1000000，则合并。

hdfs-default.xml，如果想修改这几个参数的话，直接在hdfs-site.xml中进行配置即可。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。