15 DATANODE的工作机制

15 DATANODE的工作机制

问题场景：1、集群容量不够，怎么扩容？2、如果有一些datanode宕机，该怎么办？3、datanode明明已启动，但是集群中的可用datanode列表中就是没有，怎么办？ 以上这类问题的解答，有赖于对datanode工作机制的深刻理解。 Datanode工作职责：存储管理用户的文件块数据定期向namenode汇报自身所持有的block信息（通过心跳信息上报)。这点很重要，因为，当集群中发生某些block副本失效时，集群如何恢复block初始副本数量的问题。 dfs.blockreport.intervalMsec 3600000 Determines block reporting interval in milliseconds. Datanode掉线判断时限参数： datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为：timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval。 而默认的heartbeat.recheck.interval 大小为5分钟，dfs.heartbeat.interval默认为3秒。 需要注意的是hdfs-site.xml配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。 举个例子:如果heartbeat.recheck.interval设置为5000（毫秒），dfs.heartbeat.interval设置为3（秒，默认），则总的超时时间为40秒。 heartbeat.recheck.interval 2000 dfs.heartbeat.interval 1

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。