hadoop集群常见的报错原因

hadoop集群常见的报错原因

Hadoop集群常见报错原因 1）防火墙没关闭、或者没有启动yarn INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032 2）主机名称配置错误 3）ip地址配置错误 4）ssh没有配置好，主机之间无法无密登录，无法进行RPC通信 5）root用户和robot（个人用户）两个用户启动集群不统一，比如有时候在root用户下配置，用robot用户启动 6）配置文件修改不细心，配置文件出错。配置文件建议直接官网复制 7）未编译源码，默认hadoop官方只提供了32位的hadoop。有时候当做64位使用时，要编译使用。 Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 17/05/22 15:38:58 INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032 8）datanode不被namenode识别问题 Namenode在format初始化的时候会形成两个标识，blockPoolId和clusterId。新的datanode加入时，会获取这两个标识作为自己工作目录中的标识。 一旦namenode重新format后，namenode的身份标识已变，而datanode如果依然持有原来的id，就不会被namenode识别。 解决办法，删除datanode节点中的数据后，再次重新格式化namenode。 9）不识别主机名称 java.net.UnknownHostException: hadoop102: hadoop102   at java.net.InetAddress.getLocalHost(InetAddress.java:1475)   at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146)   at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)   at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)   at java.security.AccessController.doPrivileged(Native Method)   at javax.security.auth.Subject.doAs(Subject.java:415) 解决办法： （1）在/etc/hosts文件中添加192.168.1.102 hadoop102   （2）主机名称不要起hadoop hadoop000等特殊名称 10）执行命令 不生效，粘贴word中命令时，遇到-和长–没区分开。导致命令失效 解决办法：尽量不要粘贴word中代码。或者有时候window系统复制的文件，在unix系统使用时，以为编码不一样，也会报错。 11）jps发现进程已经没有，但是重新启动集群，提示进程已经开启。原因是在linux的根目录下/tmp目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。 12.格式化namenode问题 datanode不被namenode识别的问题 namenode在format初始化的时候会形成两个标识： blockPoolId： clusterId： 新的datanode加入时，会获取这两个标识作为自己工作目录中的标识 一旦namenode重新format后，namenode的身份标识已变，而datanode如果依然 持有原来的id，就不会被namenode识别

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。