hadoop-3.2.1完全分布式配置 和 群起集群,50070改成了9870端口

hadoop-3.2.1完全分布式配置 和 群起集群,50070改成了9870端口

修改workers文件（相当于2.x版本的slaves文件）不能有空格和空行

以下操作均是修改配置文件，在  hadoop-3.2.1/etc/hadoop  文件夹下

首先修改workers文件！ 不然后面DataNode结点不能全部启动

vim workers

写入：workers记录的是datanode地址

hadoop112hadoop113hadoop114

1）核心配置文件配置core-site.xml        注意路径问题！sudo vim core-site.xml在该文件中编写如下配置

fs.defaultFS hdfs://hadoop112:9000 hadoop.tmp.dir /opt/module/hadoop-3.2.1/data/tmp io.file.buffer.size 131072

（2）HDFS配置文件2.1、配置hadoop-env.sh      sudo vim hadoop-env.sh添加java环境变量的值,可以通过echo $JAVA_HOME得到java的家目录（前提是安装配置好了java）在文件开头添加即可      export JAVA_HOME=/opt/module/jdk1.8.0_211/2.2、配置hdfs-site.xml      sudo vim hdfs-site.xml写入文件 注意复制到标签内

dfs.replication 3 dfs.namenode.secondary. hadoop114:50090 dfs.namenode.name.dir /opt/module/hadoop-3.2.1/data/tmp dfs.datanode.data.dir /opt/module/hadoop-3.2.1/data/data

（3）YARN配置文件3.1、配置yarn-env.sh     sudo vim yarn-env.sh 写入     export JAVA_HOME=/opt/module/jdk1.8.0_211/3.2、配置yarn-site.xml       sudo vim yarn-site.xml注意复制到标签内

yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname hadoop113

（4）MapReduce配置文件4.1、配置mapred-env.sh           sudo vim mapred-env.sh 写入    export JAVA_HOME=/opt/module/jdk1.8.0_211/4.2、配置mapred-site.xml      sudo vim mapred-site.xml

mapreduce.framework.name yarn yarn.app.mapreduce.am.env HADOOP_MAPRED_HOME=${HADOOP_HOME} mapreduce.map.env HADOOP_MAPRED_HOME=${HADOOP_HOME} mapreduce.reduce.env HADOOP_MAPRED_HOME=${HADOOP_HOME}

分发配置文件=====xsync脚本看这篇博客通过xsync脚本分发执行下面命令，将修改后的hadoop配置文件同步到hadoop113、hadoop114服务器xsync /opt/moudel/hadoop-3.2.1

检验一下hadoop113、hadoop114服务器的配置文件有没有和hadoop112一样同步了比如查看一下core-site.xml文件cat /opt/module/hadoop-3.2.1/etc/hadoop/core-site.xml是否和hadoop112一样

群起服务器部分

最后群起集群 首先需要退出所有服务器的DataNode、NameNode、SecondaryNameNode进程关闭输入jps显示除jps的所有进程注意！！！         启动hdfs前需要格式化namenode     如果是第一次使用则需要执行

hdfs namenode -format

后面不可以使用这条命令，(注意*如果前面以及格式化了就不用再格式化了原因，见博客namenode不能一直格式化的原因) 一、启动hdfs 关闭方法输入：stop-dfs.sh启动方法

start-dfs.sh

即可这个脚本文件在hadoop根目录sbin/下 二、启动YARN 巨大的坑需要注意一下！ 必须要在hadoop113上启动，原因在于ResourceManeger在hadoop113上！ 执行

start-yarn.sh

得到启动结果，如果中途遇到输入密码，则配置一下无密登录关于无密登录参考这两篇博客：全部启动的情况如下图，

启动hdfs时会启动HDFS一行的进程

启动Yarn是会启动YARN一行的进程

最后验证一下 注意：hadoop-3.x版本的端口由50070改成了9870端口如果访问不到页面，则关闭服务器的防火墙在hadoop112上关闭，输入sudo systemctl stop firewalld.service 即可关闭防火墙，就可以访问到下面的页面永久关闭sudo systemctl disable firewalld.service浏览器输入hadoop112的ip＋9870端口访问页面表示成功！对应文件（就是前面core-site.xml配置中hadoop.tmp.dir配置对应的路径），然后重新格式化一下。

hdfs namenode -format

重新格式化后，启动hdfs

输入 start-dfs.sh

这时候你会发现那么node结点启动起来了。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。