1、腾讯云搭建Hadoop3集群

1、腾讯云搭建Hadoop3集群

1主机名和IP配置

1.1主机名

1.首先使用root用户名和root密码分别登录三台服务器2.分别在三台虚拟机上执行命令:hostnamectl set-hostname node1hostnamectl set-hostname node2hostnamectl set-hostname node33.分别在三台服务器上执行logout

1.2 IP设置

systemctl restart network

2配置免密登录

2.1 生成公钥和私钥

2.2 配置hosts文件

hosts文件中配置三台机器ip和主机名的映射关系,其他两台机器按照相同的方式操作：vi /etc/hosts特别注意的是如果在云服务器中配置，本节点的IP地址一定要配置内网地址

2.3 拷贝公钥文件

2.4验证免密登录配置

3安装Hadoop

3.1创建hadoop用户组和hadoop用户

3.2Hadoop用户进行免密登录

*su - hadoopsource.bash_profilessh-keygen -t rsacd ~chmod -R 755 .ssh/chmod 644 chmod 600 id_rsachmod 600 id_rsa.pub将node1的hadoop用户公钥拷贝到node2,node3上将node2的hadoop用户公钥拷贝到node1,node3上将node3的hadoop用户公钥拷贝到node1,node2上ssh-copy-id -i 主机名验证免密登录配置：ssh 主机名，确保每台每台服务器的hadoop用户都可以免密登录其他的服务器。添加本地认证公钥到认证文件中，对每台服务器进行如下操作：cat id_rsa.pub >> authorized_keys**

3.3配置Hadoop

（1）创建hadoop安装目录: mkdir -p /opt/bigdata（2）解压hadoop-3.1.2.tar.gz tar -xzvf hadoop-3.1.2.tar.gz -C /opt/bigdata/（3）配置Hadoop环境变量vi .bash_profile配置详细信息：

JAVA_HOME=/usr/java/jdk1.8.0_211-amd64 HADOOP_HOME=/opt/bigdata/hadoop-3.1.2 PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export JAVA_HOME export HADOOP_HOME export PATH

fs.defaultFS hdfs://node1:9000 io.file.buffer.size 131072 hadoop.tmp.dir /opt/bigdata/hadoop-3.1.2/tmpdata

（7）配置hdfs-site.xmlvi hdfs-site.xml

dfs.namenode.name.dir /opt/bigdata/hadoop-3.1.2/hadoop/hdfs/name/ dfs.blocksize 268435456 dfs.namenode.handler.count 100 dfs.datanode.data.dir /opt/bigdata/hadoop-3.1.2/hadoop/hdfs/data/ dfs.replication 3

（8）配置mapred-site.xml配置/opt/bigdata/hadoop-3.1.2/etc/hadoop/目录下的mapred-site.xmlvi mapred-site.xml

mapreduce.framework.name yarn yarn.app.mapreduce.am.env HADOOP_MAPRED_HOME=${HADOOP_HOME} mapreduce.map.env HADOOP_MAPRED_HOME=${HADOOP_HOME} mapreduce.reduce.env HADOOP_MAPRED_HOME=${HADOOP_HOME} mapreduce.application.classpath $HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*, $HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*

（9）配置yarn-site.xml配置/opt/bigdata/hadoop-3.1.2/etc/hadoop/目录下的yarn-site.xmlvi yarn-site.xml

yarn.resourcemanager.hostname node1 yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.address node1:18040 yarn.resourcemanager.scheduler.address node1:18030 yarn.resourcemanager.resource-tracker.address node1:18025 yarn.resourcemanager.admin.address node1:18141 yarn.resourcemanager.webapp.address node1:18088

3.3.1使集群所有机器环境变量生效

在node2，node3的root用户家目录下使环境变量生效node2节点如下操作:cd ~source .bash_profilehadoop versionnode3节点同样操作

3.3.2修改hadoop用户hadoop安装目录的权限

3.4格式化hadoop

3.5启动集群

3.6运行mapreduce程序

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。