Hadoop 伪分布式集群安装

网友投稿 251 2022-11-20

Hadoop 伪分布式集群安装

一、安装前准备工作

1、关闭 Selinux 、防火墙

[root@test127 ~]# setenforce 0 [root@test127 ~]# sed -i 's/enforcing/disabled/' /etc/selinux/config [root@test127 ~]# systemctl stop firewalld && systemctl disable firewalld

2、配置 Hosts 文件

[root@test127 ~]# echo "test127 10.6.2.127 " >> /etc/hosts [root@test127 ~]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 test127 10.6.2.127

3、配置时间同步

[root@test127 ~]# yum -y install ntp [root@test127 ~]# \cp -f /usr/share/zoneinfo/Asia/Shanghai /etc/localtime [root@test127 ~]# ntpdate ntp.aliyun.com [root@test127 ~]# systemctl start ntpdate && systemctl enable ntpdate

二、安装 JDK 相关

1、安装 JDK 包 [root@test127 ~]# tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/local/ [root@test127 ~]# cd /usr/local/jdk1.8.0_131/bin [root@test127 ~]# ./java -version ava version "1.8.0_131" Java(TM) SE Runtime Environment (build 1.8.0_131-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode) 2、配置 JAVA 环境变量 [root@test127 ~]# cp /etc/profile /etc/profile.bak [root@test127 ~]# vim /etc/profile # 文本末尾追加下面两行 export JAVA_HOME=/usr/local/jdk1.8.0_131 export PATH=.:$PATH:$JAVA_HOME/bin [root@test127 ~]# source /etc/profile [root@test127 ~]# java -version java version "1.8.0_131" Java(TM) SE Runtime Environment (build 1.8.0_131-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

三、配置 SSH 免密登录

[root@test127 ~]# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa [root@test127 ~]# ssh-copy-id 10.6.2.127 [root@test127 ~]# ssh 10.6.2.127 # 此操作必须执行 [root@test127 ~]# exit

四、 Hadoop 安装

1、安装

[root@test127 ~]# tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local [root@test127 ~]# cd /usr/local [root@test127 local]# mv hadoop-2.7.6 hadoop

2、修改相关配置文件

1、备份下要修改的配置文件 [root@test127 ~]# cd /usr/local/hadoop/etc/hadoop [root@test127 hadoop]# cp hadoop-env.sh hadoop-env.sh.bak [root@test127 hadoop]# cp yarn-env.sh yarn-env.sh.bak [root@test127 hadoop]# cp core-site.xml core-site.xml.bak [root@test127 hadoop]# cp hdfs-site.xml hdfs-site.xml.bak [root@test127 hadoop]# cp yarn-site.xml yarn-site.xml.bak [root@test127 hadoop]# cp mapred-site.xml.template mapred-site.xml 2、更改配置文件 [root@test127 hadoop]# vim hadoop-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_131 # 修改对应的行 [root@test127 hadoop]# vim yarn-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_131 # 增加这一行到最先出现 export 所在行的下面 [root@test127 hadoop]# vim core-site.xml fs.defaultFS hdfs://test127:9000 hadoop.tmp.dir /data/hadoop/tmpdata [root@test127 hadoop]# vim hdfs-site.xml dfs.replication 1 dfs.namenode.name.dir /data/hadoop/data/namenode dfs.datanode.data.dir /data/hadoop/data/datanode [root@test127 hadoop]# vim yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname test127 [root@test127 hadoop]# vim mapred-site.xml mapreduce.framework.name yarn [root@test127 hadoop]# vim slaves test127

3、创建相关目录

[root@test127 ~]# mkdir -pv /data/hadoop/{tmpdata,data} [root@test127 ~]# mkdir -pv /data/hadoop/data/{namenode,datanode}

4、配置环境变量

[root@test127 ~]# cp /etc/profile /etc/profile.bak [root@test127 ~]# vim /etc/profile # 文本末尾追加下面两行 export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin [root@test127 ~]# source /etc/profile

五、格式化并启动集群

1、格式化、启动集群

[root@test127 ~]# hadoop namenode -format [root@test127 ~]# start-all.sh # 也可以使用 start-dfs.sh 、start-yarn.sh 两个命令分别启动 HDFS 、YARN 两个集群

2、验证启动情况

[root@test127 ~]# jps 15264 Jps 14726 SecondaryNameNode 14567 DataNode 14987 NodeManager 14445 NameNode 14877 ResourceManager [root@test127 ~]# netstat -lntp | grep 50070 tcp 0 0 0.0.0.0:50070 0.0.0.0:* LISTEN 14445/java [root@test127 ~]# netstat -lntp | grep 8088 tcp6 0 0 10.6.2.127:8088 :::* LISTEN 14877/java [root@test127 ~]# netstat -lntp | grep 50090 tcp 0 0 0.0.0.0:50090 0.0.0.0:* LISTEN 14726/java

六、浏览器访问测试

1、访问地址

2、集群截图

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:轻薄本的最佳伴侣-创基Type-C分线器
下一篇:PS/2接口协议的的嵌入式软件编程及应用分析
相关文章

 发表评论

暂时没有评论,来抢沙发吧~