linux怎么查看本机内存大小
251
2022-11-20
Hadoop 伪分布式集群安装
一、安装前准备工作
1、关闭 Selinux 、防火墙
[root@test127 ~]# setenforce 0 [root@test127 ~]# sed -i 's/enforcing/disabled/' /etc/selinux/config [root@test127 ~]# systemctl stop firewalld && systemctl disable firewalld
2、配置 Hosts 文件
[root@test127 ~]# echo "test127 10.6.2.127 " >> /etc/hosts [root@test127 ~]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 test127 10.6.2.127
3、配置时间同步
[root@test127 ~]# yum -y install ntp [root@test127 ~]# \cp -f /usr/share/zoneinfo/Asia/Shanghai /etc/localtime [root@test127 ~]# ntpdate ntp.aliyun.com [root@test127 ~]# systemctl start ntpdate && systemctl enable ntpdate
二、安装 JDK 相关
1、安装 JDK 包 [root@test127 ~]# tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/local/ [root@test127 ~]# cd /usr/local/jdk1.8.0_131/bin [root@test127 ~]# ./java -version ava version "1.8.0_131" Java(TM) SE Runtime Environment (build 1.8.0_131-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode) 2、配置 JAVA 环境变量 [root@test127 ~]# cp /etc/profile /etc/profile.bak [root@test127 ~]# vim /etc/profile # 文本末尾追加下面两行 export JAVA_HOME=/usr/local/jdk1.8.0_131 export PATH=.:$PATH:$JAVA_HOME/bin [root@test127 ~]# source /etc/profile [root@test127 ~]# java -version java version "1.8.0_131" Java(TM) SE Runtime Environment (build 1.8.0_131-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
三、配置 SSH 免密登录
[root@test127 ~]# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa [root@test127 ~]# ssh-copy-id 10.6.2.127 [root@test127 ~]# ssh 10.6.2.127 # 此操作必须执行 [root@test127 ~]# exit
四、 Hadoop 安装
1、安装
[root@test127 ~]# tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local [root@test127 ~]# cd /usr/local [root@test127 local]# mv hadoop-2.7.6 hadoop
2、修改相关配置文件
1、备份下要修改的配置文件
[root@test127 ~]# cd /usr/local/hadoop/etc/hadoop
[root@test127 hadoop]# cp hadoop-env.sh hadoop-env.sh.bak
[root@test127 hadoop]# cp yarn-env.sh yarn-env.sh.bak
[root@test127 hadoop]# cp core-site.xml core-site.xml.bak
[root@test127 hadoop]# cp hdfs-site.xml hdfs-site.xml.bak
[root@test127 hadoop]# cp yarn-site.xml yarn-site.xml.bak
[root@test127 hadoop]# cp mapred-site.xml.template mapred-site.xml
2、更改配置文件
[root@test127 hadoop]# vim hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_131 # 修改对应的行
[root@test127 hadoop]# vim yarn-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_131 # 增加这一行到最先出现 export 所在行的下面
[root@test127 hadoop]# vim core-site.xml
3、创建相关目录
[root@test127 ~]# mkdir -pv /data/hadoop/{tmpdata,data} [root@test127 ~]# mkdir -pv /data/hadoop/data/{namenode,datanode}
4、配置环境变量
[root@test127 ~]# cp /etc/profile /etc/profile.bak [root@test127 ~]# vim /etc/profile # 文本末尾追加下面两行 export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin [root@test127 ~]# source /etc/profile
五、格式化并启动集群
1、格式化、启动集群
[root@test127 ~]# hadoop namenode -format [root@test127 ~]# start-all.sh # 也可以使用 start-dfs.sh 、start-yarn.sh 两个命令分别启动 HDFS 、YARN 两个集群
2、验证启动情况
[root@test127 ~]# jps 15264 Jps 14726 SecondaryNameNode 14567 DataNode 14987 NodeManager 14445 NameNode 14877 ResourceManager [root@test127 ~]# netstat -lntp | grep 50070 tcp 0 0 0.0.0.0:50070 0.0.0.0:* LISTEN 14445/java [root@test127 ~]# netstat -lntp | grep 8088 tcp6 0 0 10.6.2.127:8088 :::* LISTEN 14877/java [root@test127 ~]# netstat -lntp | grep 50090 tcp 0 0 0.0.0.0:50090 0.0.0.0:* LISTEN 14726/java
六、浏览器访问测试
1、访问地址
2、集群截图
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。
发表评论
暂时没有评论,来抢沙发吧~