Hadoop3集群部署

Hadoop3集群部署

环境准备：

准备3台虚拟机(CentOS 7)，一台 master，两台 slaver。master 作为NameNode、DataNode、ResourceManager、NodeManager，slave 均作为DataNode、NodeManager。

master:10.0.83.71slave1: 10.0.83.72slave2:10.0.83.73

在每台机器上执行：

关闭防火墙：

systemctl stop firewalld.service

systemctl disable firewalld.service

修改每个ip对应的主机名并修改hosts文件vi /etc/hosts10.0.83.71 node110.0.83.72 node210.0.83.73 node3

设置3台虚拟机互相免密登录

分别在71，72，73上执行：ssh-keygen -t rsa

分别在每台机器上执行copy to其他2个机器地址：ssh-copy-id 10.0.83.71ssh-copy-id 10.0.83.72ssh-copy-id 10.0.83.73

创建数据存储和其他需要的目录

mkdir -p /data/hdfs/namemkdir -p /data/hdfs/datamkdir -p /data/hdfs/tmpmkdir -p /opt/

同步时间：

yum -y install ntpsystemctl enable ntpdsystemctl start ntpdtimedatectl set-timezone Asia/Shanghaitimedatectl set-ntp yes

在master上执行：

cd /opt/wget zxvf hadoop-3.1.4.tar.gzmv hadoop-3.1.4 hadoop

scp -r hadoop root@node2:/opt/scp -r hadoop root@node3:/opt/

为hadoop组件建立单独的用户组hadoop, 创建用户hdfs, yarn, mapred

groupadd hadoopuseradd hdfs -g hadoopuseradd yarn -g hadoopuseradd mapred -g hadoop

创建相关目录

数据存放目录NameNode 数据存放目录： /data/hadoop/namenodeDataNode 数据存放目录： /data/hadoop/datanode临时数据存放目录： /data/hadoop/tmpHADOOP_MAPRED_HOME :mkdir -p /data/hadoop/namenodemkdir -p /data/hadoop/datanodemkdir -p /data/hadoop/tmp

chown -R hdfs:hadoop /opt/hadoopchown -R hdfs:hadoop /data/hadoop

新建日志目录mkdir /var/log/hadoopchown hdfs:hadoop /var/log/hadoopchmod -R 770 /var/log/hadoop

新建pid目录mkdir /var/run/hadoopchown hdfs:hadoop /var/run/hadoopchmod -R 770 /var/run/hadoop

source /etc/profile

3. 集群操作测试

3.1 启动集群

格式化namenodesu hdfs -c 'hdfs namenode -format'

2.启动namenode

su hdfs -c 'hdfs --daemon start namenode'

分别启动每个datanode结点su hdfs -c 'hdfs --daemon start datanode'

启动resourcemanagersu yarn -c 'yarn --daemon start resourcemanager'

分别启动每个nodemanager节点su yarn -c 'yarn --daemon start nodemanager'

启动historyserversu mapred -c 'mr-jobhistory-daemon.sh start historyserver'

3.2 WebUI访问

YARN UI 停止集群

1.停止namenodesu hdfs -c 'hdfs --daemon stop namenode'

停止datanode结点su hdfs -c 'hdfs --daemon stop datanode'

停止resourcemanagersu yarn -c 'yarn --daemon stop resourcemanager'

停止nodemanager节点su yarn -c 'yarn --daemon stop nodemanager'

停止historyserversu mapred -c 'mr-jobhistory-daemon.sh stop historyserver'

3.4 其他操作指令

查看hdfs目录su hdfs -c 'hdfs dfs -ls /'

新建hdfs目录su hdfs -c 'hdfs dfs -mkdir PATH'

修改文件所有者su hdfs -c 'hdfs dfs -chown OWNER:GROUP PATH'

修改文件权限su hdfs -c 'hdfs dfs -chmod 644 PATH'

webhdfs 操作curl -i "-i -X DELETE "|false>]"

curl -i -X PUT "|false>][&blocksize=][&replication=][&permission=][&buffersize=][&noredirect=]"

curl -i -X PUT "-i -X PUT "http://:/webhdfs/v1/?op=SETPERMISSION[&permission=]"

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。