Docker部署Hadoop集群

Docker部署Hadoop集群

一、主机规划

3台主机：1个master、2个slaver/worker

ip地址使用docker默认的分配地址：

​master：​

主机名： hadoop2、ip地址： 172.17.0.2

​slaver1：​

主机名： hadoop3、ip地址： 172.17.0.3

主机名： hadoop4、ip地址： 172.17.0.4

二、软件安装

1、在docker中安装centos镜像，并启动centos容器，安装ssh。–详见”docker上安装centos镜像”一文。

2、通过ssh连接到centos容器，安装jdk1.8、hadoop3.0

可以按照传统linux安装软件的方法，通过将jdk和hadoop的tar包上传到主机进行安装。

​获取centos7镜像​

$ docker pull centos

大概是70多M，使用阿里云等Docker加速器的话很快就能下载完，之后在镜像列表中就可以看到

查看镜像列表的命令：

$ docker images

​安装SSH​

以centos7镜像为基础，构建一个带有SSH功能的centos

$ vi Dockerfile

内容：

FROM centosMAINTAINER ljh@hdd520.cnRUN yum install -y openssh-server sudoRUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_configRUN yum install -y openssh-clientsRUN echo "root:abc123" | chpasswdRUN echo "root ALL=(ALL) ALL" >> /etc/sudoersRUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_keyRUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_keyRUN mkdir /var/run/sshdEXPOSE 22CMD ["/usr/sbin/sshd", "-D"]

这段内容的大意是：以 centos 镜像为基础，安装SSH的相关包，设置了root用户的密码为 abc123，并启动SSH服务

执行构建镜像的命令，新镜像命名为 centos7-ssh

$ docker build -t="centos7-ssh" .

执行完成后，可以在镜像列表中看到

$ docker images

​构建Hadoop镜像​

上面是运行了3个centos容器，需要在每个容器中单独安装Hadoop环境，我们可以像构建SSH镜像一样，构建一个Hadoop镜像，然后运行3个Hadoop容器，这样就更简单了

$ vi Dockerfile

内容：

FROM centos7-sshADD jdk-8u151-linux-x64.tar.gz /usr/local/RUN mv /usr/local/jdk1.8.0_151 /usr/local/jdk1.8ENV JAVA_HOME /usr/local/jdk1.8ENV PATH $JAVA_HOME/bin:$PATHADD hadoop-3.1.0.tar.gz /usr/localRUN mv /usr/local/hadoop-3.1.0 /usr/local/hadoopENV HADOOP_HOME /usr/local/hadoopENV PATH $HADOOP_HOME/bin:$PATHRUN yum install -y which sudo

这里是基于 centos7-ssh 这个镜像，把 JAVA 和 Hadoop 的环境都配置好了

前提：在Dockerfile所在目录下准备好 jdk-8u101-linux-x64.tar.gz 与 hadoop-2.7.3.tar.gz

执行构建命令，新镜像命名为 hadoop

$ docker build -t="hadoop" .

在/etc/hosts文件中添加3台主机的主机名和ip地址对应信息

172.17.0.2 hadoop2172.17.0.3 hadoop3172.17.0.4 hadoop4

在docker中直接修改/etc/hosts文件，在重启容器后会被重置、覆盖。因此需要通过容器启动脚本docker run的–add-host参数将主机和ip地址的对应关系传入，容器在启动后会写入hosts文件中。如：

docker run --name hadoop2--add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 hadoop

docker exec -it hadoop2 bash

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys$ chmod 0600 ~/.ssh/authorized_keys

​hadoop部署​

1.在workers文件中定义工作节点

在hadoop根目录下的etc/hadoop目录下新建workers文件，并添加工作节点主机信息。

按照步骤一中的主机规划，工作节点主机为hadoop3和hadoop4两台主机。如：

[root@9e4ede92e7db ~]# cat /usr/local/hadoop/etc/hadoop/workershadoop3hadoop4

2、修改配置文件信息

​a、在hadoop-env.sh中，添加JAVA_HOME信息​

[root@9e4ede92e7db ~]# cat /usr/local/hadoop/etc/hadoop/hadoop-env.sh |grep JAVA_HOME# JAVA_HOME=/usr/java/testing hdfs dfs -ls# Technically, the only required environment variable is JAVA_HOME.# export JAVA_HOME=JAVA_HOME=/usr/local/jdk1.8

​b、core-site.xml​

configuration>fs.default.namehdfs://hadoop2:9000io.file.buffer.size131072hadoop.tmp.dir/home/hadoop/tmpAbase for other temporary directories.

​c、hdfs-site.xml​

dfs.namenode.secondary.通过web界面来查看HDFS状态 dfs.namenode.name.dir/home/hadoop/dfs/namedfs.datanode.data.dir/home/hadoop/dfs/datadfs.replication2# 每个Block有2个备份dfs.webhdfs.enabledtrue

​d、yarn-site.xml​

yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.aux-services.mapreduce.shuffle.classorg.apache.hadoop.mapred.ShuffleHandleryarn.resourcemanager.addresshadoop2:8032yarn.resourcemanager.scheduler.addresshadoop2:8030yarn.resourcemanager.resource-tracker.addresshadoop2:8031yarn.resourcemanager.admin.addresshadoop2:8033yarn.resourcemanager.webapp.addresshadoop2:8088yarn.nodemanager.resource.memory-mb1024yarn.nodemanager.resource.cpu-vcores1

​e、mapred-site.xml​

mapreduce.framework.nameyarnmapreduce.jobhistory.addresshadoop2:10020mapreduce.jobhistory.webapp.addresshadoop2:19888

​f、为防止进坑提前做好准备​

vi start-dfs.sh vi stop-dfs.sh

HDFS_DATANODE_USER=root#HADOOP_SECURE_DN_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_USER=rootHDFS_DATANODE_SECURE_USER=hdfs

vi start-yarn.sh vi stop-yarn.sh

YARN_RESOURCEMANAGER_USER=rootHADOOP_SECURE_DN_USER=yarnYARN_NODEMANAGER_USER=root

​注意：​

以上步骤完成以后停止当前容器，并使用docker命令保持到一个新的镜像。使用新的镜像重新启动集群，这样集群每台机器都有相同的账户、配置和软件，无需再重新配置。如：

a、停止容器

docker stop hadoop2

b、保存镜像

docker commit hadoop2 hadoop_me:v1.0

​测试​

1、端口映射

集群启动后，需要通过web界面观察集群的运行情况，因此需要将容器的端口映射到宿主主机的端口上，可以通过docker run命令的-p选项完成。比如：

将yarn任务调度端口映射到宿主主机8088端口上：

docker run -it -p 8088:8088 hadoop_me:v1.0

2、从新镜像启动3个容器

docker run --name hadoop2 --add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 -d -p 5002:22 -p 9870:9870 -p 8088:8088 -p 19888:19888 hadoop_me:v1.0docker run --name hadoop3 --add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 -d -p 5003:22 hadoop_me:v1.0 docker run --name hadoop4 --add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 -d -p 5004:22 hadoop_me:v1.0

3.格式化

进入到/usr/local/hadoop目录下

执行格式化命令

bin/hdfs namenode -format

修改hadoop2中hadoop的一个配置文件etc/hadoop/slaves

删除原来的所有内容，修改为如下

hadoop3hadoop4

在hadoop2中执行命令

scp -rq /usr/local/hadoop hadoop3:/usr/local scp -rq /usr/local/hadoop hadoop4:/usr/local

4.在master主机上执行start-all.sh脚本启动集群

5.通过web页面访问

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。