Ubuntu中实现Hadoop集群

Ubuntu中实现Hadoop集群

文章目录

​​hadoop集群​​

​​java安装（以主节点为例）​​

​​1、上传jdk安装包，并解压​​​​2、所有节点编辑环境变量​​​​3、复制到从节点​​​​4、使各节点jdk环境变量生效​​​​5、测试​​

​​hadoop安装​​

​​1、上传hadoop安装包，并解压​​​​2、所有节点编辑hadoop环境变量​​​​3、使所有节点hadoop环境变量生效​​​​4、编辑hadoop配置文件（6个）​​​​5、复制到从节点​​​​6、修改文件属性​​

​​hadoop启动测试​​

​​1、格式化namenode​​​​2、启动hadoop​​​​3、启动jobhistoryserver​​​​4、查看各节点进程​​​​5、查看对应网址（两个）​​​​6、查找DFS报告和文件块检查​​​​Hadoop shell​​

hadoop集群

准备工作：

具体查看同专栏

初入Ubuntu常见问题以及集群前的必要配置（1）

初入Ubuntu常见问题以及集群前的必要配置（2）

1、装系统

2、配置网络

3、虚拟机改名

4、配置hostname文件

3、APT软件源配置

6、安装openssh-server

7、关闭防火墙

java安装（以主节点为例）

1、上传jdk安装包，并解压

这里我直接用rz命令上传文件，不再用winscp，若想了解请看《云计算与大数据》专栏

先下载lrzsz工具

hadoop@ddai-master:~$ sudo apt install lrzsz

下载好后直接执行 rz 命令，会跳出文件选择的窗口，直接选择需要的即可（不适合比较大的文件，传送起来会比较慢）

传送好后查看：

解压到opt/目录下

hadoop@ddai-master:~$ sudo tar xzvf /home/hadoop/jdk-8u221-linux-x64.tar.gz -C /opt/

所有节点修改文件属性

hadoop@ddai-master:~$ sudo chown -R hadoop:hadoop /opt/

2、所有节点编辑环境变量

hadoop@ddai-master:~$ vim /home/hadoop/.profile #添加export JAVA_HOME=/opt/jdk1.8.0_221export PATH=$JAVA_HOME/bin:$PATH

3、复制到从节点

hadoop@ddai-master:~$ scp -r /opt/jdk1.8.0_221/ hadoop@ddai-slave1:/opt/hadoop@ddai-master:~$ scp -r /opt/jdk1.8.0_221/ hadoop@ddai-slave2:/opt/

4、使各节点jdk环境变量生效

hadoop@ddai-master:~$ source /home/hadoop/.profile

5、测试

hadoop@ddai-master:~$ java -versionhadoop@ddai-master:~$ javac -version

hadoop安装

1、上传hadoop安装包，并解压

执行解压

hadoop@ddai-master:~$ sudo tar xzvf /home/hadoop/hadoop-2.8.5.tar.gz -C /opt/

2、所有节点编辑hadoop环境变量

hadoop@ddai-master:~$ vim /home/hadoop/.profile hadoop@ddai-slave1:~$ vim /home/hadoop/.profile hadoop@ddai-slave2:~$ vim /home/hadoop/.profile export HADOOP_HOME=/opt/hadoop-2.8.5export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinexport JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATHexport HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

3、使所有节点hadoop环境变量生效

hadoop@ddai-master:~$ source /home/hadoop/.profile hadoop@ddai-slave1:~$ source /home/hadoop/.profile hadoop@ddai-slave2:~$ source /home/hadoop/.profile

4、编辑hadoop配置文件（6个）

（1）hadoop-env.sh

hadoop@ddai-master:~$ sudo vim /opt/hadoop-2.8.5/etc/hadoop/hadoop-env.sh

（2）core-site.xml

hadoop@ddai-master:~$ sudo vim /opt/hadoop-2.8.5/etc/hadoop/core-site.xml #内容如下 fs.defaultFS hdfs://ddai-master:9000 hadoop.tmp.dir /opt/hadoop-2.8.5/tmp Abase for other temporary directories. hadoop.proxyuser.hadoop.hosts * hadoop.proxyuser.hadoop.groups *

（3）hdfs-site.xml

hadoop@ddai-master:~$ sudo vim /opt/hadoop-2.8.5/etc/hadoop/hdfs-site.xml #内容如下 dfs.namenode.secondary. ddai-master:50090 dfs.replication 3 dfs.namenode.name.dir /opt/hadoop-2.8.5/dfs/name dfs.datanode.data.dir /opt/hadoop-2.8.5/dfs/data fs.checkpoint.dir /opt/hadoop-2.8.5/dfs/namesecondary dfs.block.size 134217728 dfs.namenode.handler.count 20 dfs.permissions false

（4）mapred-site.xml

hadoop@ddai-master:~$ sudo mv /opt/hadoop-2.8.5/etc/hadoop/mapred-site.xml.template /opt/hadoop-2.8.5/etc/hadoop/mapred-site.xmlhadoop@ddai-master:~$ sudo vim /opt/hadoop-2.8.5/etc/hadoop/mapred-site.xml #先进行修改文件名，再添加内容如下 mapreduce.framework.name yarn mapreduce.jobhistory.address ddai-master:10020 mapreduce.jobhistory.webapp.address ddai-master:19888

（5）yarn-site.xml

hadoop@ddai-master:~$ sudo vim /opt/hadoop-2.8.5/etc/hadoop/yarn-site.xml#内容如下 yarn.resourcemanager.hostname ddai-master yarn.nodemanager.aux-services mapreduce_shuffle

（6）slaves

hadoop@ddai-master:~$ sudo vim /opt/hadoop-2.8.5/etc/hadoop/slaves#内容如下 ddai-slave1ddai-slave2

5、复制到从节点

hadoop@ddai-master:~$ sudo scp -r /opt/hadoop-2.8.5 hadoop@ddai-slave1:/opthadoop@ddai-master:~$ sudo scp -r /opt/hadoop-2.8.5 hadoop@ddai-slave2:/opt

6、修改文件属性

所有节点执行修改属性命令

hadoop@ddai-master:~$ sudo chown -R hadoop:hadoop /opt/*hadoop@ddai-slave1:~$ sudo chown -R hadoop:hadoop /opt/*hadoop@ddai-slave2:~$ sudo chown -R hadoop:hadoop /opt/*

hadoop启动测试

1、格式化namenode

hadoop@ddai-master:~$ hdfs namenode -format

成功后为如下显示：

2、启动hadoop

若要关闭执行命令

stop-all.sh

3、启动jobhistoryserver

若要关闭执行

mr-jobhistory-daemon.sh stop historyserver

4、查看各节点进程

5、查看对应网址（两个）

6、查找DFS报告和文件块检查

DFS报告如下

文件块检查如下

Hadoop shell

在HDFS中创建目录，并写入文件上传查看

创建写入：

上传查看文件：

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。