杨校老师课堂之Hadoop环境搭建(一)

杨校老师课堂之Hadoop环境搭建(一)

一、搭建Java开发环境

1. 先查看安装后的镜像中是否存在Java

[root@hadoop1 java]# java -versionopenjdk version "1.8.0_181"OpenJDK Runtime Environment (build 1.8.0_181-b13)OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)

2. 通过查看，发现原有系统默认安装了​​open Jdk​​ ，接下来我们​卸载​原有的​​Open JDK​​​，安装​​Oracle JDK​​

2.1 查看java安装软件

[root@hadoop1 java]# rpm -qa|grep javapython-javapackages-3.4.1-11.el7.noarchjava-1.8.0-openjdk-headless-1.8.0.181-7.b13.el7.x86_64tzdata-java-2018e-3.el7.noarchjava-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64javapackages-tools-3.4.1-11.el7.noarch

2.2 分别卸载​​java​​​软件，程序命令：​​rpm​​​ ；卸载参数:​​e​​​; 解除软件间的依赖:​​nodeps​​

[root@hadoop1 java]# rpm -e --nodeps java-1.8.0-openjdk[root@hadoop1 java]# rpm -e --nodeps javapackages-tools [root@hadoop1 java]# rpm -e --nodeps java-1.8.0-openjdk-headless [root@hadoop1 java]# rpm -e --nodeps tzdata-java

注意: 如果拖拽不可以完成上传功能，可能是缺少上传的插件，执行下方命令在线安装即可。

yum -y install lrzsz # 上传的插件

2.4 上传完成后，查询文件是否存在，及所在位置命令

[root@hadoop1 java]# ll总用量 141540-rw-r--r--. 1 root root 144935989 6月 15 2021 jdk-8u291-linux-x64.tar.gz[root@hadoop1 java]# pwd/usr/local/java

3. 解压jdk目录

[root@hadoop1 java]# tar -zxvf jdk-8u291-linux-x64.tar.gz # 解压后查看[root@hadoop1 java]# ll总用量 141540drwxr-xr-x. 8 10143 10143 273 4月 8 2021 jdk1.8.0_291-rw-r--r--. 1 root root 144935989 6月 15 2021 jdk-8u291-linux-x64.tar.gz

4. 配置java的环境变量

4.1 采用​​vim​​​命令编辑​​/etc/profile​​文件，在文件末尾加上环境变量参数

# Java Environement Variableexport JAVA_HOME=/usr/local/java/jdk1.8.0_291export PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

4.2 更新环境变量的配置文件​​/etc/profile​​，才可以使得上述配置生效:

[root@hadoop1 jdk1.8.0_291]# source /etc/profile

5. 检验Java是否配置成功

[root@hadoop1 jdk1.8.0_291]# java -versionjava version "1.8.0_291"Java(TM) SE Runtime Environment (build 1.8.0_291-b10)Java HotSpot(TM) 64-Bit Server VM (build 25.291-b10, mixed mode)

二、 搭建Hadoop环境

1.hadoop下载

​​点我去下载​​​，或访问:​​上传Hadoop安装包

[root@hadoop1 hadoop]# ll总用量 260440-rw-r--r--. 1 root root 266688029 3月 23 11:57 hadoop-2.7.4.tar.gz[root@hadoop1 hadoop]# pwd/usr/local/hadoop

2.2 解压Hadoop安装包

[root@hadoop1 hadoop]# tar -zxvf hadoop-2.7.4.tar.gz [root@hadoop1 hadoop]# ll总用量 260440drwxr-xr-x. 10 20415 101 160 8月 1 2017 hadoop-2.7.4-rw-r--r--. 1 root root 266688029 3月 23 11:57 hadoop-2.7.4.tar.gz

3. 配置​​hadoop​​的环境变量

3.1 采用​​vim​​​命令编辑​​/etc/profile​​文件，在文件末尾加上环境变量参数

# Hadoop Environment Variableexport HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.4export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3.2 更新环境变量的配置文件​​/etc/profile​​，才可以使得上述配置生效:

[root@hadoop1 hadoop]# source /etc/profile

4. 检验​​Hadoop​​是否配置成功

# 需要注意: version前面没有横杠哦！ “-”[root@hadoop1 hadoop]# hadoop versionHadoop 2.7.4Subversion -r cd915e1e8d9d0131462a0b7301586c175728a282Compiled by kshvachk on 2017-08-01T00:29ZCompiled with protoc 2.5.0From source with checksum 50b0468318b4ce9bd24dc467b7ce1148This command was run using /usr/local/hadoop/hadoop-2.7.4/share/hadoop/common/hadoop-common-2.7.4.jar

作者： 杨校

分享是快乐的，也见证了个人成长历程，文章大多都是工作经验总结以及平时学习积累，基于自身认知不足之处在所难免，也请大家指正，共同进步。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。