Linux中Hadoop的安装与配置

Linux中Hadoop的安装与配置

一、准备

1，配通网络 ping baidu.com

之前安装虚拟机时配过

2，关闭防火墙

systemctl stop firewalld

systemctl disable firewalld（开机自动关闭）

3，关闭 selinux

vi /etc/selinux/config

修改为selinux disabled

4，关闭 NetworkManager

systemctl stop NetworkManager

systemctl disable NetworkManager

5，修改计算机名 hadp01(根据个人喜好)

6，配置yum源

安装 yum install wget

做个备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

运行 yum makecache 生成缓存

7，备份，做个快照

二、Hadoop的安装与配置

1，下载hadoop

https://dist.apache.org/repos/dist/release/hadoop/common/

2，先创建几个目录

mkdir

/opt/install 上传

/opt/software 安装

/opt/other 其他

/opt/test 测试

a.上传 rz

解压 tar -zxvf jdk-8u181-linux-x64.tar.gz 和 tar -zxvf hadoop-2.7.7.tar.gz

jdk：

cd /opt/install #进入安装包目录

rz jdk-8u181-linux-x64.tar.gz #上传JDK

tar -zxvf jdk-8u181-linux-x64.tar.gz #解压JDK

mv jdk1.8.0_181 ../software/jdk1.8 #移动到/opt/software目录

Hadoop：

cd /opt/installed #进入/opt/installed目录

rz hadoop-2.7.7.tar.gz #上传hadoop2.7.7版本

mv hadoop-2.7.7.tar.gz ../software/hadoop-2.7.7 #移动到software目录

b.移动到安装目录中software mv jdk1.8 ../software

mv hadoop-2.7.7 ../software

c.配置环境变量

vim /etc/profile #编辑环境变量

JAVA_HOME=/opt/software/jdk1.8

HADOOP_HOME=opt/software/hadoop-2.7.7

PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin;$HADOOP_HOME/sbin

source /etc/profile #使环境变量生效

测试 是否配置成功 echo $PATH

3，伪分布式

A，修改主机名 vim /etc/hostname #编辑主机名文件

hadp01

B,修改主机映射

vim /etc/hosts #编辑主机映射文件

192.168.1.63（IP） hadp01（主机名）

C,实现ssh免密码登录

ssh-keygen #生成密钥对

ssh-copy-id hdp01 #将公钥拷贝给本机

ssh-copy-id hdp02 #将公钥拷贝给其他机

再回车一下会出来一个图形就OK了，重启

D,修改/opt/software/hadoop-2.7.7/etc/hadoop目录内的一系列文件

1.hadoop-env.sh

cd /opt/software/hadoop-2.7.7 #进入hadoop-2.7.7目录

vim etc/hadoop/hadoop-env.sh #编辑配置文件hadoop-env.sh

export JAVA_HOME=/opt/software/jdk1.8 #修改25行

export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop #修改33行

2.core-site.xml

fs.defaultFS

hdfs://主机名:9000

hadoop.tmp.dir

/opt/software/hadoop-2.7.7/tmp

3.hdfs-site.xml

dfs.replication

1

dfs.permissions

false

4.mapred-site.xml

mapreduce.framework.name

yarn

5.yarn-site.xml

yarn.resourcemanager.hostname

主机名

yarn.nodemanager.aux-services

mapreduce_shuffle

E，修改slaves文件

vim etc/hadoop/slaves

将里面的localhost删除 改为hadp01

F,格式化文件系统

hadoop namenode -format

G,启动Hadoop

start-all.sh 全部启动

stop-all.sh 全部关闭

H，测试Hadoop

http://主机IP:port/

NameNode web工程 端口号：50070

DataNode web工程 端口号：50075

SecondaryNameNode web工程 端口号：50090

ResourceManager web工程 端口号：8088

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。