Hadoop分布式集群搭建

Hadoop分布式集群搭建

介绍

Hadoop常用发行版及选型

Apache HadoopCDH : Cloudera Distributed HadoopHDP : Hortonworks Data Platform

一般使用CDH，下载地址

将链接改为如下形式即可下载/etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop000

hostname和ip地址的设置

vi

角色分配

hadoop000 NameNode/DataNode ResourceManager/NodeManagerhadoop001 DataNode NodeManagerhadoop002 DataNode NodeManager

前置安装 SSH免密登陆，在每台机器上运行

// 生成公钥和私钥对ssh-keygen -t rsa

生成的文件在~/.ssh下 id_rsa和id_rsa.pub

执行如下命令输入密码即可（就是把hadoop000的公钥放置在hadoop000，hadoop001和hadoop002上这样就直接通过ssh登陆）

或者自己手动吧hadoop000 ~/.ssh/id_rsa.pub的内容复制到hadoop000，hadoop001和hadoop002上的~/.ssh/authorized_keys即可

ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop000ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop001ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop002

公钥访问时，需要把用户的公钥放置在~/.ssh/authorized_keys文件中，上面的命令做的就是这个功能

将hadoop的tar包解压到app目录下

tar

配置用户级别的环境变量

// 打开文件vi ~/.bash_profile//加入如下命令export HADOOP_HOME=/data/qa/app/hadoop-2.6.0-cdh5.7.0export PATH=$HADOOP_HOME/bin:$PATH// 刷新一下source

取出JAVA_HOME的路径

echo $JAVA_HOME

配置~/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop下的hadoop-env.sh 设置JAVA_HOME

export JAVA_HOME=/data/lib/jdk8

配置~/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop下的core-site.xml

fs.default.name hdfs://mad01:8020

配置~/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop下的hdfs-site.xml

dfs.namenode.name.dir /data/qa/app/tmp/dfs/name dfs.datanode.data.dir /data/qa/app/tmp/dfs/data

配置~/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop下的yarn-site.xml

yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname mad01

配置~/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop下的mapred-site.xml

cp mapred-site.xml.template mapred-site.xmlvi

mapreduce.framework.name yarn

配置~/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop下的slaves

// 将localhost改为如下hadoop000hadoop001hadoop002

分发安装包到hadoop001和hadoop002节点

scp -r ~/app hadoop@hadoop001:~/scp -r ~/app hadoop@hadoop002:~/## 分发环境变量scp ~/.bash_profile hadoop@hadoop001:~/scp ~/.bash_profile hadoop@hadoop002:~/## 生效source

启动

对HDFS NameNode做格式化：只要在hadoop000上执行即可

cd $HADOOP_HOME/bin./hdfs namenode -format

启动集群：只要在hadoop000上执行即可

cd $HADOOP_HOME/sbin./start-all.sh## 关闭集群

验证 jps

hadoop000

NameNodeSecondaryNameNodeResourceManagerDataNodeNodeManager

hadoop001，hadoop002

NodeManagerDataNode

webui​​​ start datanode 启动所有的数据节点hadoop-daemon.sh start datanode 只启动当前的数据节点

参考博客

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。