大数据组件-Hadoop伪分布式部署

大数据组件-Hadoop伪分布式部署

创建需要的文件夹

进入安装包文件夹mkdir /opt/jdkmkdir /opt/hadoop

安装jdk

解压缩jdk安装包tar -zxvf jdk-8u144-linux-x64.tar.gz移动文件夹jdk1.8.0_144到/opt/java下面，并改名为jdk1.8mv jdk1.8.0_144/ /opt/jdk/jdk1.8配置jdk的环境变量vim /etc/profile在末尾空白行添加如下信息#Java Configexport JAVA_HOME=/opt/jdk/jdk1.8export JRE_HOME=/opt/jdk/jdk1.8export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/libexport PATH=.:${JAVA_HOME}/bin:$PATH修改环境变量后都要刷新文件才能生效source /etc/profile测试是否配置成功java -version

配置环境变量

#Java profileexport JAVA_HOME=/opt/jdk/jdk1.8export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib# Hadoop profileexport HADOOP_HOME=/opt/hadoop/hadoop2.7# PATH profileexport PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

Hadoop2.7.3伪分布式配置

解压文件,并移动解压后的文件重名/opt/hadoop/hadoop2.7

cd /opt/hadoop/hadoop2.7/etc/hadoop/

vim ​​hadoop-env.sh​​：

export JAVA_HOME=/opt/jdk/jdk1.8

vim core-site.xml：

hadoop.tmp.dir file:/opt/hadoop/hadoop2.7/tmp Abase for other temporary directories. fs.defaultFS hdfs://master:9000 io.file.buffer.size 131072

vim hdfs-site.xml：

dfs.replication 3 dfs.namenode.name.dir file:/opt/hadoop/hadoop2.7/tmp/dfs/name dfs.datanode.data.dir file:/opt/hadoop/hadoop2.7/tmp/dfs/data dfs.namenode.secondary. master:50090

cd /opt/hadoop/hadoop2.7/./bin/hdfs namenode -format

成功的话，会看到 “**successfully formatted” 和 “Exitting with status 0**” 的提示，若为 “**Exitting with status 1**” 则是出错。

启动hdfs/opt/hadoop/hadoop2.7/sbin/start-dfs.sh查看启动情况

vim mapred-site.xml：

mapreduce.framework.name yarn mapreduce.jobhistory.address master:10020 mapredue.jobhistory.webapp.address master:19888

vim yarn-site.xml：

yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address master:8032 yarn.resourcemanager.scheduler.address master:8030 yarn.resourcemanager.resource-tracker.address master:8031 yarn.resourcemanager.admin.address master:8033 yarn.resourcemanager.webapp.address master:8088

启动hdfs/opt/hadoop/hadoop2.7/sbin/start-dfs.sh启动yarn/opt/hadoop/hadoop2.7/sbin/start-yarn.sh

查看启动情况

Hadoop安全模式

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。