伪分布式集群模式（9）

伪分布式集群模式（9）

注意：

伪分布式模式是在JDK、Hadoop安装好的情况下搭建的

etc目录下配置：/opt/module/hadoop-2.7.2/etc/hadoop

配置HDFS

1、配置集群

1）hadoop-env.sh（25行）（修改为绝对路径）

export JAVA_HOME=/opt/module/jdk1.8.0_144

2）core-site.xml修改，插入以下内容

fs.defaultFS hdfs://hadoop101:9000 hadoop.tmp.dir /opt/module/hadoop-2.7.2/data/tmp

3）hdfs-site.xml修改，插入以下内容

dfs.replication 1

2、启动集群

1）格式化NameNode（第一次启动时格式化，以后就不要总格式化）生成一个namenode文件夹

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode -format

2）启动NameNode

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

3）启动DataNode

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

3、查看集群

[atguigu@hadoop101 hadoop-2.7.2]$ jps

27619 Jps

27258 DataNode

26959 NameNode

4、查看log日志

[atguigu@hadoop101 logs]$ ll总用量 60-rw-rw-r--. 1 atguigu atguigu 23930 8月 15 14:31 hadoop-atguigu-datanode-hadoop101.log-rw-rw-r--. 1 atguigu atguigu 719 8月 15 14:31 hadoop-atguigu-datanode-hadoop101.out-rw-rw-r--. 1 atguigu atguigu 27686 8月 15 14:31 hadoop-atguigu-namenode-hadoop101.log-rw-rw-r--. 1 atguigu atguigu 719 8月 15 14:24 hadoop-atguigu-namenode-hadoop101.out-rw-rw-r--. 1 atguigu atguigu 0 8月 15 14:24 SecurityAuth-atguigu.audit

5、web查看HDFS系统

​​logs 文件（直接删除hadoop下的data和logs文件夹）

配置YARN

1、配置集群

1）配置yarn-env.sh

配置一下JAVA_HOME

23行 export JAVA_HOME=/opt/module/jdk1.8.0_144

2）配置yarn-site.xml

yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname hadoop101 yarn.log-aggregation-enabletrueyarn.log-aggregation.retain-seconds604800

3）配置：mapred-env.sh

配置一下JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

4）配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

[atguigu@hadoop101 hadoop]$ mv mapred-site.xml.template mapred-site.xml[atguigu@hadoop101 hadoop]$ vi mapred-site.xml mapreduce.framework.name yarn mapreduce.jobhistory.address hadoop101:10020 mapreduce.jobhistory.webapp.address hadoop101:19888

2、启动集群

1）启动前必须保证namenode和datanode已经启动

2）启动resourcemanager

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager

3）启动nodemanager

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

3、集群操作

​​hadoop-2.7.2]$ ls sbin/ | grep mr

mr-jobhistory-daemon.sh

3、启动历史服务器

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

4、查看历史服务器是否启动

[atguigu@hadoop101 hadoop-2.7.2]$ jps

5、查看jobhistory

​​、resourcemanager和historymanager

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager [atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager [atguigu@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver

3、启动nodemanager 、resourcemanager和historymanager

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager [atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager [atguigu@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

4、删除hdfs上已经存在的hdfs文件

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -rm -R /user/atguigu/output

5、执行wordcount程序

[atguigu@hadoop101 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input /user/atguigu/output

6、查看日志

​​http://hadoop:19888/jobhistory​​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。