Hadoop之——配置文件的作用

Hadoop之——配置文件的作用

1.hadoop-env.sh

主要用来配置Hadoop JDK

export JAVA_HOME=/usr/local/jdk1.8.0_212

2.core-site.xml

指定namenode的位置hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它。如果hdfs-site.xml中不配置namenode和datanode的存放位置，默认就放在这个路径中。

fs.defaultFS hdfs://binghe100:9000 hadoop.tmp.dir /usr/local/hadoop-3.2.0/tmp

3.hdfs-site.xml

配置namenode和datanode存放文件的具体路径配置副本的数量，最小值为3，否则会影响到数据的可靠性

dfs.namenode.name.dir /usr/local/hadoop-3.2.0/data/name dfs.datanode.data.dir /usr/local/hadoop-3.2.0/data/data dfs.replication 3 dfs.secondary. binghe100:50090

4.yarn-site.xml

yarn.resourcemanager.hostname:资源管理器所在节点的主机名yarn.nodemanager.aux-services:一个逗号分隔的辅助服务列表，这些服务由节点管理器执行。该属性默认为空。

yarn.resourcemanager.hostname binghe100 yarn.nodemanager.aux-services mapreduce_shuffle

5.mapred-site.xml

Hadoop3.0之前，此文件本身是没有的，需要将mapred-site.xml.template重命名mapreduce.framework.name:决定mapreduce作业是提交到 YARN集群还是使用本地作业执行器本地执行。

mapreduce.framework.name yarn

至此，配置文件介绍完毕。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。