Hadoop主要配置文件的作用

Hadoop主要配置文件的作用

一、Hadoop主要配置文件的作用

ps：有兴趣可以了解一下 HDFS 的配置文件及目录结构（这也是一开始接触一个新东西的一个重要重要的环节）

1，core-site.xml （Hadoop 核心配置，例如HDFS、MapReduce和YARN常用的I/O设置等）

● 文件系统的名字，通常是NameNode的hostname与port。

主机是NameNode的主机名称或IP地址，端口是NameNode监听RPC的端口，如果没有指定，默认是8020。● 集群里面的每一台机器都需要知道NameNode的地址，DataNode会先在NameNode上注册，这样它们的数据才可以被使用。● 独立的客户端程序通过这个URI跟DataNode交互，以取得文件的块列表。

例子：hdfs://master:9000

　　 fs.defaultFS hdfs://192.168.238.100:8020 hadoop.tmp.dir /export/servers/hadoop-3.1.3/hadoopDatas/tempDatas io.file.buffer.size 4096 fs.trash.interval 10080

2，hdfs-site.xml (Hadoop守护（守护是后台的意思）进程的配置项，包括namenode、辅助namenode（即SecondNameNode）和datanode等)

✿ hadoop 守护进程一般同时运行RPC 和HTTP两个服务器，RPC服务器支持守护进程间的通信，HTTP服务器则提供与用户交互的Web页面。

需要分别为各个服务器配置网络地址和端口号。

dfs.namenode.secondary. node01:50090 dfs.namenode. node01:50070 dfs.namenode.name.dir file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2　　　　 namenode 存放name table(fsimage)本地目录 dfs.datanode.data.dir file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2 　　　　 datanode 存放文件块的本地目录 dfs.namenode.edits.dir file:///export/servers/hadoop-2.7.5/hadoopDatas/nn/edits　　　　 namenode 存放 transaction file(edits)本地目录 dfs.namenode.checkpoint.dir file:///export/servers/hadoop-2.7.5/hadoopDatas/snn/name dfs.namenode.checkpoint.edits.dir file:///export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits dfs.replication 3 dfs.permissions false dfs.blocksize 134217728

3,mapred-site.xml ( MapReduce守护进程的配置项，包括作业历史服务器 )

mapreduce.framework.name yarn mapreduce.job.ubertask.enable true mapreduce.jobhistory.address node01:10020 mapreduce.jobhistory.webapp.address node01:19888

4,yarn-site.xml ( YARN守护进程的配置项，包括资源管理器、web应用代理服务器和节点管理器 )

yarn.resourcemanager.hostname node01 yarn.nodemanager.aux-services mapreduce_shuffle yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 604800

参考文章：《Hadoop配置文件详解》​​​​

《详解Hadoop六个配置文件的作用》

《hdfs-site.xml 详解》

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。