Hadoop HA 集群配置文件

Hadoop HA 集群配置文件

> 1、hadoop-env.sh配置

export JAVA_HOME=(jdk安装地址) > 2、hdfs-site.xml配置文件 <此新名称服务的逻辑名称> dfs.nameservices mycluster <名称服务中每个NameNode的唯一标识符> dfs.ha.namenodes.mycluster master，slave1 dfs.namenode.rpc-address.mycluster.master master:50070 dfs.namenode.rpc-address.mycluster.slave1 slave1:50070 <每个NameNode监听的标准HTTP地址> dfs.namenode. master:9000 dfs.namenode. slave1:9000 <配置JournalNodes 集群的URI>dfs.namenode.shared.edits.dirqjournal://master:8485;slave1:8485;slave2:8485/mycluster<配置故障转移代理类>dfs.client.failover.proxy.provider.myclusterorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key-files /root/.ssh/id_rsa dfs.ha.fencing.methods shell（/bin/true） dfs.journalnode.edits.dir /usr/local/src/hadoop/data/journalnode/jn<自动故障转移> dfs.ha.automatic-failover.enabled true > 3、core-site.xml配置文件 <指定hdfs的nameservice>fs.defaultFShdfs://mycluster<指定hadoop临时目录>hadoop.tmp.dir/opt/tmp/hadoop/haha.zookeeper.quorummaster:2181,slave1:2181,slave2:2181 > 4、mapred-site.xml配置 mapreduce.farmework.nameyarn > 5、yarn-site.xml配置 <打开高可用>yarn.resourcemanager.ha.enabledtrue<启用自动故障转移 >yarn.resourcemanager.ha.automatic-failover.enabledtrueyarn.resourcemanager.cluster-idyarn-rm-clusteryarn.resourcemanager.ha.rm-idsrm1,rm2yarn.resourcemanager.hostname.rm1masteryarn.resourcemanager.hostname.rm2server1yarn.resourcemanager.zk-addressmaster:2181,server1:2181,server2:2181<配置YARN的yarn.resourcemanager.webapp.address.rm2slave1:8088 yarn.nodemanager.aux-servicesmapreduce_shuffle > 6、slaves配置（DataNode）masterslave1slave2

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。