NameNode JVM配置详解

NameNode JVM配置详解

线上NameNode JVM如下

/home/hadoop/java-current/bin/java-Dhadoop.log.dir=/mnt/dfs/5/hdfs/logs-Dhadoop.log.file=hadoop.log-Dhadoop.home.dir=/home/hadoop/hdfs-2.7.3-Dhadoop.id.str=root-Dhadoop.root.logger=INFO,console-Djava.library.path=/home/hadoop/hdfs-2.7.3/lib/native-Dhadoop.policy.file=hadoop-policy.xml-Dhadoop.log.dir=/mnt/dfs/5/hdfs/logs-Dhadoop.log.file=hadoop-root-namenode-hadoop278.lt.163.org.log-Dhadoop.root.logger=INFO,RFA-Dcom.netease.appname=NameNode-Dhadoop.security.logger=INFO,DRFAS-Dhdfs.audit.logger=INFO,RFAAUDIT-Dproc_namenode-Djava.net.preferIPv4Stack=true-verbose:gc-XX:+PrintGCDetails-XX:+PrintGCDateStamps-XX:+PrintTenuringDistribution-XX:-DisableExplicitGC-Xloggc:/home/hadoop/yarn/gclog/namenode.gc.log.2018-01-24-XX:+UseGCLogFileRotation-XX:NumberOfGCLogFiles=3-XX:GCLogFileSize=512M-server-Xmx5120m-Xmx350g-Xms350g-Xmn30g-XX:SurvivorRatio=8-Xss256k-XX:PermSize=128m-XX:MaxPermSize=128m-XX:+UseParNewGC-XX:MaxTenuringThreshold=15-XX:+UseConcMarkSweepGC-XX:+CMSParallelRemarkEnabled-XX:+UseCMSCompactAtFullCollection-XX:+CMSClassUnloadingEnabled-XX:+UseCMSInitiatingOccupancyOnly-XX:CMSInitiatingOccupancyFraction=75-XX:+UnlockDiagnosticVMOptions-XX:ParGCCardsPerStrideChunk=4096-XX:-UseBiasedLocking-XX:+PrintTenuringDistributionorg.apache.hadoop.hdfs.server.namenode.NameNode

[TODO] JVM配置详解

jstat 命令学习

jstat -class 34262Loaded Bytes Unloaded Bytes Time540 1091.7 0 0.0 0.12Loaded:加载class的数量Bytes：所占用空间大小Unloaded：未加载数量Bytes:未加载占用空间Time：时间➜ ~ jstat -compiler 34262Compiled Failed Invalid Time FailedType FailedMethod21 0 0 0.02 0 Compiled：编译数量。Failed：失败数量Invalid：不可用数量Time：时间FailedType：失败类型FailedMethod：失败的方法➜ ~ jstat -gcutil 34262 S0 S1 E O M CCS YGC YGCT FGC FGCT GCT 0.00 0.00 0.00 97.91 68.00 71.24 308653 158.470 62460 272.840 431.310S0：幸存1区当前使用比例S1：幸存2区当前使用比例E：伊甸园区使用比例O：老年代使用比例M：元数据区使用比例CCS：压缩使用比例YGC：年轻代垃圾回收次数FGC：老年代垃圾回收次数FGCT：老年代垃圾回收消耗时间➜ ~ jstat -gc 34262 S0C S1C S0U S1U EC EU OC OU MC MU CCSC CCSU YGC YGCT FGC FGCT GCT1536.0 1536.0 0.0 0.0 12800.0 11973.2 512.0 501.3 4864.0 3307.3 512.0 364.7 52750 31.692 52748 230.775 262.467S0C：第一个幸存区的大小S1C：第二个幸存区的大小S0U：第一个幸存区的使用大小S1U：第二个幸存区的使用大小EC：伊甸园区的大小EU：伊甸园区的使用大小OC：老年代大小OU：老年代使用大小MC：方法区大小MU：方法区使用大小CCSC:压缩类空间大小CCSU:压缩类空间使用大小YGC：年轻代垃圾回收次数YGCT：年轻代垃圾回收消耗时间FGC：老年代垃圾回收次数FGCT：老年代垃圾回收消耗时间GCT：垃圾回收消耗总时间➜ ~ jstat -gcnew 34262 S0C S1C S0U S1U TT MTT DSS EC EU YGC YGCT1536.0 1536.0 0.0 0.0 7 15 1536.0 12800.0 2048.0 58822 35.288S0C：第一个幸存区大小S1C：第二个幸存区的大小S0U：第一个幸存区的使用大小S1U：第二个幸存区的使用大小TT:对象在新生代存活的次数MTT:对象在新生代存活的最大次数DSS:期望的幸存区大小EC：伊甸园区的大小EU：伊甸园区的使用大小YGC：年轻代垃圾回收次数YGCT：年轻代垃圾回收消耗时间➜ ~ jstat -gcold 34262MC MU CCSC CCSU OC OU YGC FGC FGCT GCT4864.0 3307.6 512.0 364.7 512.0 501.3 217997 62460 272.840 386.883MC：方法区大小MU：方法区使用大小CCSC:压缩类空间大小CCSU:压缩类空间使用大小OC：老年代大小OU：老年代使用大小YGC：年轻代垃圾回收次数FGC：老年代垃圾回收次数FGCT：老年代垃圾回收消耗时间GCT：垃圾回收消耗总时间 ➜ ~ jstat -gccapacity 34262 NGCMN NGCMX NGC S0C S1C EC OGCMN OGCMX OGC OC MCMN MCMX MC CCSMN CCSMX CCSC YGC FGC 15872.0 15872.0 15872.0 512.0 512.0 14848.0 512.0 512.0 512.0 512.0 0.0 1056768.0 4864.0 0.0 1048576.0 512.0 146536 62460NGCMN：新生代最小容量NGCMX：新生代最大容量NGC：当前新生代容量S0C：第一个幸存区大小S1C：第二个幸存区的大小EC：伊甸园区的大小OGCMN：老年代最小容量OGCMX：老年代最大容量OGC：当前老年代大小OC:当前老年代大小MCMN:最小元数据容量MCMX：最大元数据容量MC：当前元数据空间大小CCSMN：最小压缩类空间大小CCSMX：最大压缩类空间大小CCSC：当前压缩类空间大小YGC：年轻代gc次数FGC：老年代GC次数➜ ~ jstat -gcnewcapacity 34262NGCMN NGCMX NGC S0CMX S0C S1CMX S1C ECMX EC YGC FGC15872.0 15872.0 15872.0 5120.0 512.0 5120.0 512.0 14848.0 14848.0 199312 62460NGCMN：新生代最小容量NGCMX：新生代最大容量NGC：当前新生代容量S0CMX：最大幸存1区大小S0C：当前幸存1区大小S1CMX：最大幸存2区大小S1C：当前幸存2区大小ECMX：最大伊甸园区大小EC：当前伊甸园区大小YGC：年轻代垃圾回收次数FGC：老年代回收次数 ➜ ~ jstat -gcoldcapacity 34262 OGCMN OGCMX OGC OC YGC FGC FGCT GCT 512.0 512.0 512.0 512.0 261210 62460 272.840 408.160OGCMN：老年代最小容量OGCMX：老年代最大容量OGC：当前老年代大小OC：老年代大小YGC：年轻代垃圾回收次数FGC：老年代垃圾回收次数FGCT：老年代垃圾回收消耗时间GCT：垃圾回收消耗总时间➜ ~ jstat -gcmetacapacity 34262 MCMN MCMX MC CCSMN CCSMX CCSC YGC FGC FGCT GCT 0.0 1056768.0 4864.0 0.0 1048576.0 512.0 277965 62460 272.840 416.401MCMN: 最小元数据容量MCMX：最大元数据容量MC：当前元数据空间大小CCSMN：最小压缩类空间大小CCSMX：最大压缩类空间大小CCSC：当前压缩类空间大小YGC：年轻代垃圾回收次数FGC：老年代垃圾回收次数FGCT：老年代垃圾回收消耗时间GCT：垃圾回收消耗总时间 jmap -heap 123-heap:format=b-histo

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。