hadoop基准测试总结

hadoop基准测试总结

hadoop jar /usr/hdp/2.4.0.0-169/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.7.1.2.4.0.0-169.jar        TestDFSIO   -write -nrFiles 100  -fileSize 100 100个文件，每个100M  ----- TestDFSIO ----- : write Date & time: Fri Nov 17 19:39:04 HKT 2017    Number of files: 100   文件数量 Total MBytes processed: 10000.0 总写入数据量 Throughput mb/sec: 75.77709409999545  总共需要写入的数据量/（每个map任务实际写入数据的执行时间之和（这个时间会远小于Test exec time sec））＝＝》10000/(map1写时间+map2写时间+...) Average IO rate mb/sec: 82.62942504882812 每个map需要写入的数据量/每个map任务实际写入数据的执行时间）之和/任务数＝＝》(文件大小/map1写时间＋文件大小/map2写时间+...)/1000，所以这个值跟上面一个值总是存在差异。 IO rate std deviation: 17.816849548077943 上一个值的标准差 Test exec time sec: 450.367整个job的执行时间   Yarn memory 90% Throughput mb/sec衡量每个map task的平均吞吐量， Average IO rate mb/sec 衡量每个文件的平均IO速度。       阿里云： ----- TestDFSIO ----- : write           Date & time: Mon Nov 27 15:58:26 CST 2017     Number of files: 100  Total MBytes processed: 10000.0    Throughput mb/sec: 12.550185052478598  Average IO rate mb/sec: 21.50667953491211  IO rate std deviation: 18.03019124739804  Test exec time sec: 140.708    ----- TestDFSIO ----- : read         Date & time: Mon Nov 27 16:04:11 CST 2017       Number of files: 100 Total MBytes processed: 10000.0     Throughput mb/sec: 70.17593105916532  Average IO rate mb/sec: 169.13583374023438  IO rate std deviation: 135.4413193785257     Test exec time sec: 86.042  TestDFSIO -clean 清理     读测试：  hadoop jar /usr/hdp/2.4.0.0-169/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.7.1.2.4.0.0-169.jar        TestDFSIO   -read -nrFiles 100  -fileSize 100  read  Date & time: Sat Nov 18 12:08:07 CST 2017  Number of files: 100  Total MBytes processed: 10000.0  Throughput mb/sec: 139.80734547793142  Average IO rate mb/sec: 144.37628173828125  IO rate std deviation: 23.001677374779344  Test exec time sec: 360.126     总结：可以看出一些常见标准

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。