【Hadoop测试程序】编写MapReduce测试Hadoop环境

【Hadoop测试程序】编写MapReduce测试Hadoop环境

我们使用之前搭建好的Hadoop环境，可参见：

《【Hadoop环境搭建】Centos6.8搭建hadoop伪分布模式》​​​​

示例程序为《Hadoop权威指南3》中的获取最高温度的示例程序；

数据准备

输入数据为：sample.txt

将samle.txt上传至HDFS

项目结构

MaxTemperatureMapper类

MaxTemperatureReducer类

MaxTemperature类（主函数）

解释说明：

输入路径为：hdfs://localhost:9000/user/hadoop/input/sample.txt

这部分由两部分组成：

hdfs://localhost:9000/；/user/hadoop/input/sample.txt

其中hdfs://localhost:9000/由文件core-size.xml进行设置：

其中/user/hadoop/input/sample.txt就是上面准备数据时sample.txt存放的路径：

输出路径为：hdfs://localhost:9000/user/hadoop/out2

需要注意的是，在执行MapReduce时，这个输出路径一定不要存在，否则会出错。

pom.xml

程序测试

Hadoop环境准备

我们使用之前搭建好的Hadoop环境，可参见：

《【Hadoop环境搭建】Centos6.8搭建hadoop伪分布模式》​​​​

生成jar包

下面是生成jar包过程

上传服务器并运行测试

使用默认的输入输出路径：

指定输入输出路径：

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。