配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤

配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤

PS：全程以root的角色进行配置安装

第一部分：伪分布式配置

伪分布模式主要涉及一下配置信息： (1)修改hadoop的核心配置文件core-site.xml，主要配置hdfs的地址和端口号。 (2)修改hadoop中hdfs的配置文件hdfs-site.xml，只要配置replication(复制或备份)。 (3)修改hadoop中MapReduce的配置文件mapred-site.xml，主要配置JobTracker的地址和端口。 具体的操作步骤如下：

step_1:创建几个配置文件需要的目录，执行截图如下：

Step_2:配置core-site.xml文件

配置信息包括，hdfs默认端口号地址，临时文件存放目录信息！

Step_3：配置hdfs-site.xml文件

进入到相关目录下，打开hdfs-site.xml文件，操作截图如下：

在文件中添加配置信息，添加后的内容同如下截图所示：

设置hdfs的节点个数和信息，包括hdfs的节点路径、数据路径！

Step_4:配置mapred-site.xml文件

设置jobtracker的地址和端口号！

通过对上面三个文件的配置，最简单的伪分布式配置完成了！

第二部分：验证伪分布式开发环境是否搭建成功

通过第一部分对文件的修改，配置好了最简单的伪分布式，但不知道是否成功，第二部分，通过运行wordcount实例，用来测试是否配置成功！

Step_1:对hadoop的namenode格式化：

Step_2:启动hadoop并查询服务是否启动

Step_3:hadoop中用于监控集群的web页面：

dfs运行状态：​​http://localhost:50070/dfshealth.jsp​​

JobTracker信息界面：http:/localhost:50030/jobtracker.jsp

上述hadoop运行状态监控页面表明伪分布开发环境完全搭建成功！

第三部分：在伪分布式平台运行wordcount程序

通过第二部分，表明伪分布式开发环境搭建成，该部分通过实例，来测试伪分布式开发环境是否可以正常使用?

Step_1:在dfs中创建input目录：

Step_2:复制本地目录下的文件到dfs的input目录下：

Step_3:在伪分户式模式下运行wordcount程序

由于之前单机模式下运行过，在目录下存储output目录，在执行中需要进行删除处理，运行wordcoutn程序，操作截图如下(注意操作目录)截图如下：

Step_4:查看程序运行结果：

在web端查看，截图如下：

第四部分：关闭Hadoop服务

通过四个部分，操作演示，Hadoop伪分布式环境搭建和测试完全成功，意味伪分布式能够正常使用！

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。