(1)Hadoop 2.x基本配置及运行MapReduce案例在本地模式下

(1)Hadoop 2.x基本配置及运行MapReduce案例在本地模式下

（1）下载hadoop安装包    解压

tar -zxf hadoop-2.5.0-cdh5.3.6.tar.gz -C /opt/modules

（3）根据官方文档步骤进行配置

下

（4）修改 etc/hadoop/hadoop-env.sh

配置 export JAVA_HOME=${JAVA_HOME}

注：这里前提是已经配置了JAVA_HOME 可以在命令行用echo ${JAVA_HOME}   查看是否已经配置

配置：export HADOOP_PREFIX=/opt/modules/hadoop-2.5.0-cdh5.3.6

注：这是hadoop的安装目录 也就是（2）步的解压目录  HADOOP_PREFIX选项可以不配置

（5）可以启动集群了

hadoop集群有三种模式：

1）独立模式（本地模式） standalone

2)伪分布模式 pseudodistributed

3)完全分布模式 fulldistributed

独立模式：MapReduce程序运行在本地  启动JVM

例子：

hadoop-mapreduce-examples-2.5.2.jar这个jar包中有很多官方写的案例程序 可以用来熟悉MapReduce的使用

a.进入解压目录cd   /opt/modules/hadoop-2.5.0-cdh5.3.6

b.执行 mkdir input 创建input文件夹

c.执行 cp etc/hadoop/*.xml input 把 etc/hadoop/ 下的xml文件都复制到input文件下

这个操作没有什么目的 只是为了让input文件夹下多几个内容 用来统计使用

d.执行 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar  grep input                  output 'dfs[a-z.]+'

这是MapReduce自带的程序 脚本都在bin目录下

input 是输入目录 output是输出目录  grep是执行的命令   'dfs[a-z.]+'是命令需要的参数

这个过程程序会去便利input下文件的内容然后统计dfs开头的单词

结果在output目录下  _SUCCES说明执行成功   part-r-00000是存放执行结果的地方

例子2：单词统计

创建输入目录  mkdir wcinput

进入目录局 cd wcinput

创建存放单词的文件 touch wc.input

进入文件编辑内容 vi wc.input

添加：

aaa bbb ccc ddd ddd eee sssssss

执行：

cd ../ 返回到/opt/modules/hadoop-2.5.0-cdh5.3.6

bin/hadoop/ jar share/hadoop/mapreduce/hadxxx.jar wordcount  wcinput  wcoutput

查看结果 到wcoutput 文件夹下  cd wcoutput    查看part-r-00000

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。