(2) hadoop 配置部署启动HDFS及本地模式运行MapReduce案例（使用HDFS上数据）

(2) hadoop 配置部署启动HDFS及本地模式运行MapReduce案例（使用HDFS上数据）

(1)hdfs的配置  /opt/modules/hadoop-2.5.0-cdh5.3.6/etc/hadoop/core-site.xml

添加：

fs.defaultFS hdfs://hadoop1:8020 hadoop.tmp.dir /opt/modules/hadoop-2.5.0-cdh5.3.6/data/tmp

（2）修改 hdfs-site.xml

        dfs.replication        1

（3）格式化文件系统  清空之前旧数据  如果不知道命令 可以打bin/hdfs 然后回车 就会显示所有的命令

执行：  bin/hdfs namenode -format

（4）启动 namenode  datanode   启动脚本在sbin目录下

namenode 主节点  负责管理数据

datanode  是从节点 负责存储数据

启动namenode: sbin/hadoop-daemon.sh  start namenode

启动datanode：sbin/hadoop-daemon.sh  start datanode

jps 查看一下 有2个jvm进程

日志在/opt/modules/hadoop-2.5.0-cdh5.3.6/logs 中   如果有报错 查看这里的日志文件 自行搜索

(5)提供了 web访问界面

linuxIp:50070

(6)hdfs 创建文件夹 到/opt/modules/hadoop-2.5.0-cdh5.3.6 目录下

bin/hdfs dfs -mkdir -p /user/root

然后按照（5）中的Browse the file system菜单 查看

也可以用命令：bin/hdfs dfs -ls -R  /

(7) 例子

1)执行： bin/hdfs dfs -mkdir -p /user/root/mapreduce/wordcount/input

2)把本地的已存在的一个文件(上一篇博客创建的)上传到/user/root/mapreduce/wordcount/input 下边

bin/hdfs dfs -put wcinput/wc.input  /user/root/mapreduce/wordcount/input/

bin/hdfs dfs -ls -R /

也可以读取内容

bin/hdfs dfs -cat  /user/root/mapreduce/wordcount/input/wc.input

4)在运行单词统计程序 此时的输入时从hdfs文件系统中读取的 不再是本地(上一篇博客)

bin/hadoop jar  share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /user/root/mapreduce/wordcount/input /user/root/mapreduce/wordcount/output

用程序读取一下结果中的内容：

bin/hdfs dfs -cat /user/root/mapreduce/wordcount/output/part-r-00000

注： hdfs有很多命令 可以通过 bin/hdfs 回车查看

比如这里有一个dfsadmin（很重要的一个命令 dfs管理员） 接着查看bin/hdfs dfsadmin 回车

可以看到有功能 其中 -report -safemode -refresh 等 都很常用

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。