windows下搭建hadoop

windows下搭建hadoop

windows下搭建hadoop

​​下载​​​​环境变量​​​​windows 脚本替换​​​​配置​​​​windows权限​​​​启动​​​​单词统计实例​​

下载

首先去​​Apache Hadoop​​下载hadoop的安装包

选择二进制文件即可

选择国内镜像增加下载速度

下载后解压到文件夹

环境变量

设置环境变量​​HADOOP_HOME​​

然后把​​HADOOP_HOME​​​加入​​Path​​中

打开cmd，输入​​hadoop version​​验证

windows 脚本替换

到​​cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows (github.com)​​下载全部版本的脚本，并解压

需要注意的是，尽可能选择这里面有的hadoop版本。比如2.9.2版本。

将里面的文件全部拷贝到hadoop下的bin目录中，并选择替换

配置

首先在hadoop目录下创建一个临时文件夹，用于hadoop存储临时文件。

否则hadoop默认会在c盘创建临时文件夹，这时会因为权限的问题，导致无法创建，所以最好是在hadoop目录下创建临时文件夹，而且尽可能不要把hadoop放在C盘。

配置​​core-site.xml​​

fs.defaultFS hdfs://localhost:9820 hadoop.tmp.dir /E:/hadoop/hadoop-2.9.2/tmp

接着在hadoop目录下创建data文件夹，用于hadoop存储持久化数据，在data目录下创建namenode和datanode文件夹

配置​​hdfs-site.xml​​

dfs.replication 1 dfs.namenode.name.dir file:///E:/hadoop/hadoop-2.9.2/data/namenode dfs.datanode.data.dir file:///E:/hadoop/hadoop-2.9.2/data/datanode dfs.namenode.

配置​​mapred-site.xml​​

mapreduce.framework.name yarn

配置​​yarn-site.xml​​

yarn.nodemanager.aux-services mapreduce_shuffle Yarn Node Manager Aux Service

注意上述文件如果在hadoop/etc/hadoop下无法找到的，请找到相同文件名的​​.template​​​文件拷贝，并删除​​.tamplate​​后缀

windows权限

此时直接启动，会出现创建符号的异常，这是因为在window系统中，只有管理员才能创建符号链接。

此时有两种解决方式，第一种使用管理员的cmd启动​​hadoop/sbar/start-all.cmd​​；第二种是给自己登录的用户赋予创建符号链接的权限。

第一种，使用管理员的cmd

第二种，使用win+r打开运行，输入​​gpedit.msc​​，在【计算机配置】-【Windows设置】-【安全设置】-【本地策略】-【用户权限分配】-【创建符号链接】中加入自己登录的用户或用户组，然后重启系统生效。

启动

第一次启动需要初始化名字节点，初始化名字节点之前请确保​​hadoop/data/namenode​​​文件夹为空，然后在cmd(管理员)中输入​​hadoop namenode -format​​请注意空格。

这样就初始化成功了。

然后切换到hadoop所在的驱动器，并切换到hadoop目录下

接着进入sbin目录，并启动​​start-all.cmd​​

接着会启动4个cmd窗口

这样就启动成功了

接着在浏览器中访问​​fs -mkdir /input​​

接着把三个txt文件上传到hdfs中

​​hadoop fs -put yourpath\1.txt /input​​

​​hadoop fs -put yourpath\2.txt /input​​

​​hadoop fs -put yourpath\2.txt /input​​

然后查看

​​hadoop fs -ls /input​​

你也可以在浏览器中查看

接着调用单词统计的例子

执行命令​​hadoop jar yourPath\share\hadoop\mapreduce\hadoop-mapreduce-examples-2.9.2.jar wordcount /input /output​​

就会开始执行

等待一会执行完毕即可

执行的结果会保存在hdfs的​​/output​​目录下

​​hadoop fs -ls /output​​

查看结果

​​hadoop fs -cat /output/part-r-ooooo​​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。