Mac下配置Hadoop环境

Mac下配置Hadoop环境

下载Hadoop（我下载的是2.8.0版本）

下载后，使用

tar -zxvf tar包名

解压tar包，解压完成后有这样一个文件出现

修改Hadoop的配置文件

需要修改的配置文件在Hadoop安装路径下的 etc/hadoop中

需要修改的文件包括

hadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml

hadoop-env.sh修改内容如下

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_79.jdk/Contents/Homeexport HADOOP_CONF_DIR=/Users/FengZhen/Desktop/Hadoop/hadoop-2.8.0/etc/hadoop

在对应的位置找到这两行配置，并修改为本机中的路径。

core-site.xml的配置修改如下

fs.defaultFShdfs://localhost:9000hadoop.tmp.dir/Users/FengZhen/Desktop/Hadoop/hadoop-2.8.0/tmp

hdfs-site.xml的配置修改如下

dfs.replication1dfs.permissionsfalse

mapred-site.xml的配置修改如下

mapreduce.framework.nameyarn

yarn-site.xml的配置修改如下

yarn.resourcemanager.hostnamelocalhostyarn.nodemanager.aux-servicesmapreduce_shuffle

配置Hadoop环境变量

在 .bash_profile 文件中配置Hadoop环境变量,使用vim打开该文件，进入编辑模式

vim ~/.bash_profile

在该文件中添加

export HADOOP_HOME=/Users/FengZhen/Desktop/Hadoop/hadoop-2.8.0 此处为Hadoop的安装路径export PATH=$PATH:$HADOOP_HOME/bin

添加完成后保存退出。

使用source命令使该文件中的修改立即生效

source ~/.bash_profile

到此所有的配置已经完成，接下来执行该命令格式化namenode

hadoop namenode -format

格式化成功之后，即可启动Hadoop，在Hadoop安装目录下有个/sbin目录，目录下有个start-all.sh,执行该文件

./start-all.sh

启动过程中会需要输入几次密码，输入即可。

启动结束后在shell输入命令  jps  可输出所有java进程及其pid

至此，Hadoop环境配置成功。

此时执行以下命令

hadoop fs -mkdir /testdata 在hdfs根目录下创建一个文件夹 testdatahadoop fs -ls /　　　　　　　　　 可查看根目录下的文件及文件夹

结束。。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。