Mac 安装 Hadoop 3.x

Mac 安装 Hadoop 3.x

1.安装java

略

2. SSH

首先在系统里打开远程登录，位置在 ​​System Preference -> Sharing​​​ 中，左边勾选 ​​Remote Login​​​，右边选择 ​​All Users​​。

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys

ssh localhost用来测试

3. 安装hadoop

brew install hadoop

4. 配置

/usr/local/Cellar/hadoop/3.1.0/libexec/etc/hadoop  主要都在这个目录下

a) hadoop-env.sh

输入以下代码看看你把 Java 装到哪里了：

/usr/libexec/java_home

你会看到类似酱紫结果：

/Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home

打开 ​​hadoop-env.sh​​​ 文件（位置 ​​etc/hadoop/​​​），找到 ​​# export JAVA_HOME=​​，改参数如下：

export JAVA_HOME={your java home directory}

把​​{your java home directory}​​​ 改成你上面查到的 Java 路径，记得去掉注释​​#​​​。比如​​export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home​​。

b) core-site.xml

打开 ​​core-site.xml​​​ 文件（位置 ​​etc/hadoop/​​），改参数如下：

fs.defaultFS hdfs://localhost:9000

c) hdfs-site.xml

打开 ​​hdfs-site.xml​​​ 文件（位置 ​​etc/hadoop/​​），改参数如下：

dfs.replication 1

d) mapred-site.xml

打开 ​​mapred-site.xml​​​ 文件（位置 ​​etc/hadoop/​​），改参数如下：

mapreduce.framework.name yarn

如果文件后缀是​​.xml.example​​​，改为​​.xml​​。

e) yarn-site.xml

打开 ​​yarn-site.xml​​​ 文件（位置 ​​etc/hadoop/​​），改参数如下：

yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.env-whitelist JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME

5.运行

格式化文件系统：

bin/hdfs namenode -format

启动 NameNode 和 DataNode：

sbin/start-dfs.sh

现在你应该可以在浏览器中打开下面的链接看到亲切的 Overview 界面了：

NameNode - ​​HDFS 可以被用来执行 MapReduce jobs：

bin/hdfs dfs -mkdir /userbin/hdfs dfs -mkdir /user/

把​​​​​ 改成你的用户名，记得去掉​​<>​​ 。

启动 ResourceManager 和 NodeManager：

sbin/start-yarn.sh

现在你应该可以在浏览器中打开下面的链接看到亲切的 All Applications 界面了：

ResourceManager - ​​http://localhost:8088​​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。