大数据学习笔记-------------------(20_1)

大数据学习笔记-------------------(20_1)

第20章 HIVE 安装

在安装HIVE之前，需要安装JDK、Hadoop，由于在安装Spark时，已经安装过并配置过JDK，因此该章将从Hadoop的安装和配置开始。

20.1Hadoop安装

在安装Hadoop之前，先验证机器上是否已经安装Hadoop，检验是否安装过Hadoop的命令：hadoop version。如果机器已经安装，将会给出如下响应信息：

如果没有，安装步骤如下：

Step_1:下载Hadoop

下载Hadoop 2.7.3文件，通过下面的命令从Apache软件基金下载：

wgetxzf  hadoop-2.7.3.tar.gz

移动文件：mv  hadoop-2.4.1/*  hadoop/

Step_2：以伪分布方式安装Hadoop

Step_2.1:设置Hadoop环境变量

设置hadoop系统环境变量，并把变量追加在~/.bashrc文件中，

export HADOOP_HOME=/usr/local/hadoopexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

设置完毕，然后在当前系统运行命令:

source ~/.bashrc

Step_2.2:配置Hadoop

在路径"$HADOOP_HOME/etc/hadoop "路径下，查找Hadoop配置文件，执行命令:cd$HADOOP_HOME/etc/hadoop，为了能使用Java开发Hadoop程序，需要重新设置hadoop-env.sh文件中的java的环境变量，用系统本地的java来替换JAVA_HOME中的值：exportJAVA_HOME=/usr/local/jdk1.7.0_71

1)  core-site.xml

core-site.xml文件包含信息如下：hadoop实例的端口号、相关文件系统的内存、存储数据的内存限制、读/写缓存的大小。打开core-site.xml文件，在和之间添加如下属性：

2)  hdfs-site.xml

hdfs-site.xml包含的信息有：备份数据的值、命名节点的路径、本地问价系统数据节点路径。它意味着要存储Hadoop基础架构的位置。打开hdfs-site.xml文件，在和之间添加如下属性：

3)  yarn-site.xml

在hadoop中配置yarn。打开yarn-site.xml文件，在和之间添加如下属性：

4)  mapred-site.xml

该文件用来指定使用的MapReduce框架。默认情况下，hadoop包含一个yarn-site.xml模板。首先，需要把文件mapred-site.xml.template复制到mapred-site.xml文件，使用如下命令如下：cp  mapred-site.xml.template  mapred-site.xml

打开mapred-site.xml文件，在和之间添加如下属性：

Step_3:验证Hadoop安装

Step_3.1：建立命名节点

用命令"hdfs namenode -format"建立命名节点，期望的输出结：

Step_3.2:验证Hadoop dfs

用命令：start-dfs.sh启动dfs，执行该命令启动hadoop文件系统，期望输出结果如下：

Step_3.3：验证Yarn脚本

用命令:start-yarn.sh启动yarn脚本。执行该命令启动yarndaemons，期望输出结果如下：

Step_3.4:浏览器进入Hadoop

Hadoop的默认端口号是50070.使用URL：http://localhost:8088/，浏览服务：

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。