大数据学习笔记-------------------(20_2)

大数据学习笔记-------------------(20_2)

Step_4:HIVE安装

Step_4.1:下载Hive

通过：apache-hive-2.1.0-bin.tar.gz，然后执行:ls，查看问价是否解压成功：

Step_4.3：把文件复制到/usr/local/hive路径下

在复制文件时由于权限不够，需要超级管理员权限。然后执行复制命令，把文件复制过去：

sudo mv apache-hive-0.14.0-bin/usr/local/hive

Step_4.4：设置Hive环境变量

在~/.bashrc文件设置Hive环境变量：

export HIVE_HOME=/usr/local/hiveexport PATH=$PATH:$HIVE_HOME/binexport CLASSPATH=$CLASSPATH:/usr/local/hadoop/lib/*:.export CLASSPATH=$CLASSPATH:/usr/local/hive/lib/*:.

然后执行:source ~/.bashrc

Step_5：配置Hive

为Hadoop配置Hive，需要编辑hive-env.sh文件，替换$HIVE_HOME/conf路径。执行命令重定向到Hiveconfig文件夹，并复制模板文件：

编辑hive-env.sh文件，并在文件中追加命令：

export HADOOP_HOME=/usr/local/hadoop

Hive安装成功后，需要一个外部数据库服务来配置Metastore。外部服务选择Apache Derby。

Step_6:下载并安装Apache Derby

Step_6.1：下载Apache Derby

使用命令下载Apache Derby：

wget zxvf  db-derby-10.4.2.0-bin.tar.gz，解压文件，然后执行：ls，查看解压是否成功：

Step_6.3：把文件复制到/usr/local/derby路径下

在复制文件时由于权限不够，需要超级管理员权限。然后执行复制命令，把文件复制过去：sudo mv db-derby-10.4.2.0-bin/usr/local/derby

Step_6.4：设置Derby的环境

在~/.bashrc文件设置Derby环境变量：

export DERBY_HOME=/usr/local/derbyexport PATH=$PATH:$DERBY_HOME/binexport CLASSPATH=$CLASSPATH:$DERBY_HOME/lib/derby.jar:$DERBY_HOME/lib/derbytools.jar

然后执行:source ~/.bashrc

Step_6.5:创建存储Metastore的路径

在$DERBY_HOME路径下创建一个命名为data的文件夹来存储Metastore数据，执行命令：mkdir $DERBY_HOME/data

到现在为止，Derby的安装和系统设置完成！

Step_7:配置Hive的Metastore

配置Metastore意味着指定Hive存储数据库的位置。通过编辑$HIVE_HOME/conf中的hive-site.xml文件。首先，进入到路径下，执行：sudo cp hive-default.xml.template hive-site.xml

打开hive-site.xml文件，在与 之间添加如下属性：

javax.jdo.option.ConnectionURLjdbc:derby://localhost:1527/metastore_db;create=true JDBC connect string for a JDBC metastore

创建一个名为:jpox.properites的文件，并把以下内容添加进去：

javax.jdo.PersistenceManagerFactoryClass = org.jpox.PersistenceManagerFactoryImplorg.jpox.autoCreateSchema = falseorg.jpox.validateTables = falseorg.jpox.validateColumns = falseorg.jpox.validateConstraints = falseorg.jpox.storeManagerType = rdbmsorg.jpox.autoCreateSchema = trueorg.jpox.autoStartMechanismMode = checkedorg.jpox.transactionIsolation = read_committedjavax.jdo.option.DetachAllOnCommit = truejavax.jdo.option.NontransactionalRead = truejavax.jdo.option.ConnectionDriverName = org.apache.derby.jdbc.ClientDriverjavax.jdo.option.ConnectionURL = jdbc:derby://hadoop1:1527/metastore_db;create = truejavax.jdo.option.ConnectionUserName = APPjavax.jdo.option.ConnectionPassword = mine

Step_8:验证Hive安装

在运行Hive之前，需要创建一个/tmp文件夹，同时在HDFS中分离Hive文件。这里，使用/user/hive/warehouse文件夹。需要给新建的文件夹赋予写的权限：chmod g+w

在验证Hive之前，需要设置在HDFS中的文件。执行命令如下：

$ $HADOOP_HOME/bin/hadoop fs -mkdir /tmp$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/hive/warehouse $ $HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp $ $HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse

执行下面命令，验证Hive安装：

cd $HIVE_HOME/bin./hive

安装成功，响应显示如下：

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。