大数据组件-Hive部署基于derby作为元数据存储

大数据组件-Hive部署基于derby作为元数据存储

????????‍????博主介绍：大家好，我是芝士味的椒盐，一名在校大学生，热爱分享知识，很高兴在这里认识大家???? ????擅长领域：Java、大数据、运维、电子 ????????如果本文章各位小伙伴们有帮助的话，????关注+????????点赞+????评论+????收藏，相应的有空了我也会回访，互助！！！ ????另本人水平有限，旨在创作简单易懂的文章，在文章描述时如有错，恳请各位大佬指正，在此感谢！！！

文章目录

​​hive安装​​​​hive启动并测试​​

搭建hive的环境需要hadoop的dfs和yarn可以正常运行的情况下。准备好​​apache-hive-1.2.1-bin.tar.gz​​​和​​mysql-libs.zip​​两个包

hive安装

解压​​apache-hive-1.2.1-bin.tar.gz​​ 到/usr/local/src下，并且将其重命名为hive​​tar -zxvf apache-hive-1.2.1-bin.tar.gz mv apache-hive-1.2.1-bin hive ​​复制/hive/conf下的hive-env.sh.template模板并重命名为hive-env.sh​​cp hive-env.sh.template hive-env.sh ​​在重命名的hive-env.sh里配置参数​​export HADOOP_HOME=/usr/local/src/hadoop export HIVE_HOME=/usr/local/src/hive/conf ​​修改/usr/local/src/hive/bin下的hive脚本​​# add Spark assembly jar to the classpath if [[ -n "$SPARK_HOME" ]] then #如果装有spark需要指定Spark目录下的jars目录下的所有的jar包 sparkAssemblyPath=`ls ${SPARK_HOME}/jars/*.jar` CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}" fi ​​​​提示ls: 无法访问/home/software/spark-2.0.1-bin-hadoop2.7/lib/spark-assembly-*.jar: 没有那个文件或目录...​​

否则启动hive将报如下错误

启动hadoop的hdfs和yarn​​start-dfs.sh start-yarn.sh ​​在hdfs上创建tmp和/user/hive/warehouse两个目录，修改为同组可读​​#创建文件夹 hadoop fs -mkdir /tmp hadoop fs -mkdir /user/hive/warehouse #赋予文件夹权限 hadoop fs -chmod g+w /tmp hadoop fs -chmod g+w /user/hive/warehouse ​​将hive下的​​jline-2.12.jar​​ 复制替换hadoop中的​​jline-2.12.jar​​​​cp /usr/local/src/hive/lib/jline-2.12.jar /usr/local/src/hadoop/share/hadoop/yarn/lib/ rm jline-2.12.jar -rf ​​​​Exception in thread "main" java.lang.IncompatibleClassChangeError: Found class jline.Termina​​

否则启动hive会报如下错误

hive启动并测试

启动hive并测试查询​​#在配了环境变量bin的情况下才能使用 hive ​​

查看数据库​​hive> show databases; ​​选择默认数据库​​hive> use default; ​​显示默认数据库中的表​​hive> show tables; ​​

TIPS:hive在hdfs中的结构

数据库：在hdfs中表现为${hive.metastore.warehouse.dir}目录下一个文件夹表：在hdfs中表现所属db目录下一个文件夹，文件夹中存放该表中的具体数据如果使用Metastore自带的derby数据库，在已经有一个对话的时候再打开一个对话将报错​​Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate​​

原因：推荐MySQL存储Metastore元数据，替换默认的Derby数据库

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。