linux cpu占用率如何看
271
2022-11-26
二、hbase--集成Phoenix实现类SQL操作hbase
二、hbase--集成Phoenix实现类SQL操作hbase
一、Phoenix概述
1、简介可以把Phoenix理解为Hbase的查询引擎，phoenix，由saleforce.com开源的一个项目，后又捐给了Apache。它相当于一个Java中间件，帮助开发者，像使用jdbc访问关系型数据库一些，访问NoSql数据库HBase。
phoenix，操作的表及数据，存储在hbase上。phoenix只是需要和Hbase进行表关联起来。然后再用工具进行一些读或写操作。
其实，可以把Phoenix只看成一种代替HBase的语法的一个工具。虽然可以用java可以用jdbc来连接phoenix，然后操作HBase，但是在生产环境中，不可以用在OLTP中。在线事务处理的环境中，需要低延迟，而Phoenix在查询HBase时，虽然做了一些优化，但延迟还是不小。所以依然是用在OLAT中，再将结果返回存储下来。
二、部署
基础环境：hadoophbasezookeeper这个基础环境就是前面hbase的部署之后的环境，请自行按照前面的进行部署，这里不重复部署下面我们通过Phoenix作为中间件，操作hbase集群数据。根据hbase的版本下载对应版本的Phoenix，这里用的是 apache-phoenix-4.14.2-HBase-1.3-bin.tar.gz。并且是部署在bigdata121这台主机上解压程序包：
tar zxf apache-phoenix-4.14.2-HBase-1.3-bin.tar.gz -C /opt/modules/ mv /opt/modules/apache-phoenix-4.14.2-HBase-1.3-bin /opt/modules/phoenix-4.14.2-HBase-1.3-bin
配置环境变量：
vim /etc/profile.d/phoenix.sh #!/bin/bash export PHOENIX_HOME=/opt/modules/phoenix-4.14.2-HBase-1.3 export PATH=$PATH:${PHOENIX_HOME}/bin source /etc/profile.d/phoenix.sh
复制hbase的 conf/hbase-site.xml 到/opt/modules/phoenix-4.14.2-HBase-1.3-bin/bin下。
cp ${HBASE_HOME}/conf/hbase-site.xml /opt/modules/phoenix-4.14.2-HBase-1.3-bin/bin
接着将Phoenix访问hbase 的一些依赖包拷贝到hbase 的lib目录下，注意：需要复制到所有hbase节点上
cd /opt/modules/phoenix-4.14.2-HBase-1.3-bin cp phoenix-4.10.0-HBase-1.2-server.jar phoenix-core-4.10.0-HBase-1.2.jar ${HBASE_HOME}/lib/ 复制到另外两台hbase节点上 scp phoenix-4.10.0-HBase-1.2-server.jar phoenix-core-4.10.0-HBase-1.2.jar bigdata122:${HBASE_HOME}/lib/ scp phoenix-4.10.0-HBase-1.2-server.jar phoenix-core-4.10.0-HBase-1.2.jar bigdata122:${HBASE_HOME}/lib/
启动Phoenix命令行，测试是否能连接hbase
sqlline.py zkserver地址 如： sqlline.py bigdata121,bigdata122,bigdata123:2181
要注意的是：Phoenix其实就是一个hbase的插件库，并不是独立的一个组件，hbase有了这个插件之后，重启hbase，然后就可使用Phoenix来连接hbase，并操作hbase了。
三、基本使用命令
展示表有哪些
!table
创建表
create table "student"( id integer not null primary key, name varchar); 表名不加引号的话，就会默认将表名全部转为大写字母，加了引号就不会。后面的命令用到表名的时候情况都类似
删除表
drop table “test”
插入数据
upsert into test values(1,'Andy'); 插入value的时候，字符串不要用双引号，只能用单引号，否则报错.记住这里是upsert，不是insert，别搞错了
查询数据
select * from "test"。用法基本和普通的sql的select一样
删除数据
delete from "test" where id=2
修改表结构
增加字段：alter table "student" add address varchar 删除字段：alter table "student" drop column address
创建映射表
hbase创建表 create 'fruit','info','accout' 插入数据 put 'fruit','1001','info:name','apple' put 'fruit','1001','info:color','red' put 'fruit','1001','info:price','10' put 'fruit','1001','account:sells','20' put 'fruit','1002','info:name','orange' put 'fruit','1002','info:color','orange' put 'fruit','1002','info:price','8' put 'fruit','1002','account:sells','100' Phoenix创建映射表,注意必须是同名 create view "fruit"( "ROW" varchar primary key, "info"."name" varchar, "info"."color" varchar, "info"."price" varchar, "account"."sells" varchar, )； 接着就可以在 Phoenix 中查看到hbase中的数据了
四、使用jdbc连接Phoenix
maven项目的pom.xml
代码：
package PhoenixTest; import org.apache.phoenix.jdbc.PhoenixDriver; import java.sql.*; public class PhoenixConnTest { public static void main(String[] args) throws ClassNotFoundException, SQLException { //加载phoenix的jdbc驱动类 Class.forName("org.apache.phoenix.jdbc.PhoenixDriver"); //构建连接字符串 String url = "jdbc:phoenix:bigdata121,bigdata122,bigdata123:2181"; //创建连接 Connection connection = DriverManager.getConnection(url); //创建会话 Statement statement = connection.createStatement(); //执行sql语句，注意，因为表名需要双引号，所以记得加上 \ 用于转义 boolean execute = statement.execute("select * from \"fruit\""); if (execute) { //获取返回的执行结果，并打印 ResultSet resultSet = statement.getResultSet(); while (resultSet.next()) { System.out.println(resultSet.getString("name")); } } statement.close(); connection.close(); } }
用jdbc连接Phoenix，出现的问题
Exception in thread "main" com.google.common.util.concurrent.ExecutionError: java.lang.NoSuchMethodError: com.lmax.disruptor.dsl.Disruptor.
首先我们看到这一行：
java.lang.NoSuchMethodError: com.lmax.disruptor.dsl.Disruptor
显示的是com.lmax.disruptor.dsl.Disruptor这个方法不存在，于是在ideal里面找了找，是有这个方法的，然后我百度了下，这个包是hbase和Phoenix依赖的一个包。既然方法是存在的，但是却显示不存在的报错，按照经验来说，很可能是这个依赖包的版本不对，导致某些方法不兼容。所以我尝试换了下比较新的disruptor这个包的版本，去maven上找了找，挑了个3.3.7的版本(默认的是3.3.0)，添加到pom.xml中
然后重新运行程序，奇迹出现了，正常运行了。那很明显是因为包的版本问题了。
五、Phoenix与hbase结合使用时的bug
首先hbase的列簇中的字段没有类型的概念，全都直接用二进制的方式存储，且hbase本身只能解析string类型的。而我们使用Phoenix来用常规sql创建表时，字段是有类型的。会出现以下情况的bug1、hbase显示乱码 这种情况是在Phoenix创建表的时候，字段有非string类型，比如int，double之类的。然后当从Phoenix使用insert之类的语句插入数据时，然后从Phoenix使用select语句查看数据，是正常的，没问题的。但是在hbase中使用scan查看表数据时，会发现，其他非string类型的字段，显示全是乱码。这种情况是正常的，因为前面说了hbase无法解析非string类型，显示出来是直接二进制的方式显示。这个bug我暂时无解。 这种情况最好的方法就是，不从hbase查询数据，而是从Phoenix查询数据。而且在这种情况下，在hbase中，连列簇，rowkey，column都是显示奇奇怪怪的字符的。完全看不懂
2、Phoenix显示不正常（不是乱码） 在hbase中实现已存在一张表（有数据），然后在Phoenix中创建一张映射表。在hbase端查看数据是正常的，但是通过Phoenix查看，发现非string类型的显示不正常，比如int，double之类的，变成一些非正常的数字。比如这样：
select * from "fruit"; +-------+---------+---------+--------------+--------+ | ROW | name | color | price | sells | +-------+---------+---------+--------------+--------+ | 1001 | apple | red | -1322241488 | null | | 1002 | orange | orange | -1204735952 | null | +-------+---------+---------+--------------+--------+
原因其实很简单，因为hbase本身的表并没有存储任何数据类型的信息，但是Phoenix却强行强行解析成其他数据类型，自然不会匹配，所以显示不正常。
price和sells明明是数字类型的，但是显示出来的东西不正常。这种情况解决方案是：在Phoenix创建映射表时，字段类型全部定义为 varchar 这种string类型的。
版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。
相关文章
发表评论
暂时没有评论，来抢沙发吧~