CDH6.3.2 启用Kerberos 集成使用phoenix

CDH6.3.2 启用Kerberos 集成使用phoenix

CDH6.3.2 启用Kerberos 集成使用phoenix

标签（空格分隔）：大数据平台构建

一、下载并安装Phoenix parcel 二、安装CSD文件 三、在Cloudera Manager中添加Phoenix服务（前提是已经安装了HBase服务） 四、配置HBase以用于Phoenix 五、验证Phoenix安装 与冒烟测试 六、导入数据验证测试 七、关于phoinex 的schema 与 hbase 的namespace 集成

一、下载并安装Phoenix parcel

下载地址 https://archive.cloudera.com/phoenix/6.2.0/parcels/ PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel.sha https://archive.cloudera.com/phoenix/6.2.0/csd/ PHOENIX-1.0.jar

二、安装CSD文件

2.1 安装 phoenix

登录Cloudera Manager，重启Cloudera Management Service服务

需要从新启动hbase

三： 在Cloudera Manager中添加Phoenix服务

四、配置HBase以用于Phoenix

1. 添加属性 选择“Hbase”->“配置”，搜索“hbase-site.xml 的 HBase 服务高级配置代码段”，单击“以XML格式查看”，并添加以下属性： hbase.regionserver.wal.codec org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec phoenix.functions.allowUserDefinedFunctions true enable UDF functions 将hbase.regionserver.wal.codec定义写入预写日志（“wal”）编码。 设置phoenix.functions.allowUserDefinedFunctions属性启用用户自定义函数（UDF）。 重启Hbase服务

登录 phoinex 使用kerberos 的 hbase 账号登录 kadmin.local xst -kt /root/hbase.keytab -norandkey hbase/dev01.lanxintec.cn@LANXIN.COM kinit -kt hbase.keytab hbase/dev01.lanxintec.cn@LANXIN.COM klist 如果hbase的 keytab 文件过期 就 从新生成

五：冒烟测试

登录集群主机，并在命令提示符下运行以下冒烟测试： phoenix-psql /opt/cloudera/parcels/PHOENIX-5.0.0-cdh6.2.0.p0.1308267/lib/phoenix/examples/WEB_STAT.sql /opt/cloudera/parcels/PHOENIX-5.0.0-cdh6.2.0.p0.1308267/lib/phoenix/examples/WEB_STAT.csv /opt/cloudera/parcels/PHOENIX-5.0.0-cdh6.2.0.p0.1308267/lib/phoenix/examples/WEB_STAT_QUERIES.sql

六. 导入数据验证测试

导入测试用户md5电话测试 vim user_md5_phone.txt --- 1312259769,440000,13113962870,6c4c8e6d1b8a352dbed4adccdbd0916b,2d18e767f4dd0a6b965f98e66146dcf3c57a92a59ed82bee58230e2ce29fd18e,7O3dO7OGm3oz+19WWHDyij9yA== 1312259770,440000,13113960649,869f01556dac3c9c594e79f27956a279,9f51d68d8dd6121cbb993f9a630db0356b599a5cdf51c1b23897245cf6e01798,b/S8Gb/JOSaHwa/Tc+6X60bfw== 1312259771,440000,13113960246,047c7ea330311966ca5e9ea47ad39d45,c643a9299090a751a5ec7994906bc02e4514ae881e61c9432dcae1292bb83c98,1Ivlz1IZEvBypRDfzWJ4gP+7w== 1312259772,440000,13113969966,c822d280828a99b8de813501d931f2bc,c06fadd37b332224deed002cbddc76bfea336450785de8a9ca07de8b88a51dc5,ubOOQub8OOnyh+fQ528AdpOkg== 1312259773,440000,13113969454,d58f7356ae473a7c24f880e4ae080121,746ec2332c0bc48c883deebb5c84e69b3e7293148be0ae9f0d9b2d82ea00bbb0,l3L2Xl3CvL23XhBlYuA/wnsGg== --- 数据字段介绍 字段 字段解释 ID REGION_CODE 地区编码 PHONE_NUMBER 电话号码 MD5_PHONE_NUMBER 电话号码md5加密 SHA256_PHONE_NUMBER 电话号码sha256加密 AES_PHONE_NUMBER 电话号码aes加密 这边以 ID 作为hbase 的rowkey

登录hbase create 'ODS_USER.PHONE_NUMBER','INFO' list

2、在phoenix中建立相同表以实现与hbase表的映射 登录phoinex !ph create table ODS_USER.PHONE_NUMBER(ID varchar primary key, INFO.REGION_CODE varchar, INFO.PHONE_NUMBER varchar, INFO.MD5_PHONE_NUMBER varchar, INFO.SHA256_PHONE_NUMBER varchar, INFO.AES_PHONE_NUMBER varchar) column_encoded_bytes=0;

将要导入数据上传的hdfs hdfs dfs -mkdir /tmp/hbase hdfs dfs -mkdir /tmp/hfile hdfs dfs -chmod 777 /tmp/hbase hdfs dfs -chmod 777 /tmp/hfile hdfs dfs -put user_md5_phone.txt

3、生成HFILE文件 hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=HBASE_ROW_KEY,INFO:REGION_CODE,INFO:PHONE_NUMBER,INFO:MD5_PHONE_NUMBER,INFO:SHA256_PHONE_NUMBER,INFO:AES_PHONE_NUMBER -Dimporttsv.separator=, -Dimporttsv.bulk.output=/tmp/hfile/user_md5_phone ODS_USER.PHONE_NUMBER /tmp/hbase/user_md5_phone.txt

4、加载HFILE文件到HBASE hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /tmp/hfile/user_md5_phone ODS_USER.PHONE_NUMBER

查看验证： hbase shell list scan 'ODS_USER.PHONE_NUMBER'

!ph !table select * from ODS_USER.PHONE_NUMBER;

七：关于phoinex 的schema 与 hbase 的namespace 集成

选择“Hbase”->“配置”，搜索“hbase-site.xml 的 HBase 服务高级配置代码段”，单击“以XML格式查看”，并添加以下属性： 选择“Hbase”->“配置”，搜索“hbase-site.xml 的 HBase 客户端高级配置代码段”，单击“以XML格式查看”，并添加以下属性： phoenix.schema.isNamespaceMappingEnabled true Enables mapping of tables of a Phoenix schema to a non-default HBase namespace. To enable mapping of a schema to a non-default namespace, set the value of this property to true. The default setting for this property is false. phoenix.schema.mapSystemTablesToNamespace true With true setting (default): After namespace mapping is enabled with the other property, all system tables, if any, are migrated to a namespace called system.With false setting: System tables are associated with the default namespace. phoenix.index.failure.handling.rebuild true phoenix.index.failure.block.write true

从新启动 hbase

整理上传数据测试： vim ip_shanghai.txt --- 2817314940,223.255.239.246,上海,上海,联通 2817314941,223.255.239.247,上海,上海,联通 2817314942,223.255.239.248,上海,上海,联通 2817314943,223.255.239.249,上海,上海,联通 2817314944,223.255.239.250,上海,上海,联通 2817314945,223.255.239.251,上海,上海,联通 2817314946,223.255.239.252,上海,上海,联通 2817314947,223.255.239.253,上海,上海,联通 2817314948,223.255.239.254,上海,上海,联通 2817314949,223.255.239.255,上海,上海,联通 --- id 自增ID ip ipv4地址 province 省份 city 城市 operator 运营商 country 国家 这边用ip 地址 做为rowkey

登录phoenix !ph create scheam IP_LOCATION; create table IP_LOCATION.IP_ADDRESS(IP varchar primary key,INFO.ID varchar,INFO.PROVINCE varchar, INFO.CITY varchar, INFO.OPERATOR varchar, INFO.COUNTRY varchar) column_encoded_bytes=0;

登录hbase 查看 会自动生成 一个 IP_LOCATION:IP_ADDRESS 表

导入数据： hdfs dfs -put ip_shanghai.txt /tmp/hbase

加载数据生成hfile hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=INFO:ID,HBASE_ROW_KEY,INFO:PROVINCE,INFO:CITY,INFO:OPERATOR,INFO:COUNTRY -Dimporttsv.separator=, -Dimporttsv.bulk.output=/tmp/hfile/ipshanghai IP_LOCATION:IP_ADDRESS /tmp/hbase/ip_shanghai.txt

将数据导入hbase 当中： hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /tmp/hfile/ipshanghai IP_LOCATION:IP_ADDRESS

验证： !ph !table select * from IP_LOCATION.IP_ADDRESS;

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。