【Hbase】搭建Hbase的本地模式、伪分布模式、全分布模式和HA模式

网友投稿 303 2022-11-16

【Hbase】搭建Hbase的本地模式、伪分布模式、全分布模式和HA模式

搭建Hbase的本地模式、伪分布模式、全分布模式和HA

​​0 共同操作​​​​1 搭建Hbase的本地模式​​

​​1.1 搭建步骤​​​​1.2 搭建实操​​

​​1.2.1 共同操作步骤​​​​1.2.2 本地模式操作步骤​​

​​2 搭建Hbase的伪分布模式​​​​3 搭建Hbase的全分布模式​​

​​3.1 同步时间、启动Hadoop​​​​3.2 配置环境变量​​​​3.3 配置hbase-env.sh文件​​​​3.4 配置hbase-site.xml文件​​​​3.5 配置regionservers文件​​

​​4 搭建Hbase的HA模式​​

作者:Be_melting

0 共同操作

(1)解压:​​tar -zxvf hbase-1.3.1-bin.tar.gz -C ~/training/​​ (2)设置环境变量

vi ~/.bash_profileHBASE_HOME=/root/training/hbase-1.3.1export HBASE_HOMEPATH=$HBASE_HOME/bin:$PATHexport

生效环境变量 :​​source ~/.bash_profile​​

(3)核心配置文件 ​​conf/hbase-site.xml​​

1 搭建Hbase的本地模式

1.1 搭建步骤

特点:不需要HDFS的支持,直接把数据存储在操作系统中

hbase-env.shexport JAVA_HOME=/root/training/jdk1.8.0_181

hbase-site.xml文中配置HBase数据存储的路径

hbase.rootdir file:///root/training/hbase-1.3.1/data

启动HBase:​​start-hbase.sh​​ 日志:starting master, logging to /root/training/hbase-1.3.1/logs/hbase-root-master-bigdata111.out

1.2 搭建实操

1.2.1 共同操作步骤

首先将安装的Hbase介质上传至Linux虚拟机上,这次使用的虚拟机为bigdata111的tools文件夹中

核实tools文件夹下是够包含上传的Hbase介质

将文件进行解压,还是把安装的文件都放置在training文件夹中(安装包是在tools文件夹),执行结果如下

解压完毕后需要配置一下系统环境变量,打开.bash_profile文件,进行环境变量的添加

确认无误后保存后退出,生效环境变量,测试是够成功配置

以上就是共同操作的过程,接下来就是本地模式需要修改的操作

1.2.2 本地模式操作步骤

需要修改配置的文件和内容如下(第一个内容在共同操作的时候已经配置完成)

先查看一下之前配置的Java环境和对应要修改的文件的位置

先修改第一个红框中的文件,打开后第27行把注释的内容取消,然后填写对应的值(就是刚刚查看到的Java的地址)

再修改第二个红框中的文件内容,这一步就是配置Hbase数据存储路径,由于是本地模式,所以必须要有一个地方放数据,且这个文件路径要提前创建好

配置完成后就可以进行启动,由于已经配置好了系统的环境变量,在任何地方都是可以执行Hbase的指令,由于是本地模式,功能是有限的,操作日志只打印出Hmaster一条记录,没有Zookeeper的内容

启动后就可以创建数据看一下

2 搭建Hbase的伪分布模式

特点:在单机上模拟一个分布式的环境;具备HBase所有的功能;多用于开发和测试(ZooKeeper、HMaster、RegionServer等节点也就都有了)

需要配置的文件如下,有些内容之前已经配置过了

先配置hbase-env.sh文件,打开文件后再128行取消注释即可(该行代码表示使用hbase自带的ZooKeeper)

修改第二个文件hbase-site.xml

配置第三个文件regionservers,添加本虚拟机的ip地址

至此需要配置的三个文件都已经配置完成了

启动一下检验看看是够正常,和之前的本地模式启动的节点有所差别,程序并没有报错,正常启动(HQuorumPeer这个就是代表ZooKeeper进程)

启动完毕后打开数据库创建个表,放数据进去看看如何

结果并不是想象的那样,直接提示报错了,报错信息是ERROR: The node /hbase is not in ZooKeeper. It should have been written by the master. Check the value configured in ‘zookeeper.znode.parent’. There could be a mismatch with the one configured in the master. 那么就需要检查一下配置文件,进行核实

结束hbase服务后,打开hbase-site.xml文件,根据网上的信息处理,添加一条信息如下

zookeeper.znode.parent /hbase

对应在文件中的内容如下

保存后退出,重新启动hbase,进入数据库创建表,这次就完美的实现了(很开心)

放置一条数据,还是和原来的一样

查看数据是否保存在了HDFS上,可以直接通过浏览器打开Web Console看一下

或者直接通过命令行的方式查看也行,就是在hbase文件夹下的data文件下的default文件夹下

稍等一会后就会把刚刚生成的文件信息全部显示出来了(这种方式最清晰的可以看到Hbase在ZooKeeper中存储的数据)

3 搭建Hbase的全分布模式

3.1 同步时间、启动Hadoop

需要3台虚拟机,启动bigdata112、bigdata113和bigdata114三台虚拟机,在xshell中设置好同步模式,然后确认一下每台虚拟机的时间是否同步(之前在搭建Hadoop的全分布模式中已经同步时间了,且主节点都是在bigdata112上)

首先在bigdata112上开启hadoop服务,安装hbase还是和之前安装hadoop一样配置完主节点的内容后,剩下两台的配置直接复制过去就行了(jps查看进程在主节点出现如下四个进程证明开启完毕)

3.2 配置环境变量

配置之前先将Hbase介质上传至bigdata112上,这个和前面介绍的一模一样(在tools文件加下面可以找到对应的文件)

接着就是执行共同操作,进行解压和环境变量的配置(其中解压安装是在bigdata112上单独进行,配置环境变量需要在三台虚拟机上面同时进行),首先来解压安装hbase

然后三台机器同时设置环境变量

使环境变量生效,并进行验证(可以发现只有在bigdata112机子上面安装成功了,接下来单独配置bigdata112就可以了)

需要配置的文件如下(对比伪分布的区别就是在冗余度,还有服务端的端口设置)

3.3 配置hbase-env.sh文件

先改第一个hbase-env.sh文件,第27行设置本地的Java路径

第128行取消ZooKeeper的注释后保存

3.4 配置hbase-site.xml文件

再修改hbase-site.xml文件,这里注意ip地址的修改(这里是bigdata112)

3.5 配置regionservers文件

第三个文件regionservers就是指定从节点地址。至此就完成了主节点的全部配置

然后把文件复制到身下两台虚拟机上,执行代码为:

​​scp -r hbase-1.3.1/ root@bigdata113:/root/training​​​​scp -r hbase-1.3.1/ root@bigdata114:/root/training​​

所有的配置工作均已经完成后,接下来就是启动Hbase服务(注意对比和伪分布模式下启动的ip地址)

通过jps查看每台虚拟机开启的进程(可以确定,全分布的模式基本上搭建完成)

打开数据库创建个表核实一下,看看 会不会有之前遇到的伪分布的那个问题(发现没有问题),至此全分布的模式就搭建完成了

然后还是通过ZooKeeper查看生成的数据文件,这时候的对应的ip地址应该最后面改为112,输出的结果如下(明显可以看出结果中有两个从节点对应的信息)

4 搭建Hbase的HA模式

超级简单,不需要单独搭建,只需要在某个从节点上,手动启动一个Master就可以,比如在bigdata113上添加一个master,然后再通过jps查看进程,出现HMaster证明创建了一个备用主节点

至此,关于搭建Hbase的本地模式、伪分布模式、全分布模式和HA模式知识点的梳理就完结了,撒花✿✿ヽ(°▽°)ノ✿

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:浅谈Ultrascale、Ultrascale+ Serdes与7 Series GTX/GTH的区别
下一篇:usb-c和type-c的区别比较
相关文章

 发表评论

暂时没有评论,来抢沙发吧~