关于数据湖的正确使用方式

关于数据湖的正确使用方式

目录

​​一，安装hdfs（主要使用hdfs，yarn，hive组件）​​​​二，使用flink连接iceberg操作HDFS​​​​三，使用Hive数据仓库连接iceberg操作HDFS​​

一，安装hdfs（主要使用hdfs，yarn，hive组件）

参考文章：Hadoop分布式存储和计算MapReduce的使用以及Hive数据仓库等内容精讲

零碎知识点

# centos修改主机名命令hostnamectl set-hostname vmone# 两台centos之间传送文件scp -r /home/data root@192.168.1.33:/home/new-data# Linux在线安装jdk，会自动装在/usr/lib/jvm下yum install -y java-1.8.0-openjdk-devel.x86_64

使用上面的博客进行安装hadoop环境，安装好之后继续

二，使用flink连接iceberg操作HDFS

配置环境

参考博客：XXXXX

下载地址：​​Index of /dist/flink/flink-1.12.7 (apache.org)​​

下载iceberg的运行时环境，也就是一个jar包

​​Central Repository: org/apache/iceberg/iceberg-flink-runtime/0.12.1​​

安装时按照官网的推荐版本安装：​​Getting Started | Apache Iceberg​​

把下载好的jar包放在flink的lib目录下 lib目录下共需要两个jar包

/export/servers/flink-1.11.4/lib

iceberg-flink-runtime-0.12.1.jar flink-shaded-hadoop-2-uber-2.8.3-7.0.jar

配置hadoop环境变量​​HADOOP_CONF_DIR​​​，Flink执行sql-client.sh会在lib中找到iceberg的jar包，iceberg会找到​​HADOOP_CONF_DIR​​环境，直接操作HDFS。

为了使环境变量不影响其他环境变量，只在当前shell中有效，写一个脚本，每次让环境变量生效时，刷新一下使其生效即可。

vim tempProfile# 添加环境变量，保存export HADOOP_CONF_DIR=/export/servers/hadoop-3.2.2/etc/hadoop# 然后刷新source tempProfile测试echo $HADOOP_CONF_DIR/export/servers/hadoop-3.2.2/etc/hadoop

启动flink的客户端之前，配置环境变量

export HADOOP_CLASSPATH=`$HADOOP_HOME/bin/hadoop classpath`./bin/start-cluster.sh --jar /export/servers/iceberg-flink-runtime-0.12.1.jar

要在flink的sql-client创建iceberg的catalog

Catalog 可以连接外部系统的元数据，然后把元数据信息提供给 Flink，这样 Flink 可以直接去访问外部系统中已经创建好的表或者 database 等等

CREATE CATALOG hadoop_catalog WITH ( 'type'='iceberg', 'catalog-type'='hadoop', 'warehouse'='hdfs://vmone:8020', 'property-version'='1');

创建数据库并使用

create database test_db;use test_db;

然后创建表

CREATE TABLE flink_table ( id BIGINT, data STRING) WITH ( 'connector'='iceberg', 'catalog-name'='hadoop_prod', 'catalog-type'='hadoop', 'warehouse'='hdfs://nn:8020/path/to/warehouse');

三，使用Hive数据仓库连接iceberg操作HDFS

Game Over

作者：樊同学

-------------------------------------------

个性签名：独学而无友，则孤陋而寡闻。做一个灵魂有趣的人！

如果觉得这篇文章对你有小小的帮助的话，记得在右下角点个“推荐”哦，博主在此感谢！

万水千山总是情，打赏一分行不行，所以如果你心情还比较高兴，也是可以扫码打赏博主，哈哈哈(っ•̀ω•́)っ✎⁾⁾！

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。