CDH6.3.2 集成flink的部署配置

CDH6.3.2 集成flink的部署配置

CDH6.3.2 集成flink的部署配置

标签（空格分隔）： 大数据平台构建

一：flink的简介 二：cdh6.3.2 集成flink

一：flink的简介

Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行 在 2019 年 10 月于柏林举行的 Flink Forward 活动上，Cloudera 的工程主管 Marton Balassi 和 Field CTO Andrew Psaltis 在大会上宣布，Cloudera 承诺将通过 CSA 产品不断给 Apache Flink 社区做出贡献。 相信 Cloudera 对 Apache Flink 的集成将会为社区带来更多创新、为企业及开发者提供更便捷的操作与更友好的使用体验

二：CDH6.3.2 集成flink

介绍如何在CDH6.3中安装Flink1.9以及运行你的第一个Flink例子，以下是测试环境信息： 1.CM和CDH版本为6.3.2 2.CentOS7.5x64 3.JDK1.8.0_181 4.集群启用Kerberos 5.root用户安装 flink 的parcels 包下载地址： https://archive.cloudera.com/csa/1.0.0.0 FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel.sha FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar manifest.json

mv FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar /opt/cloudera/csd/ chown cloudera-scm:cloudera-scm -R csd/ -R cd .. mv flink /var/wwww/html/ service cloudera-scm-server restart service start

CM 增加 parcels 文件 然后从新启动CM

第一个Flink例子 1.执行Flink自带的example的wordcount例子。 hdfs dfs -put word.txt /tmp flink run -m yarn-cluster -yn 4 -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK/lib/flink/examples/streaming/WordCount.jar --input hdfs://192.168.11.160:8020/tmp/word.txt --output hdfs://192.168.11.160:8020/tmp/result4

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。