CDH6.3.2 配置Flink1.10.1 编译与CDH 集成

CDH6.3.2 配置Flink1.10.1 编译与CDH 集成

CDH6 配置Flink1.10.1 编译与CDH 集成

标签（空格分隔）： 大数据运维专栏

一： 编译环境包的准备 二： 编译生成包配置 三： 使用编译好的flink 做 CDH的parcels与csd 文件 四： CDH6.3.2 集成 flink 1.10.1

一： 编译环境包的准备

一、环境 CDH 6.3.2(Hadoop 3.0.0)、Flink 1.10.1、Centos7.7、Maven 3.6.3、Scala-2.12和JDK1.8 二、安装包 1、flink1.10.1 tar包 https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.10.1/flink-1.10.1-src.tgz flink-shaded https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-shaded-10.0/flink-shaded-10.0-src.tgz 3、maven版本 -zxvf jdk1.8.181.tar.gz mv jdk1.8.181 /usr/local/jdk tar -zxvf apache-maven-3.6.3-bin.tar.gz mv apache-maven-3.6.3 /usr/local/maven tar -zxvf scala-2.12.2.tgz mv scala-2.12.2 /usr/local/scala

vim /etc/proflie --- JAVA_HOME=/usr/local/java JRE_HOME=/usr/local/java/jre PATH=$PATH:/usr/local/java/bin CLASSPATH=.:/usr/local/java/jre/lib export PATH JAVA_HOME export MVN_HOME=/usr/local/maven export PATH=$MVN_HOME/bin:$PATH export SCALA_HOME=/usr/local/scala export PATH=$SCALA_HOME/bin:$PATH ---

在...... 之间加上： alimaven central aliyun maven http://maven.aliyun.com/nexus/content/repositories/central/ alimaven aliyun maven http://maven.aliyun.com/nexus/content/groups/public/ central central Maven Repository Switchboard http://repo1.maven.org/maven2/ central repo2 central Human Readable Name for this Mirror. http://repo2.maven.org/maven2/ ibiblio central Human Readable Name for this Mirror. http://mirrors.ibiblio.org/pub/mirrors/maven2/ jboss-public-repository-group central JBoss Public Repository Group http://repository.jboss.org/nexus/content/groups/public google-maven-central Google Maven Central https://maven-central.storage.googleapis.com central maven.net.cn oneof the central mirrors in china http://maven.net.cn/content/groups/public/ central

2.2、编译flink-shaded 版本

1、解压tar包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-shaded-10.0/flink-shaded-10.0-src.tgz tar -zxvf flink-shaded-10.0-src.tgz 2、修改pom.xml vim flink-shaded-10.0/pom.xml ---- vendor-repos vendor-repos cloudera-releases https://repository.cloudera.com/artifactory/cloudera-repos true false HDPReleases HDP Releases https://repo.hortonworks.com/content/repositories/releases/ false true HortonworksJettyHadoop HDP Jetty https://repo.hortonworks.com/content/repositories/jetty-hadoop false true mapr-releases https://repository.mapr.com/maven/ false true ----

3、编译 先进入到 flink-shaded-10.0文件夹下 执行以下命令： mvn -T2C clean install -DskipTests -Pvendor-repos -Dhadoop.version=3.0.0-cdh6.3.2 -Dscala-2.12 -Drat.skip=true

生成：flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0.jar original-flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0.jar 取到这两个jar 包 /root/flink-shaded-10.0/flink-shaded-hadoop-2-parent/flink-shaded-hadoop-2-uber/target 下面 mv flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0.jar /root mv original-flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0.jar /root

###2.3、编译Flink1.10.1源码

1、解压tar包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.10.1/flink-1.10.1-src.tgz tar -zxvf flink-1.10.1-src.tgz 2、编译 cd flink-1.10.1 mvn clean install -DskipTests -Dfast -Drat.skip=true -Dhaoop.version=3.0.0-cdh6.3.2 -Pvendor-repos -Dinclude-hadoop -Dscala-2.12 -T10C

3、打包编译好的文件 路径：flink-1.10.1/flink-dist/target/flink-1.10.1-bin 会生成一个 flink-1.10.1 的文件 编译好的文件 cd flink-1.10.1/flink-dist/target/flink-1.10.1-bin mv original-flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0.jar flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0.jar flink-1.10.1-bin/lib tar -zcvf flink-1.10.1-scala2.12-cdh6.3.2.tar.gz flink-1.10.1/ mv flink-1.10.1-scala2.12-cdh6.3.2.tar.gz /root

三：使用编译好的flink 做 CDH的parcels与csd 文件

3.1 下载制作Parcel包和CSD文件的脚本

下载制作 parcels的CSD文件脚本： git clone 修改配置文件 flink-parcel.properties

cd flink-parcels mv /root/flink-1.10.1-scala2.12-cdh6.3.2.tar.gz ./ mv flink-1.10.1-scala2.12-cdh6.3.2.tar.gz flink-1.10.1-bin-scala_2.12.tgz md5um flink-1.10.1-bin-scala_2.12.tgz

3.3 修改配置文件 flink-parcel.properties

vim flink-parcel.properties ---- #FLINK 下载地址 FLINK_URL=http://10.60.1.110/flink-1.10.1-bin-scala_2.12.tgz FLINK_MD5=f12ae2d502f9822fd2eeb53ad9d30fbd #flink版本号 FLINK_VERSION=1.10.1 #扩展版本号 EXTENS_VERSION=BIN-SCALA_2.12 #操作系统版本，以centos为例 OS_VERSION=7 #CDH 小版本 CDH_MIN_FULL=5.2.0 CDH_MAX_FULL=6.3.3 #CDH大版本 CDH_MIN=5 CDH_MAX=6 ---

四：制作 Flink 的Parcel包和CSD文件并校验

4.1 编译flink 的parcel包：

cd flink-parcel chmod +x bulid.sh sh bulid.sh parcel

4.2 编译flink on yarn 的jar 包

sh bulid.sh csd_on_yarn

4.3 编译flink on standalone 的jar 包

bash bulid.sh csd_standalone

4.4 生成flink的parcels 与 jar包

mkdir parcels-flink mv *.jar parcels-flink/ cd FLINK-1.10.1-BIN-SCALA_2.12_build/ mv * ../parcels-flink/ tar -zcvf parcels-flink.tar.gz parcels-flink 把这个包给下载 下来 去CDH6.3.2 下面去集成

五： CDH6.3.2 集成 flink 1.10.1

5.1 集成CDH6.3.2

cd /var/www/html/ 上传 parcels-flink.tar.gz 到这个目录下面 tar -zxvf parcels-flinks cp parcels-flinks cp -p *.jar /opt/cloudera/csd/ chown -R cloudera-scm:cloudera-scm /opt/cloudera/csd/ service cloudera-scm-server restart

下载分发/分配/激活 flink

关于taskmanager.cpu.cores 报错问题 cd /opt/cloudera/parcels/FLINK/lib/flink/conf vim flink-site.xml ---- taskmanager.cpu.cores: 2 taskmanager.memory.task.heap.size: 512m taskmanager.memory.managed.size: 512m taskmanager.memory.network.min: 64m taskmanager.memory.network.max: 64m 到最后 加上 然后同步所有主机： --- 添加flink on yarn 的服务

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。