flink的部署模式

flink的部署模式

文章目录

​​会话模式（Session Mode）​​​​单作业模式（Per-Job Mode）​​​​应用模式（Application Mode）​​

flink 主要分为三种部署模式:

⚫ 会话模式（Session Mode）

⚫ 单作业模式（Per-Job Mode）

⚫ 应用模式（Application Mode）

会话模式（Session Mode）

首先启动一个集群,保持一个会话,在这个会话中通过客户端提交作业,此时集群所有的资源已经确定,所有提交的作业会竞争集群中的资源

问题: 同一个task manager上的作业出现故障,导致在该task manager 上的所有作业都失败

开启一个 YARN 会话，启动 Flink 集群

yarn-session.sh -nm test

单作业模式（Per-Job Mode）

客户端运行程序为每一个提交作业启动一个集群,该集群的生命周期和作业一样

flink run -d -t yarn-per-job -c com.atguigu.wc.StreamWordCount FlinkTutorial-1.0-SNAPSHOT.jar

或者

flink run -m yarn-cluster -c com.atguigu.wc.StreamWordCount FlinkTutorial-1.0-SNAPSHOT.jar

应用模式（Application Mode）

会话模式和单作业模式都是将客户端提交给job manager,这种方式需要占用大量网络带宽,下载依赖和二进制包发送给jobManager,加上很多情况下我们提交作业用的是同一个客户端，就会加重客户端所在节点的资源消耗,我们不要客户端了，直接把应用提交到 JobManger 上运行。而这也就

代表着，我们需要为每一个提交的应用单独启动一个 JobManager，也就是创建一个集群。这个 JobManager 只为执行这一个应用而存在，执行结束之后 JobManager 也就关闭了

flink run-application -t yarn-application -c com.atguigu.wc.StreamWordCount FlinkTutorial-1.0-SNAPSHOT.jar

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。