flink local集群部署

flink local集群部署

flink local集群部署

标签（空格分隔）： flink系列

一：flink 介绍 二：flink 运行模式 三：flink local集群部署

一：flink 介绍

1.1: flink 介绍

Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行

1.2 Apache Flink® - 数据流上的有状态计算

二：flink 集群部署

2.1 安装jdk (所有节点都要安装)

安装：jdk rpm -ivh oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm vim /etc/profile ---- export JAVA_HOME=/usr/java/jdk1.8.0_141-cloudera export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar PATH=$PATH:$HOME/bin:$JAVA_HOME/bin ---- java -version

2.2 安装flink

下载地址： http://archive.apache.org/dist/flink/flink-1.11.2/flink-1.11.2-bin-scala_2.12.tgz tar -zxvf flink-1.11.2-bin-scala_2.12.tgz mv flink-1.11.2 /usr/local/flink cd /usr/local/flink/conf cp -p flink-conf.yaml flink-conf.yaml.bak vim flink-conf.yaml ----- jobmanager.rpc.address: rc01bigdata.vpc.uniondrug.com jobmanager.rpc.port: 6123 jobmanager.heap.size: 1024m taskmanager.heap.size: 1024m taskmanager.numberOfTaskSlots: 10 taskmanager.memory.preallocate: false parallelism.default: 1 jobmanager.web.port: 8381 rest.port: 8381 env.java.opts: -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+AlwaysPreTouch -server -XX:+HeapDumpOnOutOfMemoryError env.java.home: /usr/java/jdk1.8.0_141-cloudera classloader.resolve-order: parent-first env.ssh.opts: -p 36022 ### 产线的SSH 端口号 ------

vim masters ---- rc01bigdata.vpc.uniondrug.com:8381 ----

vim works --- rc02bigdata.vpc.uniondrug.com rc03bigdata.vpc.uniondrug.com rc04bigdata.vpc.uniondrug.com ---

cd /usr/local/ tar -zcvf flink.tar.gz flink scp -P36022 flink.tar.gz root@rc02bigdata.vpc.uniondrug.com:/usr/local/ scp -P36022 flink.tar.gz root@rc03bigdata.vpc.uniondrug.com:/usr/local/ scp -P36022 flink.tar.gz root@rc04bigdata.vpc.uniondrug.com:/usr/local/

分别在每台works机器上面 解压 flink.tar.gz 包 cd /usr/local/ tar -zxvf flink.tar.gz

在flink master 的节点上面执行启动flink集群 cd /usr/local/flink bin/start-cluster.sh

执行一个wordcount ./bin/flink run examples/batch/WordCount.jar

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。