Flink快速入门之批计算的WordCount案例

Flink快速入门之批计算的WordCount案例

数据源wc.txt

hello sparkhello flinkhello javahello javahello phphello pythonhello scala

package streamimport org.apache.flink.api.scala.ExecutionEnvironment/** * @Author yqq * @Date 2021/12/23 01:46 * @Version 1.0 */object BatchWordCount { def main(args: Array[String]): Unit = { //1.初始化flink批处理环境 val environment: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment //2.导入隐式转换 import org.apache.flink.api.scala._ //3.读取数据，读取sock流中的数据，DataSet=>类似spark RDD val set: DataSet[String] = environment.readTextFile("data/wc.txt") //4.计算和打印 set.flatMap(_.split(" ")) .map((_,1)) .groupBy(0) .sum(1) .print() }}

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。