【回顾】Spark项目工程搭建

【回顾】Spark项目工程搭建

文章目录

​​一、新建项目​​​​二、配置Maven环境​​​​三、配置Scala环境​​​​四、测试准备​​​​五、词频统计测试​​

一、新建项目

​​返回顶部​​

二、配置Maven环境

​​返回顶部​​

三、配置Scala环境

四、测试准备

​​返回顶部​​

五、词频统计测试

右击创建WordCount.scala文件

package wordCountimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[String]): Unit = { // 创建sparkContext --- 本地模式运行 val conf = new SparkConf().setAppName("wordCount").setMaster("local[6]") val sc = new SparkContext(conf) // 加载文件 val context: RDD[String] = sc.textFile("G:\\Projects\\IdealProject-C21\\projects\\src\\main\\scala\\wordCount\\test.txt") // 数据处理 val split: RDD[String] = context.flatMap(item => item.split(" ")) val count: RDD[(String, Int)] = split.map(item => (item, 1)) val reduce = count.reduceByKey((curr, agg) => curr + agg) val result = reduce.collect() result.foreach(println(_)) }}

​​返回顶部​​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。