<返回更多

Windows环境下安装IDEA大数据开发环境

2020-11-19    
加入收藏

一.JDK1.8安装

Apache官网上下载JDK1.8.x安装包:

Windows环境下安装IDEA大数据开发环境

 

安装过程中指定具体的安装路径,尽量不使用默认路径!

Windows环境下安装IDEA大数据开发环境

 

配置系统参数:

Windows环境下安装IDEA大数据开发环境

 


Windows环境下安装IDEA大数据开发环境

 

编辑Path,添加JAVA配置:

Windows环境下安装IDEA大数据开发环境

 

二.安装Scala编程语言

Windows环境下安装IDEA大数据开发环境

 


Windows环境下安装IDEA大数据开发环境

 

配置Scala系统参数:

Windows环境下安装IDEA大数据开发环境

 


Windows环境下安装IDEA大数据开发环境

 

三.安装IDEA

Windows环境下安装IDEA大数据开发环境

 

安装成功后先设置外观样式,然后选择打开项目,效果如下:

Windows环境下安装IDEA大数据开发环境

 

指定初始化plugins scala版本:

Windows环境下安装IDEA大数据开发环境

 

有外网下载和安装本地插件两种模式:

Windows环境下安装IDEA大数据开发环境

 

有外网可以联网下载:

Windows环境下安装IDEA大数据开发环境

 

没有外网可以安装本地初始化scala插件:

Windows环境下安装IDEA大数据开发环境

 

打开代码可以发现需要重新设置JDK和Scala:

Windows环境下安装IDEA大数据开发环境

 

指定JDK和Scala:

Windows环境下安装IDEA大数据开发环境

 


Windows环境下安装IDEA大数据开发环境

 

四.设置开发样式

Windows环境下安装IDEA大数据开发环境

 

可以看出字体是比较小的,点击File --> Settings:

Windows环境下安装IDEA大数据开发环境

 

编辑Editor下font创建一个新语言模板:

Windows环境下安装IDEA大数据开发环境

 

可以设置字体、字号和行间距,下面会实时显示效果:

Windows环境下安装IDEA大数据开发环境

 

实际效果如下:

Windows环境下安装IDEA大数据开发环境

 

五.Demo案例

代码:

import org.apache.spark.sql.SparkSession

/**
  * Created by Administrator on 2020/11/19.
  */
object Test {
  def main(args: Array[String]) {
    val spark = SparkSession.builder().AppName("wordCount")
      .master("local[2]")
      .getOrCreate()
    // 加载数据
    val textRDD = spark.sparkContext.textFile("D:/wordcount.txt")
    val result = textRDD.map(row => row.replace(",", ""))//去除文字中的,防止出现歧义
      .flatMap(row => row.split(" "))//把字符串转换为字符集合
      .map(row => (row, 1))//把每个字符串转换为map,便于计数
      .reduceByKey(_+_)//计数
      .filter(_._2 > 2) // 根据出现次数过滤
    // 打印结果
    result.foreach(println)
  }
}

执行结果:

Windows环境下安装IDEA大数据开发环境

 

备注:

需要导入Spark开发所需要的包,可以使用Maven或本地导入:

Windows环境下安装IDEA大数据开发环境
声明:本站部分内容来自互联网,如有版权侵犯或其他问题请与我们联系,我们将立即删除或处理。
▍相关推荐
更多资讯 >>>