数据分析网站开发,腾讯企点是什么,做网站学生作业,外贸的网站有哪些1、系统及环境版本系统#xff1a;Win7 旗舰版 64位 sp1JDK#xff1a;1.8.0Spark#xff1a;2.3.2Hadoop#xff1a;2.7Scala#xff1a;2.11.8文章最后#xff0c;有所有版本的下载链接#xff0c;不用再去折腾版本之间的问题。2、环境下载2.1 Spark 下载spark2.2 had…1、系统及环境版本系统Win7 旗舰版 64位 sp1JDK1.8.0Spark2.3.2Hadoop2.7Scala2.11.8文章最后有所有版本的下载链接不用再去折腾版本之间的问题。2、环境下载2.1 Spark 下载spark2.2 hadooponwindos 下载image.png2.3 Hadoop 下载image.png2.4 JDK下载略2.5 IntelliJ IDEA2.6 scala 下载2.7 IntelliJ-scala plug 下载image.png至此准备工作才算完成3、环境配置安装ideaIC-2017.3.5.exe。除了scala-intelliJ-bin-2017.3.15不需要解压外其他能解压的都需要解压。重要配置之前需要把2.2中的bin文件夹替换掉2.3中的bin文件夹重要配置之前需要把2.2中的bin文件夹替换掉2.3中的bin文件夹重要配置之前需要把2.2中的bin文件夹替换掉2.3中的bin文件夹重要的事说三遍3.1 JAVA环境配置JAVA_HOME:java所在的目录注意不是bin目录PATH:%JAVA_HOME%\binClassPath%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar3.2 Hadoop环境配置HADOOP_HOME:hadoop解压的目录Path:%HADOOP_HOME%\bin3.3 Spark环境配置SPARK_HOME:spark解压的目录Path:%SPARK_HOME%\bin3.4 Scala环境配置SCALA_HOME:scala解压的目录Path:%SCALA_HOME%\bin4、IDE的配置4.1创建新项目image.png4.2 选择Project SDK选择刚才解压的JAVA目录image.pngnextnextfinesh!此时可以看到 external library只有一个jdk1.8image.png4.3 安装scala插件filesettingsimage.pngimage.png4.4 重启IntelliJ重启之后image.pngimage.png选择scala的解压的目录我原来装过一个2.11.12版本的所以我这里会有两个版本应该选择2.11.8版本。4.5 添加spark library此时新建项目之后可以看到external libraryes 出现了 jdk1.8 和scala sdk。我们最后再添加spark libraryfileproject structureimage.pngLibraries 之后添加解压后的spark下的jarsimage.png最终可以看到External Libraries出现了三个。image.png4.6 建一个Sparkdemo 的objectimage.pngimport org.apache.spark._object SparkDemo {def main(args: Array[String]): Unit {val masterUrl local[1]val conf new SparkConf().setAppName(helenApp).setMaster(masterUrl)val sc new SparkContext(conf)val rdd sc.parallelize(List(1, 2, 3, 4, 5, 6)).map(_ * 3)rdd.filter(_ 10).collect().foreach(println)println(rdd.reduce(_ _))println(hello world)}}4.7 ctrlshiftF10运行最终成功image.png由于是小白所以记录得很详细。
