做网站需要注意的问题,seo推广代运营,万网创始人为什么封停慧聪网,公司网站流程和费用一#xff1a;概念
Spark应用程序的配置#xff0c;用于将各种Spark参数设置为键值对。 大多数情况下#xff0c;将使用新的SparkConf(),创建一个SparkConf对象#xff0c;该对象将从您的应用程序中设置的任何spark.的Java系统属性加载值。 在这种情况下#xff0c;* 直接…
一概念
Spark应用程序的配置用于将各种Spark参数设置为键值对。 大多数情况下将使用新的SparkConf(),创建一个SparkConf对象该对象将从您的应用程序中设置的任何spark.的Java系统属性加载值。 在这种情况下* 直接在SparkConf对象上设置的参数优先于系统属性 **。
二使用
无论官方还是自定义spark配置一定是以“spark.*”开头
scala :quit
[hadoophadoop001 bin]$ ./spark-shell --master local[2] --conf namesuoze --conf spark.age18
Warning: Ignoring non-spark config property: namesuoze
其中–conf可以写很多这里就有个警告提示name去控制台看一下在哪里去寻找呢。在源码当中SparkSubmitArguments.scala 可以看到最完整的
三spark配置文件
[hadoophadoop001 conf]$ vi spark-defaults.conf
spark.master local[2][hadoophadoop001 conf]$ vi spark-defaults.conf
[hadoophadoop001 conf]$ cd ../
[hadoophadoop001 spark-2.4.0-bin-2.6.0-cdh5.7.0]$ cd bin
[hadoophadoop001 bin]$ ./spark-shell
在配置文件中配置就可以直接进入了
spark读写数据库不能写死就写在配置里面
scala sc.getconf.get(spark.age)1
在配置配置之后使用这个命令可以取到 这里还可以扩展在优先级参考博客https://blog.csdn.net/qq_43688472/article/details/85272630
