佛山网站建设怎么办,c 做网站简单吗,砀山哪有做网站的,搜外seo视频 网络营销免费视频课程业务背景 给前端提供算法集成好的数据#xff0c;对算法处理后的数据进行进一步删选展示 可以使用下面代码运行一下看看结果#xff0c;听有趣的#xff0c;我写的代码中计算了不同字段的值的数量#xff0c;并生成了一个显示字符串来描述这些数据的分布情况然后使用…业务背景 给前端提供算法集成好的数据对算法处理后的数据进行进一步删选展示 可以使用下面代码运行一下看看结果听有趣的我写的代码中计算了不同字段的值的数量并生成了一个显示字符串来描述这些数据的分布情况然后使用details列限制显示的行数以便更方便地查看和分析数据其实是生产环境中的应用为了不涉及敏感信息进行了数据和字段的脱敏处理。
样例数据
北京,001,23,2.123,中国,12121
北京,001,24,34.2,中国,12121
南京,002,32,23.12,中国1,12312
南京,002,31,23.44,中国1,12312样例实现内容具体如下 #展示的话
本学校鸟类飞行夜间活动区域分布为xx个鸟分别布在cc个区域# eg:xx代表统计后的鸟类个数cc标识统计后的区域个数
代码实现
import org.apache.spark.sql.functions.lit
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.{Row, SparkSession}
import org.apache.spark.sql.types.{StringType, StructField, StructType}object bg {def main(args: Array[String]): Unit {val conf new SparkConf().setAppName(Parent_child_v3).setMaster(local[1])val sc new SparkContext(conf)val spark SparkSession.builder.appName(Parent_child_v3).getOrCreate()import spark.implicits._val df1 sc.textFile(C:\\zzcode\\workplace\\src\\main\\data\\jd_Data)val schema StructType(Array(StructField(区域名称, StringType, nullable true),StructField(区域编号, StringType, nullable true),StructField(bird, StringType, nullable true),StructField(score, StringType, nullable true) ,StructField(国家, StringType, nullable true),StructField(区域顶点集, StringType, nullable true)))val rowRDD df1.map(line {val parts line.split(,)Row(parts(0), parts(1), parts(2), parts(3),parts(4),parts(5))})val df spark.createDataFrame(rowRDD, schema)df.show(false)//---------------------------------------//|区域名称|区域编号|bird |score|国家 |区域顶点集|//---------------------------------------//|北京 |001 |23 |2.123|中国 |12121 |//|北京 |001 |24 |34.2 |中国 |12121 |//|南京 |002 |32 |23.12|中国1|12312 |//|南京 |002 |31 |23.44|中国1|12312 |//---------------------------------------val birdCount df.select(bird).distinct().count()val regionNameCount df.select(区域名称).distinct().count()
//val displayString 本学校学生区域分布为 birdCount 个bird分布在 regionNameCount 个区域名称println(displayString)//val updatedDataFrame df.withColumn(details, lit(displayString))updatedDataFrame.show(false)val detailsRow updatedDataFrame.select(details).limit(1)detailsRow.show(false)}
}
//2023_12_by_Matrix70
//作者https://blog.csdn.net/qq_52128187?typeblog如若转载请注明出处
代码运行结果截图
