张斌网站建设,wordpress 弹窗广告插件,网站建设项目目标描述,php高性能网站建设创建DataFrame的几种方式1、读取json格式的文件创建DataFrame注意#xff1a;1. json文件中的json数据不能嵌套json格式数据。2. DataFrame是一个一个Row类型的RDD#xff0c;df.rdd()/df.javaRdd()。3. 可以两种方式读取json格式的文件。4. df.show()默认显示前20行数据。5.…创建DataFrame的几种方式1、读取json格式的文件创建DataFrame注意1. json文件中的json数据不能嵌套json格式数据。2. DataFrame是一个一个Row类型的RDDdf.rdd()/df.javaRdd()。3. 可以两种方式读取json格式的文件。4. df.show()默认显示前20行数据。5. DataFrame原生API可以操作DataFrame不方便。6. 注册成临时表时表中的列默认按ascii顺序显示列。代码演示在项目中新建一个目录用于存储sparksql文件在文件中编写一个json文件如下图新建一个scala文件编写代码读取json文件需求读取json文件中的数据信息并显示表结构信息package 运行结果sparksql能够根据条件查询json文件中的数据类似sql语句package 注册临时表package 运行结果2、通过json格式的RDD创建DataFrame代码演示需求建立两个json格式的RDD将RDD注册成临时表利用连接查询查询出表中学生姓名、年龄、成绩等信息package 运行效果3、非json格式的RDD创建DataFrame通过反射的方式将非json格式的RDD转换成DataFrame不建议使用注意自定义类要可序列化自定义类的访问级别是Public3. RDD转成DataFrame后会根据映射将字段按Assci码排序4. 将DataFrame转换成RDD时获取字段两种方式,一种是df.getInt(0)下 标获取不推荐使用另一种是df.getAs(“列名”)获取推荐使用代码演示在项目的sparksql目录中新建一个person.txt文件在文件中编写如下内容编写代码package 运行结果RDD转换成DataFrameDataFrame转换成RDD动态创建Schema将非json格式的RDD转换成DataFrame代码演示package 运行结果
