备案网站多少钱,支持wordpress的空间,关键词挖掘工具爱网,什邡门户网站一、问题描述
日常工作中我们经常会遇到一些非结构化数据#xff0c;因此常常会将Lateral View 结合explode使用#xff0c;达到将非结构化数据转化成结构化数据的目的#xff0c;但是该方法对应explode的内容是有非null限制的#xff0c;否则就有可能造成数据缺失。
SE…一、问题描述
日常工作中我们经常会遇到一些非结构化数据因此常常会将Lateral View 结合explode使用达到将非结构化数据转化成结构化数据的目的但是该方法对应explode的内容是有非null限制的否则就有可能造成数据缺失。
SELECT name,info
FROM(SELECT name,split(info_list,,) as info_arraryFROM (select 张三 as name,1,2,3 as info_listunion allselect 李四 as name,null as info_list) t1 -- 构造测试数据) t2
LATERAL VIEW explode(t2.info_arrary) a as info ;
查询结果
查看结果我们可以发现 ‘李四’ 这条数据数据丢了这就会造成我们最终统计的数据出现错误。
二、查找原因
通过定位我们可以发现 ‘李四’ 这一行的info字段为null其split之后的结果自然也是为null通过LATERAL VIEW explode之后会形成一个为null的view这样无法关联出数据该数据就会丢失。
三、解决办法(建议使用方法二)
3.1 方法一
对子查询中的split结果强制使用coalesce()方法将null替换成一个为[’’]的数组直接这么写会误以为string字符串。我们可以使用split(’’,’’)构造出一个[’’]数组改写后的语句如下
SELECT name,info
FROM(SELECT name,coalesce(split(info_list,,),split(,)) as info_arraryFROM (select 张三 as name,1,2,3 as info_listunion allselect 李四 as name,null as info_list) t1 -- 构造测试数据) t2
LATERAL VIEW OUTER explode(t2.info_arrary) a as info ; 请注意 ‘李四’ 的结果为空字符不是null。
3.2 方法二
使用官方提供的LATERAL VIEW OUTER来进行解决该方法类似于left outer join即如果explode出来的结果为null也会保留记录只不过对应字段为null改写后的语句如下
SELECT name,info
FROM(SELECT name,split(info_list,,) as info_arraryFROM (select 张三 as name,1,2,3 as info_listunion allselect 李四 as name,null as info_list) t1 -- 构造测试数据) t2
LATERAL VIEW OUTER explode(t2.info_arrary) a as info ;
查询结果
请注意 ‘李四’ 的结果为null而不是空字符。
以下是官方文档关于该用法的解释 The user can specify the optional OUTER keyword to generate rows even when a LATERAL VIEW usually would not generate a row. This happens when the UDTF used does not generate any rows which happens easily with explode when the column to explode is empty. In this case the source row would never appear in the results. OUTER can be used to prevent that and rows will be generated with NULL values in the columns coming from the UDTF. 为了保持代码的稳定性与数据的准确性建议使用第二种方法。
