spark sql语句性能优化及执行计划

一、优化点：
1、not in 替换为 not exist；
2、in 替换为 right join；
3、distinct 替换为 group by;
4、count(distinct) 替换为 count；
5、where条件中，等号左右两边的数据类型需要一致；
6、where条件中，等号左边不要有函数；
7、where条件上移；
8、优化点需要对照执行计划，并且有实际效果。

二、对应的执行计划：

1、not in 替换为 not exist：

 

 

2、exists替换为in:

 3、distinct替换为group by:

 4、count(distinct)替换为group by:

 5、where条件上移：

 6、数据类型需要一致：