在db2 和 oracle 中 ,当我们想知道两张结构相同的table 中,数据差异时候可以采用如下sql :
select * from table1
except
select * from table2
上面语句 求出来的就是 数据在table1 而不再table2 中的数据 ,
但是令人失望的是mysql 和hive 中竟然没有提供这样子的函数
那么有什么方法可以实现类似的功能呢?
select * from (
select count(*) as cnt ,all columns
(
select distinct * from table1 ------加入distinct 是防止数据在同一表里面有重复数据,造成查询结果不准确
union all
select distinct * from table2
)
group by all columns
) where cnt =1
解析 ,
把两个表的数据union 起来 ,通过所有的字段分组 ,求出 分组后 cnt 是 一 的 ,那么就可以
推断出 这条数据 在额外一个表要么不存在,要么有些字段不同
根据在hive 和 db2中的 结果比对 ,发现结果是一致的 ,这样就不用写process 把数据在 load 到 db2 ,麻烦了 。