刚做完一个项目接触到了etl接口,趁还热乎做个总结。
etl接口功能测试点总结:
1、数据量的检查:目标表与源表数据量是否一致
2、字段正确性:拉取源表字段是否为目标表所需要字段(会出现拉错字段情况)
3、字段值转换正确性:如日期或数值字段拉取到目标表后是否需要做转换,如需要做转换,那转换是否正确,且是否符合目标表的业务逻辑。(如日期,源表为:2016-
01-01,而拉取到目标表后为:2016-01-01 00:00:00,如该字段在后期需要比较的话,就要考虑2016-01-01 00:00:00是否在当天内。)
4、字段值域有效性检查:源表字段值为最大值,拉取到目标表后是否为全值
5、字段空值:源该字段值为空,拉取到目标表是否为空(如目标表该字段不能为空,那么该字段为空的记录行就无法进入目标表,是否符合业务逻辑需求)
6、检查是否有乱码:
7、全量更新:检查源表中有新增、修改、删除的记录,重复拉取后,目标表是否与最后一次源表数据一致。
8、增量更新:检查源表有新增数据时,重复拉取后,目标表是否只拉取源表中新增的记录
9、检查是否拉取指定日期内的数据:检查源表中存在指定日期以外的数据,是否没有被拉取到目标表。
etl性能方面:主要测试数据量,在源表准备数据,测试拉取大数据量的时间及监控数据库服务器性能指标。