随着IT向DT时代的转变,数据重要性不言而喻,数据的应用也日趋繁茂,数据正扮演着一个极重要的角色。而对于日益重视的数据,如何保障其质量也是业界普遍关注的话题。
1 数据质量保障原则
2 数据质量方法概述
阿里的业务复杂,种类繁多的产品每天产生数以亿计的数据,每天的数据量在PB级以上,而数据消费端的应用又层出不穷,各类数据产品如雨后春笋般出现。为了满足这些数据应用,数据仓库的规模也不断膨胀,同时数据质量的保障也越来越复杂。
2.1 消费场景知晓
2.2 数据加工过程卡点校验
2.3 风险点监控
2.4 质量衡量