【阶段作业】及时性检查和多数据源的值对比功能
371

题干:
课程实现了通用的数据质量评估的工具,并实践了几个常用的数据质量检查的维度,更多的数据质量检查规则亦可通过这个工具来实现,请思考如下场景的数据质量检查,配置文件应该如何配置?
(1)、及时性检查
校验数据是否在预期的时间范围内处理完成。
(2)、多数据源的聚合值比对
统计两个数据源的聚合值,例如, A表和B表分别对各自的某些列做sum或者max等聚合分析,比较聚合后的值是否一致。
思路提炼:
(1)、及时性检查可指定开始时间、结束时间来限制时间范围,检查该时间范围内的数据量是否符合预期(达到阈值)。
(2)、多数据源的聚合值比对,先分别统计各自数据源的聚合值, 各自注册为临时表。 再关联临时表数据进行比对。

说明:大家可以将自己的解答思路在下方的问答区留言讨论。
我的作业
去发布

登录后即可发布作业,立即

全部作业

数据加载中...

意见反馈 帮助中心 APP下载
官方微信