平安证券刘宏霞：教你如何保障大数据质量

我们看算一个收益指标是怎么做的.

• DT分布
  先是 RAW 层和 MID 层,这两个层的数据基本与原数据保持一致的,唯一不同是我们的清洗层会对相应数据进行处理,比如 dt 分布诊断.可以判断每天的数据是不是存在问题.另外还可以判断底层为了上层进行汇总的时候,第一天数据起始日期是否一致,因为数据来源于不同系统,而且我们所有系统开始日期都是不一样的.

  比如交易股票,可能很早之前就有数据了,但是我们场外基金是最近几年才有的,如果拉历史数据少拉一年或者少拉一天数据,算出客户最终收益都是不对的.

  （编辑：威海站长网）

  【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!