平安证券刘宏霞：教你如何保障大数据质量

自动化测试完成后确认脚本没有问题之后,可以上线,测试人员评审,评审通过之后,就意味着调度是可以进行上线的,就发布到预上线过程,通知运维人员调度已经完成测试,可以进行上线,后面的操作就会由运维人员进行处理.

上线之后监控平台监控调度、数据、业务是否存在问题,如果存在问题,就会快速通知到相关的开发人员或者运维人员进行相应的处理,这是目前已经实现的情况.

对于未来我们有什么考虑呢?第一我们会考虑平台互通,目前我们开发平台、测试平台、监控平台,都是相对独立的.

目前开发平台和监控平台之间还有一些关联关系,但是我们自动化平台是没有跟它们进行打通的.后面会考虑,比如说开发完一个调度之后,自动到自动化平台进行运行,可以快速保证,完成测试的过程.

另外还有一个部分,我们会考虑自动化平台和监控平台打通,打通的目的比如一个指标出现问题,可能并不清楚是哪个客户指标出现问题了,如果和监控打通的话,快速知道是哪个客户的指标出现问题.

第二部分,我们会对我们的平台进行丰富,后续我们会把很多东西加入到自动化平台来,真正的产品化.另外是监控体系,目前监控体系有一部分是由数据分析人员分析出来一些值和数据提供给我们,进行监控.

但是这些是被动的,我们后期会把一些统计分析其机器学习方法运用到监控当中,丰富监控指标.

另外当前我们做的数据都是离线数据,每天晚上交易结束之后,会把数据进行迁移,对于实时数据目前没有验证,后续我们也要考虑怎么保证实时数据的准确性.

原文来自——微信公众号(高效运维)

（编辑：威海站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!