基础数据平台迁移大数据平台的一些参考

背景

1.基础数据平台能力诉求:业务迅速增长，业务数据量不断膨胀，重要业务场景越来越多大数据存储架构，对于基础数据平台的服务和支持能力提出了更高的要求。

2.数据时效诉求：业务部门经营分析、决策支持对数据时效要求越来越高。

3.计算、存储资源瓶颈： Oracle一体机存储和计算资源存在瓶颈（有效空间140TB，已使用空间132TB），始终保持约90%高水位运行

设备老旧：Oracle一体机硬件设备已使用7至10年，接近或超过8年强制替换周期，存在设备老旧故障率升高的风险

原厂支持服务结束：Oracle一体机上Oracle数据库版本为12.2.0.1，原厂支持服务于2022年3月结束，后续无新增补丁存在运行风险

软硬件维保策略风险： Oracle一体机原厂软硬件维保策略存在风险，2022年Oracle表示不再单独销售开发测试环境一体机软件维保

4.信创工作规划：基于国产软硬件基础设施，搭建自主可控大数据平台，实现数据的整合、加工、共享，对海量结构化和非结构化数据的存储、加工及访问。

目标:

1.实现Oracle一体机到大数据平台的技术栈切换

2.缓解我行在用的Oracle一体机运维风险。

3.高可用、弹性扩展的系统架构，支持在线扩容，在线升级

架构设计:

1.架构定位与原来保持一致,基于大数据平台重构

2.基础层改造：原ODS的表,配合改造从基础层O层取数进行加工;数仓的表,配合改造从整合层I取数加工；集市的表,通过集群间授权进行访问.

3.时效提高：结合大数据技术生态特性，针对时效要求高的重要业务场景贴源数据加工，如开业报表、零售有效户等，提高时效性

方案:

1.应用主题分类 结合大数据平台整合层数据主题组织方式，重新梳理集市的数据输出，面向主题对集市进行归纳、分类，整理成一级主题、二级主题，三级主题，整体划分为5个一级主题、12个二级主题、51个三级主题。

2.部分报表改从其他系统取数,不进行迁移

3.迁移映射 3层变为4层,基础层—加工层—应用层贴源层->贴源层、整合层、加工层、应用层

4.生命周期保留策略管理 对一些特殊场景的，有使用一年的历史数据，需保留。

5.技术栈切换设计 应用迁移,数据迁移,开发和测试,投产验证(主健比对、记录数比对、全字段比对),并行切换(并行三个月，分批下游切换)

性能:

1.存储容量： Oracle一体机集市目前有7T表空间，预留30%业务增长空间，（表与数据文件）压缩比为1:7；新FI集群按两副本存储，压缩比1:2；大数据单节点可存储36T, 所以需要7*1.3/7/2/(36/2)≈2台（BDS型号物理机）

2.计算资源：当前旧FI集群运行流程3.6万个，CPU共4.4万核，平均消耗的CPU=3.6/4.4 ≈ 1.2核/每个流程。共迁移664个流程，需要CPU=664*1.2 ≈ 797核，每台BDS服务器80核，因此需要大数据节点服务器为797/80≈10台。

3.保障措施 a.资源隔离 b.批次规划

经费:

1.主办应用系统实施费用

2.关联应用系统实施费用

3.软件费用

4.硬件费用

（编辑：威海站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!