英方软件 | Oracle异构数据库迁移实践

时间:2023-06-01 栏目:

数据库作为信息化业务系统的底层核心,其国产化应用是关键领域信息化系统安全、国家安全的重要保障。数据库异构迁移是行业极具挑战性的工作,技术门槛高,安全性要求强,且实施环境严苛,但异构迁移又是极其常见的应用场景。基于此英方软件采用逻辑层面的语义级复制技术,探索出了一套成熟的异构数据库迁移的方案,供大家参考交流。

NO.1 异构数据库的迁移需求

影响业务安全的系统性风险较多,在特殊的行业,如电力能源、金融业等,防范系统性风险是信息安全的底线,因此监管要求对于数据安全与业务连续性的标准远高于其他行业。当前,为完成信息技术国产化和自主可控进程的目标,许多单位开始按计划分阶段完成核心或边缘系统的国产化迁移工作。以某单位为例,规划在某时间段实现全量数据迁移到国产数据库上,且全部模块在国产化环境平稳运行。

在迁移实践中,团队需要完成某业务系统十几套 Oracle 数据库、数据总量高达近几十 TB 数据的迁移,且须确保迁移完成后数据无错漏、不丢失、严格一致。

根据上述整体建设需求,迁移方案需要满足的四点要求:

(1)须支撑存量数据的迁移,迁移过程中不影响或者尽量小地影响生产运行。

(2)支持存量数据迁移过程中,生产运行不中断,持续产生的增量数据可以实时复制到国产信创数据库上。

(3)支持存量数据与增量数据的迁移可无缝衔接,保证增量数据的迁移无错漏。

(4)迁移后需要进行多层次的数据校验以及数据修复方案,保证数据割接准确无误。

NO.2 基于日志分析的迁移方案

在行业内,CDC是指识别和捕获对数据库中的数据所做的更改(包括数据或数据表的插入、更新、删除等),然后将这些更改按发生的顺序完整记录下来,并实时传送到下游流程或系统的过程。通过这种方式,CDC能够向下游数据库提供高效、低延迟的数据传输。

目前,主流的CDC方案分为三种:

一是基于查询的CDC,需要不断的查询源数据库表中的数据,以获取更改的数据记录;其对生产影响较大。

二是基于触发器的CDC,当业务系统执行插入、更新、删除等SQL时,以激活数据库的触发器,使其对数据记录进行变更捕获,并将数据保存在一个临时表中,最后将变更数据从临时表中抽取出来。

三是基于日志的CDC,当数据库表完成一个新的DML(insert、update、delete)操作后,数据库都会将它实时记录到日志文件中;通过解析数据库操作日志的方式,可以将插入、更新、删除的数据更改操作进行捕获,并发送给下游系统。

结合当前主流的机构生产环境,以及日常大量的技术积累和实践经验,在上述CDC方案的比较过程中,基于日志方式的CDC是目前较为流行的实现方式,其实时性高、无侵入性,对生产影响小,且能将所有的更改捕获实时同步到目标端。

NO.3 异构数据库安全迁移

英方软件基于数据库日志分析与数据共享技术的 i2Stream 产品方案,可以满足行业异构数据库间的库级、schema 级、Table 级的数据同步要求,实现结构化数据的提取、复制、可视化管理等,且能够提供异构数据库的数据比对,严格保障数据一致性。

另外,此方案对生产影响小,并有安全的回退和保障机制,且英方软件团队支持到位,经验丰富,在银行、保险、证券等金融领域和医保大数据平台有广泛的成功应用经验,也能够快速响应项目的现场需求。

在某机构的Oracle数据库迁移过程实践中,项目团队根据现有的生产环境,经过严谨的技术方案研讨和严苛的性能测试,制定了两种稳定可行的部署方案:

方案一:在生产环境迁移部署架构

方案采用分离部署的架构,工作节点机器为 i2Stream 同步主机,通过远程抽取和远程装载的模式进行数据迁移。其中数据源采集节点为 Oracle RAC 备节点,不对业务主库产生影响。且针对不同源的数据库,采用多台同步主机同时进行数据库迁移,提高迁移效率。

方案二:在灾备环境迁移部署架构

方案在灾备环境同样采用分离部署的架构,工作节点机器为 i2Stream 同步主机,通过远程抽取和远程装载的模式进行数据迁移。其中,数据源采集节点为 Oracle ADG 备库,不对业务主库产生影响。且针对不同源的数据库,采用多台同步主机同时进行数据库迁移,提高迁移效率。

NO.4 迁移的挑战与收获

方案的规划实施

Oracle-国产数据库迁移的方案,需要技术人员精通技术和业务特点,在关键环节,可以快速定位表的业务逻辑,避免了技术路线上的失误。迁移过程如下:


第一步:测试验证

在正式生产环境迁移之前,团队制定了严谨科学的迁移方案,并在测试环境和准生产环境,分别做了两轮完整的测试,积累了大量测试数据和经验,并优化了部分迁移措施,找到了可能存在的风险点并逐一解决。

第二步:方案优化

经过前两轮的测试验证,技术团队牵头制定了更加全面的生产环境数据库迁移方案。该方案从产品部署架构、网络需求,数据库版本基线、同步主机的资源配置、迁移规则的划分、性能参数配置、监控方案、数据校验方案、业务验证方案、业务切换方案等做了全面的设计;最后将此方案落地成迁移计划表,分别指定相对模块负责人,每项进度精确到分钟,由英方项目经理每天进行日报汇报,每天中午进行迁移进度交流,及时协调处理迁移过程中出现的问题,此方案为国产化数据库迁移上线提供了强有力的保障。

第三步:迁移实施

根据迁移实施的关键里程碑时间规划,在完成方案可行性论证、灾备环境测试后正式启动生产迁移,并在完成全量数据迁移及检核后,系统正式割接上线。

正式迁移从规定日期的晚上某个时间点开始,同一源库的迁移规则进行串行启动,避免高负载影响生产业务,后续每天晚上同一时间点启动迁移规则,总体迁移耗时天数和总迁移数据量在规划内;后续对每个规则进行数据校验工作。数据校验使用多维度校验,每天进行 count 比对校验,然后在规定的间隔的天数进行一次全量全字段校验,持续校验到项目正式割接上线。

第四步:运维保障

数据校验是迁移后的保障,是数据迁移必不可少的一环。根据现场迁移情况和业务逻辑,经过规划后制定了三个维度的数据比较策略:

(1)每天业务低峰期做 count 比对,保证数据的及时性。

(2)在规划天数内做一次全字段细致比对,确保数据的完整性和准确性。

(3)用户内部做关键表的 count 比对和关键字段的 sum 比对,确保核心业务数据的准确性。

经过多轮的完整数据比对和每天的 count 比对。最终一次性割接成功,两端数据完全一致。

NO.5 结束语

在新的国际形势下,实现关键信息基础设施的自主可控,是电力电信、能源、金融等行业用户摆脱外部技术枷锁,实现安全发展的首要任务。在极端情况,能够安全将数据和业务平滑迁移到国产环境下,是考验团队技术实力和响应能力的关键。英方软件在异构数据库迁移方面,拥有经验丰富的技术服务团队和应用实践,且与国内主流的数据库进行了适配,能够在较短时间内帮助用户实现异构库的成功迁移。相关成功迁移案例,也入选了《中国-上合组织国家数字领域合作案例集(2023)》。

及时响应,快速服务,为您保驾续航

立即注册

请先完成图形验证

验  证  码:

请先完成图形验证

验  证  码:

隐私声明
当您在本网站进行合作伙伴注册登记,本网站将收集您的相关信息,并保存记录。本网站收集的个人信息包括但不限于:姓名、地址、公司、所在地区、电话号码以及电子邮件地址等。您主动提供的信息越多及越准确,我们就能够更好地为您提供有关服务。
咨询·购买