3 月 29 日,英方数据万花筒“超越备份,探秘异构的世界”第十二期线上课程圆满落幕。课程反响热烈,吸引了超 1200+ 名业内人士报名参会,700+ 人同时在线观看,直播间互动频频,气氛火爆。
本期课程由英方产品部副总监王君毅带来分享,围绕“异构迁移和复制”这一议题,深入“文件异构、数据库异构、整机异构、HDFS异构”等场景,带来最前沿的异构迁移与复制技术方案,并结合经典案例进行深度剖析。
课程亮点回顾
错过线上的小伙伴们不用惋惜,下面让我们共同回顾课程的精彩瞬间,让我们超越备份,超越传统,一起进入数据库的、大数据的、异构的数据世界!
01 异构的市场需求与难点
随着企业信息化不断发展和演进,对于数据治理的标准日渐严苛,加之国产软件在虚拟化、云计算、分布式数据库等领域的发展日益成熟。种种因素驱使下,异构数据复制市场需求规模逐渐扩大,随之也衍生了字符集不兼容,中英文转换难、数据治理难度高、兼容性差等系列难点。
尤其是在信创行业,异构迁移与复制复杂程度更甚,对安全性的要求也极高。市场亟需一款性能优异,安全可靠的数据迁移和复制工具,解决异构数据行业的痛点。
△信创行业异构数据的难点
02超越备份,多层次全域的异构复制
英方软件基于动态文件字节级、数据库语义级、存储层变长块级三大复制技术,为用户构建多层次的异构复制方案。并推出了文件迁移和复制工具 i2COOPY、NAS迁移和复制工具 i2NAS、对象存储数据迁移和复制工具 i2DTO、数据库迁移和复制工具 i2Stream、操作系统在线热迁移工具 i2Move、HDFS 迁移和复制工具 i2COOPY for HDFS 等多款异构数据迁移和复制工具,适用于多种异构应用场景:
-
场景一:文件异构迁移和复制
文件异构的场景下,又细分为“异构服务器/操作系统之间、异构NAS存储之间、对象存储数据迁移和复制”三大应用场景。
以某头部证券 NAS 到对象存储的文件迁移项目为例,其生产系统是影像系统,包含3.3亿个海量小文件,总数据量高达60TB。英方方案按照不同桶或桶内路径拆分多条规则等方式并发传输,提高了券商的迁移效率。且方案支持全量和增量同步,迁移过程不影响前端生产。
△某头部证券NAS到对象存储的文件迁移方案
-
场景二:数据库异构迁移和复制
异构数据库的迁移,其应用场景细分为“异构平台经Kafka或直接复制迁移、异构数据融合与异构数据库迁移”。
以某省医保数据上云项目为例,项目涵盖了全省八千多万人的医保数据,上云数据量超百 TB,且涉及到多种类型的数据同步,多种异构数据源。方案通过英方 i2Stream 数据流复制管理产品,将 Oracle 数据库同步至腾讯 TDSQL 分布式数据库中,将复杂分散的地市州医保数据同步到省医保核心数据库中,保证了数据完整性和一致性。且数据同步速度最快能够达到 20 万行/秒。
△某省医保数据上云方案
-
场景三 :整机异构迁移和复制
整机迁移即操作系统迁移,该方案整合了字节级迁移与块级两种复制技术,可为用户提供整机在线热迁移。
以某大型运营商云存量资源海量迁移项目为例,通过英方多种迁移产品,为本次大规模迁移中的每个企业提供了 1 对 1 的专业的驻地迁移技术服务,将三个存量资源池中包括 4000+ 企业、100+ 自有业务在内总量 14000+ 的云主机迁移到新的资源池。英方软件帮助用户实现了“对接客户、迁移调研、资源开通、方案制定、迁移实施、迁移割接”等一站式全流程交付。
△某大型运营商云存量资源海量迁移方案
-
场景四 :HDFS异构迁移和复制
近年来,随着大数据容灾备受市场热议,英方顺应市场需求,推出了 i2COOPY for HDFS 产品,可实现不同平台间HDFS文件的同步。
以某城市银行-大数据实时同步项目为例,该银行银行基于 CDH 重新建设了全新的统一运维分析平台,英方通过 i2COOPY for HDFS 产品,为该客户基于 CDH 建设的大数据平台,实现 HDFS 以及 Hive 数据在不同 CDH 平台之间的实时同步。方案实施后,该行全量同步性能可达:534.7 MB/s,增量同步性能可达:114.0 MB/s。
△某城市银行-大数据实时同步方案
综上,英方异构迁移与复制方案具有如下亮点:
-
非侵入数据采集,对生产系统性能影响极小
-
适用文件、数据库、整机等多种场景
-
数据一致性高,提供一致性校验工具
-
自主研发,安全可控、简单易用,可维护性好
-
支持跨平台的数据复制、灾备
-
适合超远距离、窄带宽的数据同步、灾备
-
可采取定时、实时等多种策略、全域的数据灾备管理方案
随后,为了解答直播间伙伴的热情提问,课程特别设置了 Q&A 环节,特邀英方软件 CTO 周华和产品部总监吕爱民进行在线答疑解惑。
“i2COOPY for HDFS 是否基于disctp?如何保证高效传输?”“接触不到 RDS 云数据库实例主机的话,可以进行数据复制吗?”“是否支持将本地视频设备NVR中的视频数据复制到云上?如何复制?”
对于直播间观众的疑问,两位技术大佬一一作出了详细解答,让每位参与其中的伙伴都获益良多。
03结语:Beyond Backup
Beyond Backup,作为一家专注于数据复制的基础软件公司,成立十多年来,英方软件始终在创新路上不断进取,在数据复制与恢复领域,IDC 全球厂商中国市场排名中,英方取得了国内专业厂商第一的好成绩。
对于容灾,对于备份,这都是数据复制的典型应用场景,而英方不止步于在灾备行业取得的傲人成就,仍在数据复制领域不断深耕,探索更多的可能性。除异构数据复制与迁移外,英方也正向统一数据管理平台、数据流复制管理等更多新世界迈进。在数字化时代的浪潮下破浪前行,勇立潮头!