英方软件i2HDFS突破PB级数据迁移难题

时间:2024-04-09 栏目:技术前沿

海量数据从采集到传输、存储、备份,到再传输、使用分析,需要投入高性能和高可靠的基础设施,当数据量随着大模型等应用兴起达到PB级时,大数据传输、保护和恢复,以及大数据平台自身健壮性、冗余能力就非常关键,传统的备份恢复方式很难满足客户的实际需求。

因此,大数据平台的容灾保护成为机构IT新潮流建设的重要一环。而传统的方式正面临诸多安全隐患:大数据迁移同步时间窗口大,复杂性高;大数据迁移数据一致性和完整性难以保证;大数据平台容灾能力单一;恢复速度慢,且成本高昂。

基于上述背景,英方软件推出行业领先的大数据平台实时同步产品i2HDFS。

i2HDFS是一款用于大数据平台实时事务数据捕获与同步的高性能系统。产品通过监听源大数据平台上的变化事件,实时同步变化数据到目标大数据平台,可实现跨集群的大数据平台实时复制,为企业解决大数据平台PB级数据迁移、迁移验证、备份和恢复、容灾等场景下的烦恼,确保大数据平台的生产业务不中断,数据不丢失。

(1)安全运行:产品支持普通用户认证、Kerberos认证等多种认证方式,保障平台的安全性和数据的完整性,构建一个强大而可靠的用户认证和授权系统,最终确保大数据平台的稳定运行。

(2)业务高可用:同步程序的在线实时复制特点使源、备端大数据平台始终处于双活状态,可对备端数据进行实时访问。当生产中心发生灾难时,备端大数据平台可立即提供业务接管,RTO、RPO 接近 0。

同步程序支持高可用架构,采用分离部署模式,当主分离节点发生故障,导致数据同步服务中断,通过高可用架构的监控、仲裁机制,会自动切换至备分离节点,拉起同步进程,保证数据同步业务的连续性。

(3)高效稳定:全面支持 DML 以及 DDL 操作语义,无需单独配置。全量同步完成后,软件自动转为增量同步,无需人工干预。同步程序支持多线程运行,对于 HDFS/Hive数据同步可达 500+MB/s,可以支撑每日TB 级的数据量,而同步程序本身对系统资源占用极小。

支持设置带宽,用户可选择时间段限制规则的带宽占用,避免数据同步业务对客户生产业务的影响。非侵入,同步软件操作没有 I/O 写盘,在内存里完成事件解析。在线同步,无需停止业务系统工作,7×24小时实时复制与同步。

(4)灵活适配:支持跨平台、跨版本的数据传输,支持异构的源端、目标端进行数据同步;支持多种数据源:原生Apache Hadoop、CDH、TDH、CDP、FusionInsight;全面兼容RHEL、CentOS、SUSE、AIX、Kylin 等操作系统。

此外,产品支持配置全量同步、增量事务分析同步、差异对比同步等多种同步策略,以及自定义路径映射等。

及时响应,快速服务,为您保驾续航

立即注册

请先完成图形验证

验  证  码:

请先完成图形验证

验  证  码:

隐私声明
当您在本网站进行合作伙伴注册登记,本网站将收集您的相关信息,并保存记录。本网站收集的个人信息包括但不限于:姓名、地址、公司、所在地区、电话号码以及电子邮件地址等。您主动提供的信息越多及越准确,我们就能够更好地为您提供有关服务。
咨询·购买