英方i2DTO:对象存储的异构平台迁移与生命周期管理

时间:2021-06-29 栏目:技术前沿

一、对象存储最大特点是什么?

与其他存储产品最大不同在于,对象存储将数据作为对象进行管理,更适合图片、视频、音频这类非结构化数据的存储。

对象存储就像海上货轮,具备扁平的存储结构,在读写数据的时候,不用层层查找和打开,根据匹配到的 Index 或者 Key,就能快速找到并读取数据,更便于用户进行数据管理。且面对海量数据(几百 TB 甚至是 PB 级别),对象存储都能轻易存储。

二、对象存储成为非结构化数据的选择

按照 IDC 的预测,到 2025 年商业数据将达到 163ZB,而非结构化数据占比将达到 80%。海量的非结构化数据会为企业的基础架构带来极大的压力。

对象存储无限大的容量、更安全的分布式架构、更便捷的存储方式,让海量非结构化数据向对象存储迁移,成为有效缓解基础架构压力的选择。

但是在海量非结构化数据迁移的时候,由于异构环境,用户面临设备无法兼容、数据迁移时效低等问题。如一 40TB 的 NAS 存储采用传统方式进行迁移,在不影响业务的情况下,将耗费数月的时间才能够完成数据的迁移。

△ 产品架构图

i2DTO 就是在这种背景下诞生的一款对象存储管理软件,可帮助用户将本地/NAS 存储上的海量非结构化数据实时/定时备份至对象存储,或将对象存储上的数据迁移至另一对象存储,从而降低用户在存储及运维方面的成本投入。

三、i2DTO 连接异构对象存储的桥梁

进入“云时代”,对象存储已经成为广大公有云服务商具备的基本存储服务,数据和业务上云已成为各行业的刚性需求。随着用户需求的不断变更,以及对成本、厂商等因素的选择,不同对象存储间的数据迁移将成为一个普遍的应用场景。

但由于各厂商对象存储间的差异化,异构对象存储间的迁移会存在较大的问题。尤其是服务和数据的迁移通常涉及的数据量都较大,一般几百 TB,甚至 PB 级。这就存在较大的网络带宽消耗和较长的迁移周期。

i2DTO 则能基于多任务并发、多线程的特性,以优异的传输速度和灵活的存储兼容性,实现海量非结构化数据的跨异构对象存储的数据同步和迁移。

△ 方案拓扑图

某国有大型保险公司的迁移项目为例,该公司通过 i2DTO 将原私有云对象存储上近 30PB 数据迁移至本地的新对象存储平台。在万兆网的环境下,本次迁移充分利用带宽资源,针对海量小文件,总传输速度可达 450Mb/s,其中单线路传输速度最高可达 114M/s,远高于一般的常规值,在短时间内实现异构环境下海量数据的快速迁移。

四、对象存储的生命周期管理

尽管面对海量非结构数据,对象存储具备强大的存储能力,但在实际使用过程中,其带宽消耗方面的高成本投入,以及在数据管理方面的低灵活性等问题,也困扰着用户。如:用户一旦需要修改对象存储上的数据,只能将数据下载下来,并在本地修改好再上传覆盖原文件。所以,如何在数据激增且存在频繁上传下载的情况下,保证经济的成本投入和效率呢?

这时就需要引入生命周期管理的概念。

何为生命周期管理。以华为云 OBS 为例,其通过生命周期管理规则,将上传至 OBS 对象存储的对象/文件的存储类型进行转换(标准存储→低频访问存储→归档存储)。根据用户数据的访问频次,对其进行分级存储、归档和保护,不同存储类型的文件,收费方式不同。通过这种方式不仅可以更高效地管理数据,还可以降低存储成本。

但这种方式还是存在一定的限制,如:

  1. OBS Browser(图形化管理工具)仅支持window 平台,暂不支持 Linux 平台,应用范围较窄;
  2. obsutil 命令行管理工具,通过命令行操作数据的上传、下载,特点:纯命令行操作,并且没有图形化管理界面,具有一定的上手难度;
  3. 网页控制台每次最多可操作 100 个文件的上传下载,对于大量的任务需求,操作很繁琐且效率不高。

五、功能升级,i2DTO 让对象存储更智能

为了给对象存储用户更智能便利的数据管理体验,英方软件与华为云 OBS 展开深度合作,实现了 i2DTO 与华为云 OBS 生命周期管理功能的对接。

此次功能的实现,让用户可以既可以通过英方软件 i2UP 界面对本地海量非结构化数据进行上云下云操作,还能直接通过 i2UP 界面进行华为云 OBS 生命周期管理功能,而不用再单独登录 OBS 控制台。

在文件需要下云的情况下,由于对象存储桶中的文件存储类型不一致,所以需要先通过华为云 OBS 操作界面,手动找出归档存储类文件,在对其恢复(解冻)后,才能够进行统一下载。这种过于人工的方式,对于运维人员来说操作繁琐、效率低下,且存有遗漏的风险。

对此,i2DTO 提供了解冻规则任务,简化了 OBS 归档文件的下云流程。用户通过 i2UP 界面对桶内归档存储类型文件进行筛选,并通过规则统一解冻、恢复。整个过程操作更方便、效率更高,最重要的是数据下云时的完整性能够得到保证。

而且,i2DTO 兼容 Windows 和 Linux 平台,对用户限制更少。通过 i2UP 图形化管理界面,用户能够对对象存储资源进行管理和规则任务设置。其中,传输规则任务可以一次性将一个或多个目录上传至对象存储中,操作便捷又直观,且效率更高。

近年来,随着互联网业务的普及,使得机构的非结构化数据的占比越来越重。英方软件 i2DTO 对象存储管理软件不仅可实现非结构化数据的异构环境迁移、云端灾备,还能帮助用户更智能、便捷地进行一站式的非结构化数据管理,以更低的经济成本、更快的传输速度、更精细化的方式,挖掘非结构化数据价值,实现价值变现。

及时响应,快速服务,为您保驾续航

立即注册

请先完成图形验证

验  证  码:

请先完成图形验证

验  证  码:

隐私声明
当您在本网站进行合作伙伴注册登记,本网站将收集您的相关信息,并保存记录。本网站收集的个人信息包括但不限于:姓名、地址、公司、所在地区、电话号码以及电子邮件地址等。您主动提供的信息越多及越准确,我们就能够更好地为您提供有关服务。
咨询·购买