数据的“瘦身”之道,在断舍离,更在字节级

时间:2018-05-21 栏目:

从萧远山和慕蓉博在雁门关一战后潜入少林寺开始偷学武功的时候开始,他们也无意中拨快了自己的生命时钟。

少林寺藏经阁图书管理员扫地僧现身的时候,便一针见血的指出了二人身上的症结所在:在佛法修为不足之下,强练上乘武功,造成自己身体上的隐疾。

在一番劝解无效的情况下,神奇的扫地僧采用“休克式疗法”,再通过过阴阳互济让他们化解对方的内伤起死回生,摒弃戾气的两人至此明白家国讎恨、生死离别都如梦境,方才放弃仇恨、大彻大悟,决定皈依佛门,不再过问世间恩怨。用现在的话说,就是教会了二人断舍离的道理。

 

同样,一百多年后,当张无忌忘记所有武功招式后,才得以学会他师公的太极拳,这也是断舍离。

在纷繁复杂的今天,越来越多人人开始崇尚以“断舍离”为宗旨的极简生活主义态度,断:断绝不需要的东西;舍:舍去多余的废物;离:脱离对物品的执着。

这种极简主义不仅是生活,同样也适用与这个风起云涌的数字化时代。在我们每天享受数字化带来的全新体验的时候,数据,正在以其几何级的姿态予以增长。医疗、教育、交通、能源……所有的行业都需要解决找到一个更好的断舍离的方式决绝这股数字洪流所带来的存储以及备份的问题。

要做到数据的断舍离,解决这个问题无外乎有两种手段:

1、减少备份的数据量——从源端要效益;

2、为数据提供更大的房子——从备端要效益;

前者属于主动型,后者属于被动型。今天我们主要说主动型。

减少备份的数据量,一个比较常用的方式是“重复数据删除”,即所谓的重删或去重方式。

重复数据删除有多个维度的分类,比如源端重复数据删除和目标端重复数据删除; 在线重复数据删除和离线重复数据删除;文件级、块级和字节,比特位级不同操作粒度的重复数据删除。除此之前,还有一些根据划分块的长度是否可变等更为细化的分类方式,这里不做赘述。

但不管是哪一种重删技术,都会存在对动态的实时变化的数据则难以处理,对系统的资源消耗比较大等问题,所以去重技术主要用于周期性的静态数据的备份与归档。同时,对于一些动态数据,比如视频,则只能采用压缩的方式,没法去重。

此外, 对源端数据的去重可以看作是对原有数据的一种修改,所以多是用在数据备份的场景中。同时,在恢复过程中,所需的数据可能不是存储在连续的磁盘块中,甚至存储在未经重复删除的备份中。当备份数据过期、存储空间释放时,就会产生存储碎片,也会导致恢复时间被延长。

针对以上问题,英方的字节级数据增量捕获技术提供了另一种让数据“瘦身”的思路。

字节级数据增量捕获技术是一种按序列化的数据捕获与传输技术,备段增量复制,实现数据的实时可用。

在需要更短的备份时间窗口、更低的资源利用率、更快的数据恢复场景中,由于英方的字节级数据捕获与复制技术所传输和保存的都是 I/O 级别的增量数据,换话句话说,可以理解为源端的IO抓取器,其实本质上是一个filter driver(过滤器驱动程序),通过插入到系统的IO路径上,将自己的回调函数注册或者说hook挂接到系统内现存的其他驱动下方,比如挂接到VFS(虚拟文件系统)下方,那么它就可以抓取每一笔针对文件系统的操作请求。这样使得数据无重可去,从而大大节省了存储空间,提升了传输效率。

那么,这种技术在具体的业务场景中是如何运用的呢?

以医疗行业的PACS系统为例:

很多医院采用的PACS系统前端多采用的是Windows操作系统,而后端挂载NAS存储。

PACS影像数据有一个特点就是文件小,但是数据量大而且都是图片。如果采用传统的定时备份,每隔一段时间就会对数据进行一次全量备份,需要很大的数据存储空间。而基于字节级技术的i2NAS采用的是准实时备份,对源端和备端的数据存储空间要求较低。

此外,在网络方面,传统定时备份采用定时触发备份,将一天的数据增量一次性传输,这样会占用较大带宽。虽然在时间上往往选择凌晨去操作,但是对于一些24小时都有业务运行的大型三甲医院来说,这依然会带来不小的不便。i2NAS在数据捕获后传送到备端存储,可以在低带宽的条件下传输,不影响内部业务网络。

关公很强,秦琼也不弱,

但关公终究不能和秦琼一战,只因二人属于不同的戏剧场景中。我们常说的技术,同样需要存在于不同的应用场景中,因此并没有绝对意义上的孰优孰劣。不管是字节级还是去重技术,都需要不断寻找最合适的使用场景。

猜你喜欢的文章

 2018数博会进入倒计“10”,20张门票免费放送

► 云灾备的三驾马车|英方胡军擎在Oracle合作伙伴峰会上的分享

 玩真的!主动释放WannaCry勒索病毒,看真CDP如何成功恢复数据(附视频

► 南京住房公积金信息中心数据灾备建设借鉴意义

及时响应,快速服务,为您保驾续航

立即注册

请先完成图形验证

验  证  码:

请先完成图形验证

验  证  码:

隐私声明
当您在本网站进行合作伙伴注册登记,本网站将收集您的相关信息,并保存记录。本网站收集的个人信息包括但不限于:姓名、地址、公司、所在地区、电话号码以及电子邮件地址等。您主动提供的信息越多及越准确,我们就能够更好地为您提供有关服务。
咨询·购买