国际商业机器(中国)投资有限公司存储开发经理王宁:Tape Technology for Cloud
大家下午好,我是来自IBM系统研发实验室的王宁。今天非常有幸能够在这里跟大家分享我们在存储上的一些观察。我今天演讲的主题是磁带在超大规模数据中心应用的趋势和解决方案。
国际商业机器(中国)投资有限公司存储开发经理王宁
今天来提磁带,前面也有好多专家讲了磁盘,讲了SSD,今天我们基本上把所有的介质都讲完了。最早的磁带机在1952年诞生,是IBM制造出来的第一款磁带机。此经历了60多年的发展历程,它从最早的圆轴磁带变成了现在的盒式磁带,也从最早需要人工装载/卸载变成现在可以自动完成这个任务的磁带机。60多年的发展历程下来,磁带也遇到过它很多挑战,包括在90年代,随着磁盘技术的迅猛发展,也有很多人开始预测说磁带可能总有一天会被磁盘所取代。但是我们看到20多年过去了,磁带还是有它非常强有力的魅力,依然可以在特定的场合发挥着它的作用。我们看一看这到底是为什么。
这张图,前面也有嘉宾给大家看了类似的图,这张图告诉大家数据大爆炸的时代来临了。这是IDC的一个预测报告,到2025年,全球数据总量会达到163ZB,我们现在谈我们的数据中心,可能量级是在PB、EB,将来我们谈都是在ZB这个级别的。而且这么大体量的数据,会有26%的数据落在公有云上,在座有很多来自于运营商的,也有国内知名的超大规模数据中心的所有者,我们身上肩负着很重要的任务,我们怎么样保证这些数据是可靠的安全的。这些数据的存放非常重要,而且大家也看到,AI的时代到来,我们除了存放这些数据,我们可能还要关心怎么样去挖掘这些数据里面的价值。所以我们在这里做了一个关于数据价值的分类,大家可以看到我们做的这个分类最左边这一块大的是归档和需要长期保存的数据,它的这部分数据占比非常之大。
从数据价值角度做了区分以后,我们再来看一看下面这张图,这张图同样也是来自于IDC,IDC对数据访问的热度做了一个区分,分成四个层级,我们看到Tier 0最红的这一块访问最为频繁,访问的要求也特别高的一块数据,它放在Tier 0,而且建议大家用SSD。后面两块,Tier 1和Tier 2数据,它认为是一些核心的业务,是我们需要7×24小时在线的业务,这部分数据占比在35%。我们现在基本上都在用硬盘存放这些数据。这块绿的数据占比60%,表示它不怎么会被访问,它是一个冷数据,但是由于一些法律法规的需求,我们必须把它保存下来,如果建设我们的数据中心的时候,我们如果能够对这部分做很好的规划,就可以在我们的成本上有大大的降低。我们在备份方面也有特别多的尝试,包括用光盘存储,光盘本身造价也不低,而且我知道世界上有一个著名的企业曾经使用光盘寸纯来做冷备份,但是用了没几年,他们最终选择了另外的方案。也有一些尝试是用消费级的硬盘去替代企业级的硬盘,消费级的硬盘本身确实在价格上有优势,但是出错率会比较高,你可能需要不停更换它。降到一定程度,你的成本可能就降不下来了。还有一些尝试是MAID,MAID是大规模非活动磁盘阵列,它最终还是一个基于磁盘的方案。它做了一件类似于磁带库的事情,把你这些硬盘,如果说这些硬盘上访问的次数少了,他把这些硬盘的转速降低,或者说我基本上没怎么访问了,把这个硬盘下电,当我有请求过来的时候再加电或者再把转速提起来。这样做确实能在能耗上有所降低,但是我们的硬盘不怎么适用于这样的场景,不停降低转速,再提高上来,或者加电、下电,这样对硬盘本身的损耗是比较大的,所以在硬盘寿命上可能会有一定影响。综合起来,几年下来你本身的成本也很难控制下来。
我们用什么来做备份,用磁带,我们在这里做了一个比较,右边这个图大家可以看到我们对磁盘和磁带的解决方案。这里是1TB容量的数据,存在磁盘上或者存在磁带上的成本的比较图,蓝色这部分是购置成本,你买这么多容量,你用磁带的方案要多少钱,用磁盘的方案要多少钱,显然磁带在这上面有很大的优势。而且我们可能还需要考虑的一点,我们大部分情况下,磁盘3-5年都需要更换一次,但是磁带不一样,磁带普遍的寿命是30-50年,也就是说你今天购买了这个磁带,你可能30年后这个磁带还可以继续用。绿色这块是占地空间,由于磁带机本身它的密度可以做得很高,所以它占地上的成本也会相对低一点。红色的部分是能耗,刚才也提到说磁盘需要不停在线上,一直都会有电的损耗。对于磁带来说就不存在这个问题,磁带大部分情况下都是下电的,它在这个上面也非常符合节能减排的要求。整体来说,磁盘和磁带的比较来说,磁带的成本会是磁盘的1/6。由于磁带本身并不是永远都在线,所以很好阻隔了网络攻击,数据安全性上会更好。
我们提到磁带有那么多好处,有没有其他厂商在用,给大家举两个例子。全球已经有非常多的知名厂商用着磁带的技术,大家所熟悉的微软,我在这里贴了一个微软的视频,这是他在2015年时一个summit上做了一个公开的演讲,他在里面提到了他大量使用了磁带的技术,而且微软也大胆预测,所有的云厂商终将会用此,而且会以一种他前所未见的方式去使用磁带。第二个例子是谷歌,谷歌在2013年的时候也有一次公开演讲说他怎么样做备份里面提到了一个例子,由于某一次Gmail的升级,引入了一个小bug,把大概0.02%的用户数据丢失掉了。还好他们有磁带备份,他们花了两天时间,从30万张磁带当中把这些数据又重新恢复了。在这个演讲当中也有人问他,你们这么大的企业难道没有多份拷贝吗?他说我们是有的,但是由于我们这个bug把我们所有的拷贝都给清掉了,运气不错的是还有一份磁带的拷贝在那里,所以数据又可以恢复回来。
我们说了磁带那么多好处,毕竟它已经发展60多年了,大家可能会想,你说这已经发展60多年的技术,是不是可能已经到头了?来看看磁带的发展规划图,左边这个图是磁带和磁盘在于面密度上的比较,红色这条线是磁盘的,绿色这条线是磁带。左上角有一个红框,大家可以看到磁盘在面密度上的表现,接下来的十年可能已经趋于平缓。而我们的磁带还在保持着它的线性增长。2017年,IBM和索尼一起联合研发,在实验室已经验证可以在一个平方英寸的面上存放下201个GB的数据,这是一个什么样的概念,将来像我的手这么大的一个磁带上可以放得下330个TB的数据。右边这张图是LTO的路线图,LTO本身是一个标准的协议,它使得我只要符合这种协议的盘都可以读得出来,大家会觉得我会不会被某一家企业绑定,如果上磁带的话,但只要符合这种标准,现在还有很多家企业在做磁带。现在发展到了第八代,原始容量是12TB,压缩过后可以提供过TB。等我们发展到十二代的时候,原始容量可以达到192TB,我们压缩过后可以达到480TB。磁带在接下来的十年里,它成本上的优势将会越来越明显。
介绍了那么多,可能大家觉得此那么好,可是我不太了解磁带,我不知道怎么来用它,或者说有没有什么样比较好的solution可以提供给我,让我可以把磁带很好的结合到我的数据中心里面去,接下来我给大家看一套开放的磁带解决方案。这套方案底下这两个黑柜子就是我们的磁带库,与带库连接的或者打教导的是LTFS,就是线性磁带文件系统,它做了一件什么事情,往磁带上写数据的时候,它把磁带先放在两个区,第一个区做索引,第二个区写真实的数据。有了它以后,此就变成一个可以自描述的东西,当我把磁带接到我的Server上,就可以在我的Server上看到磁带上有什么样的内容。通过它以后,磁带有一个文件系统,而且是一个开放式的标准。再往上,因为整套方案是基于Swift的,蓝色的框是Swift的HLM,这是一个开源的中间件,大家也可以通过github来下载。它提供了一个对象的方式来访问我们的磁带,可以从数据往磁盘往磁带上迁移,也可以把数据读回到磁盘上。而且整个方案提供给最终应用的接口就是一个Recall API,这套方案还有很多的可能性,我们可以做很多的定制,包括我们只拿到文件接口来做,或者说我们拿上面这一层的对象的接口来做,都可以。
时间关系,我不做展开,大家如果有进一步的需要了解的,可以通过下面的方式找到我,我们可以一起来探讨。
我今天的演讲就到这里,谢谢大家!