【ODCC专家视角】面向云计算的企业级硬盘基准测试
起飞
1. 常见云服务流量模型
各类服务,譬如搜索、游戏、电子商务,对于存储系统来说其流量模型是不尽相同的。把流量模型数字化到最底层,那么体现出来的就是字节长度和对应的百分比的各种组合。
下图是全球SSD领先企业三星的DSLR(device statistics log repository)工具分析出来的具体应用及其对应的字节大小和百分比。可以很明显的看到,对于网页服务器来说都是随机读的流量,其中4KB、512KB和8KB字节的占比总计达到50%以上;对于文件服务器,读占了80%,其中4KB占比60%;对于邮件服务器来说,都是32KB的读写操作,其中读占了80%、写占了20%。
另外比较常见的有大数据处理系统。大数据处理集群的数据节点通常由数十台或者上百台服务器构成,每台服务器上分别存储分布式文件系统的部分数据,需要对存储数据进行频繁操作和处理,因此要求每台服务器支持与CPU、网络IO能力相匹配的硬盘存储空间,通常集群每个服务器节点配置一定数量的企业级硬盘保证存储容量,同时配置部分SSD硬盘作为高速缓存进行IOPS和吞吐率性能加速。OLTP/数据库测试代表了处理在线事务任务时带来的大量事物负载。测试模式为8k随机测试读67%,写33%。
所以对于不同的应用,其数字化模型是不同的,对存储盘的需求和配比也是有一定差异的。作为基准测试,这就要求我们在制定测试项目的时候能够考虑到不同的字节、占比等,综合各种因素,做出比较全面的设计。
2. 基准测试项目设计
传统而言,最受用户关注的企业级硬盘技术指标包括吞吐量和IOPS,这跟传统的HDD有很大关系。对于HDD来说,由于其物理结构的原因会比较擅长顺序读写,所以一般会将对HDD的顺序读写定义为吞吐量。此时HDD能够得到最快的读写速度,也就是每秒能够读或者写的字节数。随机读写被定义为IOPS,也就是每秒进行读写(I/O)操作的次数,衡量硬盘的随机访问性能。
在设计测试项目的时候,首先是需要有项目能测量出在随机块大小和不同读写比例下的IOPS,以了解其随机访问性能;其次是测量稳态下的多种块大小(例如小块、大块等)在顺序读、顺序写情况下的吞吐量,目的是测量被测设备在没有IO总线限制的情况下能以多快的速度传输顺序数据。此外,对于SSD来说,还需要有项目能够观察被测设备从PURGED FOB状态开始对持续的随机小字节写的响应,这个项目可以持续24小时或者4倍于被测SSD的容量,以检查被测SSD对长时间小字节随机写的IOPS稳定性。由于实际的访问流量不都是小字节的,考虑到极限情况,我们还需要对被测SSD的大小字节的变化做相关测试,可以观察被测SSD对大块顺序写、小块随机写、大块顺序写的处理情况,目的是衡量被测SSD在不同相邻负载下的相互作用。必须要注意的是,性能测试中对相关的参数需要精确定义,以便测出并能描述被测硬盘的真实性能。
除了性能部分,被测硬盘的稳定性和功耗也非常受关注。
稳定性一般需要被测硬盘在一定压力下长时间运行不出问题。考虑到实际应用情况,这个项目需要在windows和linux两种OS下都进行。跟长时间运行相反,重复复位测试的是被测硬盘在服务器不断重启的状况下进行数据的拷贝和比较,以检验被测硬盘在这种极限情况下的重复复位能力。对于稳定性而言,环境测试也是一个重要的组成部分,很有必要对被测设备在高温高湿和低温环境下进行储存和运行测试。
随着IDC规模越来越大,其功耗也逐渐引起人们的重视。作为IDC中的基本部件,硬盘的功耗非常重要,特别是对于存储类服务器,动辄近20块硬盘,如果是HDD的话其启动功耗将会非常大,这些硬盘同时开机对IDC的用电会产生很大的冲击,需要有一定的策略去解决这个问题。IOPS/Watt指标对于衡量SSD是否高效非常重要,一些高性能的PCIe SSD耗电比单个的HDD可能会高,但它们的性能极为出众,使用IOPS/Watt指标后将能更加准确的反映被测设备的能耗效率比。
3. 总结
过去两年,已有三星、西部数据、希捷、东芝、光宝和英特尔等国际主流厂商超过20款企业级产品在ODCC进行了基准测试,给业界提供了很多参考数据。
企业级存储产品对于上层应用稳定可靠运行肩负着重要的责任。对企业级硬盘进行全面的的基准测试设计,建立全面衡量企业级硬盘产品的标杆方法,这样产生的测试结果对各行业都将具有非常重要的参考意义。
抵达
作者:
郭亮
中国信通院云大所数据中心研究部主任工程师
ODCC测试认证工作组组长
GuoLiang@dceco.cn
01062300088