存储Jbod测试规范
2020-07-04谭世伟丁兆鹏陈思睿
谭世伟 丁兆鹏 陈思睿
摘要:当前随着信息化的大力发展,数据量的锯齿状的增长,越来越需要大容量的存储设备,而存储服务器,存储Jbod的大力发展一方面满足了大容量数据的存储需求,另一方面为数据量的爆炸式增长提供了便捷的存储方式。存储Jbod设计上需要突出的地方也越来越多,设计需求也越来越复杂,对测试验证的要求也越来越高。本文章通过结合具体客户的应用场景提出存储Jbod重点测试要点和方法论。
关键词:存储Jbod;测试规范;方法论;测试验证
中图分类号:TP319 文献标识码:A
文章编号:1009-3044(2020)15-0260-02
鉴于数据成倍的增长,存储服务器需求量越来越大,1U32,3U48,4U60,4U106,4U108以及4U120类型的存储服务器,存储Jbod Jbof大量应用到市场端,设计越来越复杂,对存储服务器测试验收提高到越来越高要求的验收标准。本文重点探讨研究存储服务器,存储Jbod,存储Jbof的测试验收规范。
1存储Jbod测试故障
分布式存储Jbod测试中经常会遇到各种各样的问题,掉盘,背板压降低等等导致耽误大量的人力和时间去分析问题。实际测试工作中,更换线缆后掉带宽问题,测试复现超过2周才完成问题定位;整块Expander硬盘背板掉盘,交叉分析验证超过2周才发现根因。人力的投入,时间的耽误导致产品上市时间一直往后延期。
针对存储Jbod测试,由于缺少测试流程和测试手法需要投入大量人力和时间去分析定位问题,导致项目一直延期。
2存储Jbod测试规范
现针对存储Jbod测试,提出如下实际测试总结的测试规范和大纲,方便后期测试人员便利。Jbod测试中,遇到的第一个问题就是机头SAS卡选择类型。实际中应以Jbod使用的芯片决定机头Server SAS卡的型号。比如Jbod使用的Expander芯片是LSI的,机头的SAS卡必须也是LSI的;Jbod的Expander芯片是PMC的,机头的SAS卡必须也是PMC的卡子。否则两者兼容性测试会出现各种各样想不到的故障。
其次,针对Jbod测试需要在测试之前收集一下信息作为测试开展工作的前提首选。
针对Jbod测试,机头SAS卡FW选择,SAS卡NVDATA参数设置非常重要。如果机头Server端BMC不支持监控功能,SAS卡就必须要设置成不支持监控功能。Jbod硬盘数量超过40块,SAS卡配置参数一般需要设置成不扫描后端硬盘的配置参数,否则实际测试中将会遇到无法pxe启动,机头扫描SAS卡缺失等故障。
Jbod在测试之前,使用Expander芯片厂商提供的工具检测一下误码率,防止没有检查误码率的情况下进行开展大量测试;一般Expander芯片厂商均会提供芯片的治具来能够直接查看误码率和带宽。如下是LSI芯片查看常用的指令:
#cli phyinfo
#cli
Jbod在测试之前,检查SAS端口速率情况,非正常带宽情况不开展测试,必须达到相应的规格带宽,比如12G防止测试前带宽不满足测试要求。硬盘速率协商正常满足Spec要求。
针对Jbod测试,测试硬盘选择,需要选用Jbod能够支持的功耗最大的机械盘进行测试,比如空气盘,比如氦气盘,比如SAS SSD等;
针对Jbod测试,对最大功耗的硬盘进行压测时,认真参考此款硬盘的功耗说明书,检查一下硬盘在哪种模式下功耗最高,大多数机械硬盘,在随机读写时功耗最高,测试脚本需要优先使用此模式进行测试。如下两种模式是压测功耗比较大的配置参数:随机写4K小块(Random RW 4KB Qd=8)(randomread 4K16Q)。
压测工程中为了达到最大功耗压测,需要把CPU的能力完全发挥出来,CPU支持48核心,硬盘压测将48核心全部使用上。
针对Jbod测试,在进行满配最大支持的功耗硬盘进行最大压测时,要进行拔掉一块PSU测试。单PSU'情况下,PSU输出压降会变大,故障率会比较高。实时查看单PSU供电的情况下压测是否存在硬盘或者硬盘背板电压降低的告警和故障。
3存储Jbod供电线缆
针对Jbod测试,重点关注背板OCP点,PDB供电板最大输出功率,线缆压降等;需要进行全链路压降测试。针对通过线缆给硬盘背板供电的Jbod,重点关注供电线缆的压降情况。
支持12W空气盘,DC关注点
硬盘背板线缆压降:
线缆总体压降要求:硬盘背板的单个背板通流30A,电源和GND线的总体线缆压降在450mV以下,线缆温升后,压降在500mV以下。
硬盘背板OCP保护点修改:
单个硬盘背板电流约30A,OCP保护点需要调整到50A以上,对应的修改只需要修改OCP电阻值
支持14.5W空气盘,DC关注点:
硬盘背板线缆压降(需要线缆和机构一起修改):
线缆总体压降要求:硬盘背板的單个背板通流37A,电源和GND线的总体线缆压降在350mV以下,线缆温升后,压降在380mV以下。
硬盘背板OCP保护点修改:
单个硬盘背板电流约37A,OCP保护点需要调整到55A以上,对应的修改只需要修改OCP电阻值
PSU连接器需要升级到支持更大电流:
当前PSU电源连接器单个无法支持到2000W以上功率,需要更换到2200W以上电源连接器,需要修改PDB板的线路和Layout。
4结论
以上测试主要要点和方法不分先后顺序,但是针对Jbod和存储服务器测试验证,以上内容大大减少测试时间和交叉验证的时间对存储服务器和Jbod SIT验证问题和发现问题保证产品质量提升起到很大的效果。