【论数据中心微模块测试技术】

1、引言

随着移动互联网、大数据、云计算、物联网等新兴技术的兴起,全球数据中心数量持续增长,并呈现出高功率密度和高能耗的发展趋势。近年来,我国超大型数据中心的建设速度也逐渐加快,部署机架数量大幅增长。为了缩短数据中心建设周期,减少初期投入成本,数据中心微模块(以下简称微模块)成为了互联网行业、通信行业及其他行业的数据中心的最佳选择。与此同时,随着5G和工业互联网等实际应用规模不断扩大,边缘数据中心和小型数据中心的数量呈现出倍增的趋势。而在上述边缘数据中心和小型数据中心中,微模块也成为了标准化、绿色化建设的不可缺少的组成部分。

2、数据中心微模块概念

基于行业诉求,目前国内各大供应商均在着手研发数据中心微模块。它虽然是小型的机房,但随着其标准化步伐的加快,目前已成为了新型产品。那么,什么是微模块产品?该产品不同于传统意义上的产品,它选择性地包含了数据中心的供配电设备、制冷设备、监控部分、储能设备等机房内的各类基础设施。在行业标准YD/T 3004-2016《模块化通信机房技术要求》标准中定义通信机房(含数据中心)微模块是指由机柜系统、配电系统、监控系统、供电系统(可选)、制冷末端(可选)、综合布线系统、安防系统等组成的具有标准的功能定义和输入输出接口,能够完成单项或多项业务的功能单元。从该定义中,可以看出微模块是一个完成多项业务的功能单元,其构成较为复杂。在行业标准YD/T3290-2017《一体化微型模块化数据中心技术要求》中定义的微模块是由一定数量的两列背对背或面对面的IT机柜以及不间断电源、近端冷却设备等通过封闭通道而形成的小型机柜集群。通过封闭两列IT机柜间的冷或热通道,形成与大机房和其他集群相对隔离的物理环境。根据机柜内设备情况设计独立的电气、制冷、安防、监控、布线甚至消防系统,用户仅需要提供外部市电、网络和必要的冷源即可使数据中心投入运营。微模块内各子系统、组件均可在工厂进行预制、调试,现场快速组装后即可投入使用。多个微模块之间极少或者没有物理关联,用户可按需建设,实现将一个大规模数据中心模块化分步部署。此描述较清晰具体,并对提前预制、调试等情况均提出了要求。

图中的虚线部分可依据数据中心规模和微模块的具体部署而灵活配置。例如,很多大型数据中心基础设施中会具有高压机组、高压配电及变压器等设备,而小型数据中心中很可能会不包含此部分。另外,微模块中的空调末端设备,可以采用列间空调,根据冷量需要布置于服务器机柜中间采用水平送风;也可以采用传统机房专用空调,布置于列的两端采用下送风方式进行制冷。

3、数据中心微模块测试技术

微模块作为一个产品,可以从其整体、电气子系统、制冷子系统、监控子系统、通道组件和安全性能等几大部分进行测试验证,若详细进行验证参数有数十余条。由于篇幅有限,微模块重要参数的测试方法及具体案例简要分析如下:

3.1 整体性能测试技术

在整体性能中包括了输入特性、能效PUE、温度场均匀性等参数。

(1)输入电压与频率范围测试

若将微模块当作黑盒来看,其在一定输入电压范围及输入频率范围之内应正常工作。对于配备交流UPS或高压直流模块的微模块,在上述电源设备以额定负荷运行的条件下,使用净化电源等输入电源设备调节其电压至被测模块所允许的电压上限值和下限值,检查在此范围之内微模块内的ICT设备或模拟负载是否能够正常稳定运行。频率范围测试方法与电压范围测试方法非常类似,调节净化电源频率参数即可。对于供电设备在微模块外部的情况,即微模块内部只包含配电设备,同样调节输入参数,检查包括ICT在内的微模块各设备是否能够运行正常。

(2)能效(PUE)测试方法

微模块的PUE测试方法较其他参数测试复杂,对于采用风冷空调系统的微模块该参数的测试涉及负载率的变化以及室外温度的变化。由于负载变化直接影响微模块内的电源及配电产品效率,而室外环境温度的变化直接影响到空调系统的能效,因此,严格意义上该参数只能在焓差实验室内进行测试,并且应具备可调负载,均匀分布在微模块里ICT机架内。按照笔者经验,宜采用25%、50%、75%和100%负载率和室外环境温度-5℃、10℃、15℃、25℃和35℃的不同组合进行测试。具体试验过程为:在输入条件为额定电压条件下,连接好负载(即将模拟负载插入IT机柜内),并在模拟负载的适当位置布置温度传感器。温度传感器应均匀布置在每个机柜上中下或者上下位置。但必须注意的是,尽量在具体运行的设备进风口处或者模拟负载处进行测试才具有温度的代表性。针对某样品进行PUE测试的图如图2-1至图2-4所示。该微模块通过实时监测负荷状态,动态调整供电系统的工作模式(如开启休眠功能)以及制冷系统的工作模式(如开启轮巡工作),达到数据中心整体能效优化和总体能耗降低的目标。试验案例中对动态节能PUE参数和关闭节能模式时的传统PUE参数进行了比较,由试验结果图看出,在不同的负载率下节能效果均明显。

值得注意的是,若无焓差实验室的条件,只能在现场测试时,应重点考虑室外环境温度的变化情况是否满足验证的要求。同时,对于水冷空调系统,要检查室外冷源部分是否由单独的配电柜进行供电,从而直接能够测量室外冷源部分的能耗。若在大型数据中心等室外冷源部分是集中配置冷水机组和水泵时,无法直接测试微模块所对应的室外冷源功耗,测试结果中应写明测试条件。

(3)温度场均匀性测试

温度场均匀性对ICT设备的稳定运行有着非常重要的作用,是安全、稳定、可靠运行的重要保障。微模块内的温度场均匀性测试计算方式有两种。第一种方法为依据所有传感器的温度数值计算出平均值T,再找出温度最大值和最小值,依据如下公式计算出温度场均匀度(µ1~µ2)。

式中Ta为温度最高值,Tb为温度最低值;

另一种计算方法为首先测得每个机柜的进风温度的平均值T1、T2……Tn。再套用公式(1)得出温度场的均匀度。

上述两种方法对比而言,第一种方法计算出的均匀性会差,因为整个温度场中的最高温度和最低温度的相差会大。而第二种方法在每个机柜处都已经计算出了机柜进风口的平均温度,所以套用同样的公式(1)时,得到的均匀性数据范围会小很多。

3.2 供电子系统测试
(1)供电架构检查

微模块各回路供电应考虑冗余,可采用1+1冗余或N+1冗余方式。依据保障等级可选择空调系统是否由交流UPS或高压直流供电。检查供电架构和回路结构时测试人员应从供电接口输入端开始把相关回路走线检查到末端,清晰辨认回路的总体铺设情况以及冗余情况,同时检查线缆标识是否准确无误,是否清晰可见。

(2)电池后备保障时间测试

首先使被测微模块以设计的额定功率运行。应注意此功率不是微模块内电源系统的额定容量,也不是机架额定容量的总和。由于考虑到冗余,不会把所有机架都按照额定容量插满负载,因此验证微模块正常工作时的最大容量(即设计额定容量)进行放电时,测试后备电池所能支撑的时间。电池截止电压应依据相关电池的行业标准截止电压进行。按照笔者测试经验,考虑到数据中心的安全性保障,配备的蓄电池容量应能够维持产品以满功率运行不少于15分钟。

(3)电池管理功能测试

微模块的供电子系统对电池组良好的管理功能对后备电池的使用寿命具有非常大的影响。因此管理系统应具备电池单体电压、内阻、极柱温度、电流、SOC/SOH监测功能以及蓄电池均充充电及浮充充电状态进行手动或自动转换功能。对蓄电池进行充电时,蓄电池管理部分应能限流充电,并且限流值能根据需要进行调整。此外,管理部分也应能根据蓄电池环境温度,对系统的输出电压进行温度补偿或保护。

3.3 空调子系统测试
对于空调系统,首先检查是否具有空调排水故障检测和溢水停机保护两级告警功能,是否具备冷媒泄露检测,并且是否在管理系统上显示相关的告警信息。对具有节能功能的空调系统,应验证其空调系统的休眠和轮巡功能。具体方法是,调整模块内IT负荷的负载率至50%以下,检查空调机组是否部分进入休眠状态,验证其是否具备自动轮巡和手动轮巡功能。关闭其中一台或几台空调,模拟空调机组故障,检查休眠空调设备是否能够自动启动。此外,模拟微模块内部出现高温故障,检查备机是否自动进入运行状态,并测试上述状态下,整个温度场的均匀度是否满足相关要求。

3.4 监控子系统测试
就目前的监控管理系统总体水平而言,大部分微模块具备了整体布局、各链路和部分(具体包括供电链路、制冷链路、冷量视图、温度云图等)显示功能,能耗管理功能、资产管理功能等。也可依据客户不同需求,设置更多的可视化的和支持各类终端接入的功能。测试人员应逐一检查相关的链路和显示是否与微模块实际配置保持一致。同时,采用高精度的仪表对电压、电流等参数进行测量,并检验监控系统所采集数据的相对误差是否符合要求。

此外,告警与保护是监控系统保障整个微模块安全可靠运行的重要部分。在发生开关断开、输入过/欠压、机柜过载,局部过温、有烟雾、水浸和湿度过高等异常情况时,模块应能够产生相应的告警,并作出对应的保护动作。检测人员应通过人工手段逐一模拟上述各类异常情况并检查验证是否产生了相应告警信息和保护动作。此外,随着数据中心基础设施与新兴ICT技术的深度融合,目前,较先进的微模块也具备了基于人工智能技术的根源告警自动定位功能。通过智能化的手段,能够准确定位故障源并呈现给维护人员,将根源告警衍生出来的其他告警信息隐藏在下级目录中,从而让维护人员第一时间处理根源故障,大大节省故障定位时间,保障数据中心安全稳定运行。

3.5 安全性能测试技术
(1)消防安全功能测试

首先应检查系统的天窗控制器设备是否正常接入,且外部消防信号联动、内部烟感联动、远程控制开窗、空调故障联动功能是否均正常。在此基础上,触发告警信号,检查天窗是否自动打开以及启动灭火功能。

(2)承压测试

承压测试的目的是检查在发生火灾等情况下消防柜进行喷射时微模块是否发生任何异常。测试时首先关闭微模块门窗、洞口等,并采用手动启动灭火控制模式,通过控制器使消防设备柜同时进行喷放,此时检查消防联动是否关闭了通风系统并打开顶上翻转天窗。消防柜喷放后,检查微模块外壳是否有变形、损坏,泄压阀是否自动开启,通风系统是否自动开启等。

(3)接地性能测试

微模块内的电源设备、配电设备和空调设备等均需要保证接地良好,因此微模块内部具有较多的接地端子。该测试中的接地性能指的是微模块作为一个整体,是否具备完善的接地系统,检查接地排布置是否合理,是否形成闭合环接地汇流母排,并测量微模块平台总接地点对地的接地电阻值。

(4)防护等级测试

该测试主要是在实验室条件下进行防护等级试验,可依据GB 4208中规定的相关IP等级进行测试,具体见表1、表2和表3所示,本文不做赘述。

4、总结
本文重点解析数据中心微模块的测试方法,包括整体测试方法以及各子系统的测试方法和安全性能测试方法,希望对相关研发技术人员、标准化研究人员以及相关的运维人员提供支撑和帮助。■

参考文献:

[1] YD/T 3004-2016《模块化通信机房技术要求》;

[2] YD/T3290-2017《一体化微型模块化数据中心技术要求》;

[3] 齐曙光,黄娟英《智慧化与标准化助力数据中心安全绿色发展》,《UPS应用》,2019年第10期

原文刊载于《互联网天地》2020年5期,作者:齐曙光、王长山、李尚,单位:中国信息通信研究院泰尔系统实验室能源与环境测评部

投稿邮箱:bjb@isc.org.cn

封面垂询:010-68209027

#给你看看我的手帐吧[超话]##用手帐记录jessie的小日子#
吼吼吼
我又开始“搞事”了
之前开了一本五年
现在有认真在补写

最近的手帐内容不是一直记录自己做的食物吗
头脑一热
就打算把TN拿来记录我想要保存回忆的吃食
让它彻底成为一本对我来说具有功能性的美食手帐/做饭手帐/吃货打卡录……

然后 还有
呵 我果然是放不下A6
双面的排版
拼贴起来太顺了
所以记录一些琐碎吧

日常打脸的人
已经不在乎了打脸的次数了
脸已经木了 没有疼痛感[打脸]
开心就好[doge]

#gmmtv# 我不过就是好几个月没混泰腐圈居然不知道阿加出柜了啊啊啊?!
我的GMM(泰圈)的神仙小哥哥和神仙小姐姐要被发现了我有点舍不得
赢仔和亮仔说不定会成为GMM第四对台柱CP呢
我的SK,OG,TN,噗萌,饭卡小新,泰迪,星星,滚哥,lee,太子爷,一哥等等
还有我的小姐姐puimek云妹和love妹妹
我爱你们[心]


发布     👍 0 举报 写留言 🖊   
✋热门推荐
  • “你说你要敬往事一杯酒,再爱也不回头。实际你醉到黄昏独自愁,如果那人伸出手,你还是想跟他走。” ​​​​ 内些经过分分合合相爱相杀兜兜转转却又走到一起的情侣们
  • #千纸鹤零钱包# #纸鹤绮谭# #520# [丘比特]卷+关,at1位亲友 啾④色千纸鹤零钱包(每人1个) 千纸鹤零钱包 520表白日特供 限·量199
  • 我真的截不完的反馈!!! 新人第一节课花了分钟 我愿意花这个时间 因为我真的觉得很爽 不是谁跟我说这样就能赚多少钱 钱我已经赚到了 我只是在做我后面该做的责任
  • 之前出去养生馆试过拔罐和刮痧是真的巨舒服,肩颈和后背可以得到很大的放松,整个人精气神都感觉不一样了。 但我没有想到有一天我敢自己在家拔罐和刮痧耶! 我在用之前也
  • 欧布废设的石黑桑的访谈部分,或许有人想看原文搞了一点翻译。 首先强调的是,欧布超全集明确写了凯是O-50出身,这边石黑桑说到的都是早期设定(所以被大家叫做废设)
  • #阳光信用[超话]##阳光信用# [太阳]#每日一善# ygxy较好 互动指路 不吞必hui 勿带 勿带hui字,带hui字降双方⭕ 人与人之间,因缘
  • #陪许魏洲向光奔跑[超话]# 我偷吻你的唇,比果冻更香甜 0514[心] #许魏洲电视剧流光之城# 我不能恋爱的女朋友 迟信 亲爱的麻洋街欧小剑 仲夏满天心
  • 新藏线骑游日志(10) D10:大红柳滩(H4200m)-奇台达坂(H5170m)-甜水海(H4890m)117Km 5月8日,8点多钟出发,下午3点到达奇台
  • 我挺遗憾的,与你相识太晚。不然我会早些幸福很多年。你让我体会到被爱的感觉,被宠溺的感觉,在你面前我是个任性的孩子。你虽然很平凡,但你确是一个真正的好男人。有担当
  • #棉花美娃娃[超话]# 带着娃单出来溜圈,寻找共同xp的妈咪一起耍娃,对帅哥念念不忘 家里现货是里苏特深蓝和栗子喵! 甜甜在路上,过两天就到家,等待和哥哥们一
  • 张艺兴:嗨 ,你好,绯闻女友! 杨紫:一句话差点把我干回家了! 在最新一期的《向往的生活》中,两人以高情商玩笑的方式澄清了两人的关系,节目中,张艺兴叫杨紫姐姐,
  • 阿‮公赞‬一对一“九‮开尾‬媚眼•正‮缘姻‬法​‎ ͏ ​ 降” 梦幻‮尾九‬狐仙入‮帮法‬助开启媚眼‮魅 ‬力​ 无限 容颜‮发焕‬ 收获正缘 ‮人人‬都有追
  • #少女的王座[超话]# 麻了,我大号倾家荡产几百抽才出了那么几件ssr衣服,结果今天无聊用小号混池up里抽着玩,抽了一个十连一个单抽,一共11次,7个ssr,其
  • 【玄清随笔】农历二月出生的男人命理运势如何?#八字算命# #八字算命婚姻事业财运#   不同月份出生的人运势都会有所不同,那么在农历二月出生的人运势是好是
  • 1、天行健,君子以自强不息。地势坤,君子以厚德载物。 2、穷则变,变则通,通则久。 3、一阴一阳之谓道,继之者善也,成之者性也。 4、仁者见之谓之仁,知者
  • 今日の放送ではみんなで 蓮田家にお邪魔してます! 鴨居さん…大丈夫かな… それぞれの想いに胸熱な回になっていると思います! ぜひご覧ください☺️ 放送中は番
  • 怎样知道哪些书是值得精读的呢? 对于这个问题不必发愁。自古以来,已经有一位最公正的评选家,有许多推荐者向它推荐好书。这个选家就是时间,这些推荐者就是群众。历来
  • 六点值班结束,防疫指挥部还灯火通明,疫情之下,都很辛苦。 回到家,大妞和小妞说有惊喜,原来俩人各做了一个菜,妞炒的鸡蛋柿子放了老抽,我说这才是真正黑色的料理
  • 源图 —看我的微博顶置 当有人逼迫你去突破自己, 你要感恩他。 他是你生命中的贵人, 也许你会因此而改变和蜕变。 当沒有人逼迫你,请自己逼迫自己, 因为真正的改
  • 三毛说:心之何如,有似万丈迷津,遥亘千里,其中并无舟子可以渡人,除了自渡,他人爱莫能助”。世界犹如一个大花园,身处其中的每个人都有各自不同的美丽。 别人无法复