AI 算力数据中心液冷集群运行过程中,机柜、GPU 冷板发生局部过热属于较为常见的现场故障。

该现象会带来算力硬件降频,情况严重时会造成设备损坏。不少现场运维只依靠单一温度阈值设置告警,容易产生告警误报,难以分辨故障根源是流量供给不足,还是换热部件本身出现异常。

把温度传感器与流量计结合开展联合诊断,可以实现故障点位定位与诱因区分,缩短故障处置耗时,保障算力集群平稳运行。

单纯依靠某一类仪表,很容易把故障判断引向错误方向,增加现场排查的工作量。需要说明,仪表仅负责采集原始工况数据,故障分析判断需要由运维人员或者上层动环监控平台完成。

打开网易新闻 查看精彩图片

依靠温度锁定异常点位,结合流量计数据区分故障诱因

温度类器件的作用,是锁定出现温升异常的机柜或者冷板支路。仅依靠温度采集数据,无法直接判断过热来源于流量供给不足,还是冷板内部堵塞、换热接触面异常,需要配套流量数据交叉核验。

在机柜支路同步布置温度变送器和流量计,持续采集支路实时运行数据。当回液温度明显超出日常基线,同时支路流量读数低于设计额定区间,可以初步判断为流量供给不足造成散热变差。

如果温度读数偏高,但流量维持在正常区间,故障诱因会偏向冷板本体状态变化、冷却液换热能力衰减,不属于流量层面的问题。

系统总管仪表只能反映整套系统的整体工况,多数过热故障实际发生在单机柜支路,因此支路层级温度、流量配套监测不可省略。

很多项目只在总管位置安装监测设备,支路缺少采集点位,出现局部过热时很难定位具体机柜。

锐凌 131 温度变送器可以完成液冷供回液的温度采集,输出标准化信号对接动环监控平台,方便运维统计供回液温差变化趋势,为联合诊断提供可靠的现场采集数据。

打开网易新闻 查看精彩图片

通过供回液温差变化趋势,捕捉尚未触发告警的隐性故障

供回液温差是液冷系统重要参考指标。在设备负载维持稳定的前提下,温差数值出现波动,代表换热能力已经产生改变。实际运维工作中,很多隐患并不会直接触发现场告警,依靠趋势分析可以做到提前干预。

当温差持续走高,同步伴随流量数值下降,属于流量供给不足带来的温度上升。流量读数保持稳定,但温差不断变大,则提示冷板换热效果减弱,存在内部脏污、结垢的可能性。

部分故障不会直接触发超温告警,但温差曲线会提前释放异常信号。运维人员可以根据曲线变化提前介入维护,而不是等待硬件告警之后再处理。

现场运维需要调取历史时序曲线做对比,不能只看某一瞬间的快照数值。

瞬时波动有可能是算力负载短时跳动导致,不代表系统存在故障。

锐凌小口径涡轮流量计适配液冷机柜支路小流量测量,和温度器件形成数据互补,方便运维对照流量、温度两组曲线交叉分析。

打开网易新闻 查看精彩图片

区分单支路异常与系统性故障,缩小排查范围

多条机柜支路同时出现温度升高,总管流量同步下滑,代表泵组、总管管路这类系统层面部件存在问题,故障影响范围覆盖整个液冷循环。

只有个别支路温度异常,总管流量无明显变化,故障局限在对应支路管路、阀门、冷板,只需要针对单条支路开展检查,不用对整套系统停机检修。

联合读取两类设备数据,能够规避单参数判断带来的误判,减少运维人员盲目拆机排查,提升现场故障处理的效率。

该套诊断逻辑存在适用边界。介质物性改变、冷板硬件物理损伤等情况,还需要搭配其他检测仪表综合确认,不能仅依靠温度与流量两组数据下定论。现场应当建立完整的仪表监测矩阵,多维度校验系统运行状态。