宝武集团使用时序数据库IoTDB助力钢铁设备智能运维|中国宝武钢铁集团|宝武集团|时序|运维|钢铁设备

1.背景概述

宝武装备智能科技有限公司(以下简称：宝武智维)是中国宝武设备智能运维专业化平台公司，30 余年始终专注于钢铁行业设备技术服务，逐步打通检测、诊断、检修、制造等设备服务环节，形成系统解决方案服务模式，希望为用户提供稳定可靠、智能高效的设备运行保障。

随着工业物联网的迅速发展，面向钢铁领域设备的智能运维成为大数据、人工智能等先进技术重要的应用方向之一。钢铁产线设备大型化、复杂度高，设备之间相互耦合，现场问题定位和修复难度非常高。同时，钢铁设备通常处于连续运转状态，出现异常对于产线产能影响可观，实现设备的实时性、预防性维护对于保障产线效能、实现企业降本增效均十分重要。

为实现钢铁产线设备智能运维这一项极具挑战的复杂系统创新工程，宝武智维基于海量工业时序数据积累及其丰富的应用场景，自主构建具备低成本、大规模接入能力的设备远程智能运维平台，并于 2023 年全面融合国产时序数据库 IoTDB，作为该平台管理宝武全集团时序数据的核心组件。

通过 IoTDB，宝武智维得以“激活”时序数据价值，大幅提升宝武集团、基地侧智能化数据写入、存储、分析、传输性能，并为下游设备故障排查业务场景提供了坚实的数据支撑，形成了面向钢铁全流程，一个平台、一个专家系统、一套标准化体系的智能设备运维新模式。

2.选型痛点

在全面接入 IoTDB 之前，宝武智维已经经过多年探索，并使用基于 Hadoop 的 HBase 和 OpenTSDB 作为钢铁设备的时序数据管理架构。业务初期，该架构应用效果较好，但随着更多数据量的接入，其慢慢成为了制约发展的底层瓶颈，主要体现在两个大方面：“慢”和“难”。

写入慢：常规情况下，旧版架构勉强能够达到写入性能要求，但后续业务的扩张伴随设备、数据量的激增，结合基地网络资源的有限性，写入性能逐渐捉襟见肘。如果碰到网络断线等异常场景，往往大量消息、数据出现堵塞，网络恢复后需要快速地进行消费，但旧版架构也无法支撑消费速度要求。

查询慢：宝武集团查询数据跨度可能以年为单位，并要求大跨度数据实现查询秒级响应，而在数据量增加后，旧版架构仅能实现 5-30 秒内返回，对于业务平台使用效果与实时监控设备状态的目的实现存在较大影响。

加工慢：数据写入存储后，需要使用聚合函数等方法实现多类数据加工，但基于旧版架构其速度非常有限，且很容易导致整体数据架构不稳定。

抽取慢、汇聚难：当进行集团-基地数据资产整合时，往往需要不断地将基地存储数据抽取至集团侧。旧版架构对于数据的实时传输支持不足，对持续的传输过程稳定性影响较大。

清理难：基于旧版架构的数据清理、删减主要依靠 TTL，过程复杂且灵活度较低。宝武集团实践时，曾出现磁盘将满情况下，定好的数据需要写程序进行导出，再导回系统的情况，数据运维工作十分繁琐。

备份难：庞大的数据体量下，基于旧版架构的策略化备份实现非常困难，基本无法备份，只能选择部署 3 节点集群以响应备份需求。

耗费大量成本获取的海量高价值数据，却变成了深不见底的数据黑洞。随着数据量不断增长，运行效率却无法提升，数据反而成为拖累，下游应用系统、团队的施展空间很低，无法将数据价值真正转化为业务价值。

因此，宝武智维的时序数据库选型标准可以概括为：

能够写入海量并发数据;

能够用更低成本存储全量数据、高频数据;

能够实时查询、分析数据，实现高效的数据清理与备份;

能够实现集团侧-基地侧数据实时同步、汇聚的易用方案。

3.部署方案

2023 年开始，IoTDB 全面替换 OpenTSDB，成为宝武集团时序数据湖的数据底座。运用 IoTDB 为时序数据管理核心的宝武智维云平台，已部署至宝武集团全部生产基地，并逐步扩展至集团外，负责接入宝武全集团所有基地内的所有设备数据，并进行在线状态监测与设备智能运维业务。

目前，宝武智维云全面覆盖宝武集团 21 大生产基地，接入 27 个子平台、60 万以上设备、240 万以上数据项，总数据量超 5 PB。平台配置规则超 10 万条，已沉淀智能模型超 40 大类，平台用户数超 1 万。

从以 IoTDB 进行重构的全新架构来看，宝武超大规模分布式数据湖由 1 个 E4-IoTDB 集团数据湖和 N 个 E3-IoTDB 基地数据湖集群组成。多个 E3-IoTDB 基地数据湖负责存储管理该基地的设备数据，而宝武集团层的 E4-IoTDB 数据湖主要覆盖常态数据的降频存储和故障相关数据的原始频率存储。同时，集团层可以通过下发任务方式，从各个基地抽取所需数据并进行存储，用于模型训练及定制化数据任务。

宝武集团与基地之间的数据同步方式目前有两种。第一种为通过 Pipe 使用 IoTDB 自研的时序数据标准文件格式 TsFile 进行高效传输，不需要数据的重新组织和重复写入，可实现数据端到端的直接使用。另一种为使用全贯通的 Kafka 数据总线进行数据上传，能够满足宝武各基地及集团的数据防火墙传输要求。

实现数据的高性能写入、存储，并打通数据抽取、传输链路后，宝武集团成功构建了 E4 集团数据湖与 E3 基地数据湖。集团数据湖包括一个主库、N 个功能库和一个备份库，功能库又包括故障特征库与 AI 训练库。故障特征库包括所有基地的设备故障特征，各基地一天几十条至几百条不等的故障事件所涉及到的相关数据均会上传并进行存储，方便集团集中分析故障趋势与原因。各基地数据湖则包括一个主库、一个功能库和一个备份库，功能库主要做为同步库使用。

使用 IoTDB 后，宝武集团时序数据管理效果提升非常明显，实现性能提升 1 个量级，存储成本大幅下降，运维手段丰富，数据资产汇聚，AI 模型训练加速等有效成果。

存储成本方面，通过实践，基于 IoTDB 可实现 10 倍数据压缩比，并能够用少量服务器存储集团规模数据。对于钢铁领域最重要的数据类型之一——信号数据的存储成本也得到大幅降低。

运维手段方面，相比旧版架构僵化、暴力的数据清洗处理方式，宝武集团成功基于 IoTDB 实现备份、清理的灵活策略化，能够积累丰富的指标、监测信息，帮助运维人员实现对设备状态的更好理解。

性能指标方面，IoTDB 写入速度可实现千万点/秒，可以长时间稳定写入高频数据;基地上报的秒级数据及边缘侧上报的毫秒级数据，一年数据量查询可实现秒级返回，并能够覆盖长达十年、数百万点的设备数据降采样分析，性能获得用户认可。同时，IoTDB 提供了丰富的聚合函数，有效拓宽宝武集团的数据加工场景，加速原始数据加工，并通过上述数据传输方案提升数据汇聚速度，方便数据真正形成模型，实现规模化运用。

与前文中的选型要求对照可见，IoTDB 在写入、存储、查询、分析、运维、汇聚等方向，均契合了宝武智维的时序数据库选型标准，从根源处解决了 OpenTSDB 与 HBase 架构的多个性能与功能实践痛点。

4.应用场景举例

场景一：波形信号数据处理

钢铁行业中，设备实时上报的振动波形数据是最可靠的时序数据资产之一，能够有效反映设备的运行状态。宝武集团的振动波形数据一般分为两类，一类是通过 PLC、DCS 采集上报的工艺量数据，一类是通过加装大量传感器，如温振传感器采集上报的振动波形数据。各类传感器安装数量庞大，因此后一类数据的体量十分可观。

旧版架构中，以上两类数据基本通过对象存储方式存入 HBase，存储量占比在某些基地达到 1:20。一个基地的数据中，20 份为振动数据，1 份为工艺量数据，可见振动传感器上传的时序数据体量十分庞大，存储管理的成本，以及后续使用处理的难度可想而知。

引入 IoTDB之后，参考 IoTDB 团队所在的天谋科技技术人员的建议，宝武智维不再将振动波形数据作为对象进行存储，而是直接将数据拆散之后，以纳秒级精度存储到 IoTDB，这样能够有效提升该类数据的存储压缩比，大幅降低其存储成本。同时，存储模式发生变化后，应用模式也随之发生变化。宝武智维可以直接在 IoTDB 层面对振动波形数据进行处理，为后续的数据加工工作提供了有力支撑。宝武智维表示该项改良是“非常颠覆性的设计”。