硬盘坏掉之前,其实一直在发信号。问题是,有没有东西在听。

打开网易新闻 查看精彩图片

开源日志管理与 SIEM 平台 Logtide 发布 1.7.0 版本,第一次把视线从应用层挪到了机器本身。在此之前,它清楚你的日志、链路和指标,却对承载这一切的硬件一无所知——一块硬盘可能连续几周在重分配扇区,而第一条相关日志,是 Postgres 报出的 I/O 错误。

这个功能的起点是一次聊天。11 月 7 日,作者和朋友聊起一个叫「Logtide Maintenance」的设想:装在一台服务器上,在硬件真正坏掉之前告诉你它要坏了。对方在同一刻想到了同一件事,并给出了更有用的一句:动手之前,先研究清楚到底什么会坏。于是有了一份清单:磁盘、SSD 磨损、ECC 内存、CPU 机器检查与降频、风扇与电源、温度、网口。

第二个问题是,有没有人已经做了。答案是:有,但只做了一部分。

  • Netdata 监控 SMART,并带异常检测;
  • Scrutiny 是很好用的纯磁盘看板;
  • Dell iDRAC 和 HPE InfoSight 能做预测性故障分析,但只限自家服务器;
  • Zabbix、Checkmk 以及配合 smartctl_exporter 的 Prometheus 有 SMART 和 IPMI 模板,走的是固定阈值。

它们都没做的事,是把硬件计数器摆到日志旁边。而很多硬件故障恰恰先在日志里露头:dmesg 里的 ECC 与机器检查错误、I/O 超时、SATA 与 NVMe 链路重置、PCIe AER 错误。Logtide 本来就有日志,这就是切入点。

新版本在 Monitor 下新增了 Hardware 区块,盯的是裸机和 homelab 主机的物理健康。每台主机按组件给出状态、解释该状态的发现项,以及 7 天趋势。虚拟机被识别出来后显示为「无传感器」——虚拟机没有真实数据可报,与其摆一墙空图表,不如直说。

点开一台主机,先看到发现项,再看到每个组件的细节。比如一块 SATA 硬盘一周内重分配了 24 个扇区,而 SMART 仍显示「通过」;再比如一条内存条正在记录可纠正的 ECC 错误。

看趋势,不看阈值

SMART 自带「通过」或「失败」的判定,作为早期预警几乎没用。一块硬盘可以天天重分配扇区却仍报「通过」,因为厂商阈值设得让判定翻转得非常晚。所以规则看的是计数器怎么动,而不只是停在哪:

  • 任何重分配扇区都算警告;7 天内新增十个及以上为严重,即使 SMART 仍说「通过」;
  • 待定扇区和不可纠正扇区只要不为零,就是警告;
  • 过去 24 小时增长的 UDMA CRC 错误算警告——实践中这通常是 SATA 线坏了,不是盘坏了,发现项里会写明;
  • 过去 24 小时增长的可纠正 ECC 错误算警告,一天一百个及以上为严重:那条内存正在快速劣化;任何不可纠正错误都是严重;
  • SSD 寿命到额定磨损的 80% 为警告,95% 为严重;
  • 停止上报的设备本身也是一条发现项。掉出总线的硬盘或被拔掉的电源,不该从页面上凭空消失。

计数器按 24 小时和 7 天两个窗口比较,且比较能扛住计数器重置——比如重启会清掉 EDAC 计数。

有一点需要说清楚:这是早期预警,不是预测。2007 年谷歌针对大样本硬盘的研究,以及 Backblaze 此后公布的数据,都指向同一个结论:相当大一部分硬盘,大约三分之一,在没有任何 SMART 警告的情况下直接坏掉。Hardware Health 能抓住那些会报警的盘,而且比 SMART 自己的判定更早;它抓不住一声不吭就死的盘。备份还是要做。

另一半工作是去抖。一个卡在临界值的温度传感器会每分钟越线又回来,而每分钟给你发告警的监控工具,一天之内就会被静音。更差的状态需要在两次评估中持续至少 3 分钟才算数,回到正常则需要 10 分钟的安静。每次劣化是一个事件、一条事故,而不是每次评估都开一条。

事故、通知与检测包

主机劣化会以新的 hardware 来源开启一条事故,并走和其他事故一样的通知路由:渠道新增 Hardware health 事件类型,支持邮件兜底、PagerDuty 和 webhook(hardware.health.degraded 与 hardware.health.recovered)。主机恢复时,PagerDuty 事故也会被解决,即使你中途把主机静音了。

并非所有硬件问题都是计数器。有些只在 kernel log 里出现:机器检查异常、APEI 错误、磁盘链路重置、NVMe 超时、PCIe AER、来自 BMC 的温度与电源事件。新的 Hardware Health 检测包为这些准备了 21 条 Sigma 规则,对你已经送进 Logtide 的任何 kernel log 都能生效,装不装 agent 都行。

数据来自一个小 agent:单个 Python 文件,只用标准库,Python 3.8 及以上,约 1500 行。它读取 smartctl、EDAC、hwmon、热降频计数器、ipmitool 传感器和 BMC 事件日志,全部以 OTLP 指标发到 Logtide 已有的端点。来自 /dev/kmsg 的硬件行和 BMC 事件,则作为普通日志进入 hardware 服务。每条外部命令都有时间预算,SMART 跑在独立线程里——一块真在垂死的盘能把 smartctl 卡住几分钟,而 agent 在那期间应该继续上报机器其余部分。

agent 起初在主仓库里,发布前搬了出去:logtide-dev/logtide-hw-agent,MIT 许可,版本号从 1.0.0 起独立。核心是 AGPL。一个要装到每台自己拥有的机器上的 agent,应该容易审计、fork 和打包,也应该能在不等待 Logtide 发版的情况下,为某个奇怪的 RAID 控制器单独发修复。

用 Docker 跑:

docker run -d --name logtide-hw-agent --privileged \
-v /sys:/host/sys:ro -v /proc:/host/proc:ro \
-e HOST_ROOT=/host \
-e LOGTIDE_URL=https://api.logtide.dev \
-e LOGTIDE_API_KEY=lp_your_project_key \
logtide/hw-agent:1

如果 Logtide 就跑在同一台机器上,可以用新的 compose profile:设置 HW_AGENT_API_KEY,然后执行 docker compose --profile hardware up -d。对不想跑 Docker 的主机,也提供了 systemd 单元。

其余值得一提的改动:Traces 里的行可点击,点 Operations 行即按该操作过滤,点 trace 行即打开该 trace,Ctrl 或中键在新标签页打开;Operations 列表变短,卡片只显示最慢的 8 个操作并带「显示全部」开关,trace 列表不再被挤出屏幕;已登录状态下打开 /login 不再显示登录表单,而是跳转到仪表盘;新增能力 hardware.max_hosts,默认不限。

升级方式:docker compose pull,然后 docker compose up -d。迁移 079 在启动时运行,新增 hardware_hosts 表和新的 incident 来源,不触碰已有数据。agent 是可选的:不启动它,什么都不会变。

Hardware Health 1.0 有意留了几件事没做,它们也是明显的下一步:通过 NUT 监控 UPS,以及通过厂商 CLI 监控 RAID 控制器健康(电池、虚拟磁盘状态)——两者都在最初那份「什么会坏」的清单上;Redfish,用于 BMC 支持它而 IPMI 更差劲的服务器;按主机设置阈值,给那些天生就运行得热的机器;以及 Windows 和 macOS agent,目前 agent 只支持 Linux。

Logtide 其余部分的待办,是给 uptime 监控加域名到期检查(#280),以及整套栈的水平扩展方案(#221)。