凌晨3点,一个小区开始掉话,没有任何告警。到了上午9点,同一个小区进入工作日惯常的忙时,告警响了。工程师去查,没发现任何问题,把工单关了。

打开网易新闻 查看精彩图片

如果你在网络运维一线干过,这个场景不陌生。一位在现网2G/3G/4G/5G网络上做射频与网络规划的工程师,把原因归结到一条几乎人人都在用的规则:

if drop_rate > 2%: raise_alarm()

静态阈值简单、可解释、能批量铺到成千上万个小区。但它出错的频率,比大多数团队愿意承认的要高得多。

每个小区都有自己的“正常”

挨着高速路的小区、覆盖热闹市场的小区、位于安静村庄的小区,行为完全不同。一条阈值套不住这三种情况。设低了,忙时小区用误报把你淹掉;设高了,安静小区可能连续几周劣化都没人发现。

时间也会改变一切。周一上午9点的流量,和周日凌晨2点的流量完全不是一回事。夜里看起来该报警的数值,放在忙时可能完全健康。一条横贯图表的固定直线,分辨不出这种差别。

网络还会主动变化

这一点最让人头疼。这位工程师参与过一次涉及500多个站点的设备商替换,从一家设备商换到另一家。KPI基线一夜之间整体偏移。设备没坏,只是不同厂商对计数器的定义不一样。

静态阈值全线亮起,真正的故障被埋在噪声里。

第一个解法是让模型自己学“正常”:不再由人告诉系统什么是正常,而是让它按小区、按小时、按星期几分别学习正常区间,再标记偏离。在他的实际工作中,基于机器学习的方法相比原先使用的静态阈值,把检测准确率提升了约18%。

但学出来的基线会带来新问题。

漂移陷阱

用上个月数据训练的模型会慢慢过期。新站上线、参数重调、流量增长、软件升级,这些变化叫概念漂移,在电信网络里是常态而不是例外。

显而易见的办法是持续用近期数据重训。但盲目重训,模型最终会把一个真实故障学成“正常”。一个已经劣化两周的小区不再显得异常——它不是恢复了,是模型习惯了。

于是真正的问题变成:怎样适应正常的变化,又不把真实故障一起吸收进去?

这个问题正是他在莫拉图瓦大学(University of Moratuwa)数据科学与人工智能硕士研究的方向:面向移动无线接入网KPI数据的漂移感知异常检测与根因排序。方法大致分三块:

  • 用上已知信息。设备商替换、新站开通、参数变更都是提前规划好的,检测器应该利用这些上下文,而不是靠猜。
  • 谨慎适应。只有当偏移是一致、可解释、且不与用户体验变差挂钩时,才更新基线。
  • 不要停在“出问题了”。“小区4521异常”这句话,仍然要工程师去翻几十个计数器。把最可能解释这次异常的KPI排个序,告警才能变成根因分析的起点。

价值也很直接:误报少了,工程师的时间就花在用户真正能感知的问题上;根因排序每次事件能省下数小时;检测器扛得住网络变化,就不用每次网络演进都重建一套监控——在这个行业,网络一直在演进。

他给出的更大一条经验是:领域知识决定模型有没有用。没有网络背景的数据科学家,会心安理得地训练一份定义中途变过的数据;没有数据能力的射频工程师,会继续手工调阈值。真正的价值在两者交汇的地方。