来源:市场资讯

(来源:锐捷网络)

早上七点半,燕山大学信息技术中心的值班老师打开乐享运维平台,看到某条出口链路的流量曲线不对。他顺着曲线往下查,几分钟后在机房里找到原因:一段光纤弯折过大。等大批师生开始用网之前,链路已经恢复。

这段经过写在燕山大学的实践案例里。故障在师生报障之前就被发现。多数时候,流程是反过来的:电话先响,人再出发。

终端报障就是最典型的一类。一个学生说“连不上网”,一位老师说“网很慢”。这类工单占了校园网运维的多数,处理它最费时间的环节是取证——把“这个终端到底卡在哪”说清楚。

一张工单背后,是五个系统

在高校里,终端类报障大致有这么几种。

打开网易新闻 查看精彩图片

宿舍或教室的无线终端连不上。处理路径是:先从认证系统查账号,转成 IP 和 MAC,再逐个登录不同厂商的无线管理平台,看它挂在哪个 AP 上。设备品牌一多,要登录的平台就多。

有人反映“网很慢”。慢的原因可能是终端本身,可能是 AP 承载饱和,可能是信号弱,也可能是终端在两个 AP 之间来回切换,也就是乒乓漫游。不把终端侧和 AP 侧的数据放在一起,很难说清是哪一种。

门禁、摄像头、打印机这类哑终端离线。传统做法是五步挨个排:交换机有没有离线、接口有没有故障、MAC 表有没有学到、SSH 登录 ping 一轮、再登核心交换机查网关。一次定位动辄半小时,而且拿不出“网络这一侧没问题”的证据,和厂商交涉时容易各说各话。

安全通报要溯源。网安、教务处或态势感知给过来一个 IP,需要把日志、防火墙 NAT、认证平台串一遍,才能找到是哪个部门、哪台设备。

这些场景有个共同点:

终端的信息在一处,网络侧的信息在另一处,中间靠人工转。账号在认证计费系统里,MAC 和 IP 在各个厂商的无线控制器和交换机的 MAC 表里,设备状态在网管平台里。“上不了网”这四个字要变成一条能处理的线索,得有人把这几个地方的信息串起来。

“有一个终端列表”还不够

终端管理这件事由来已久,多数准入或运维平台都能列出一张在线终端表。真正拉开差距的是三个问题:这张表覆不覆盖有线终端,覆不覆盖别的厂商的无线设备,表里的信息有多新。

高校的无线设备常常是多品牌并存的。不同时期、不同楼宇采购的设备可能来自不同厂商,控制器型号也不统一。如果终端数据只从某一个品牌的无线控制器里取,这张表的覆盖范围就止于这个品牌;剩下那些设备上的终端,还是得回到各自的平台里去翻。

更新速度同理。周期性扫描能给出一个大致准确的快照,但终端的上线、下线、漫游、IP 变化是按秒发生的。要跟上这些变化,靠定时扫描不够,需要设备主动把日志报上来。

投 票

乐享的思路:一张表,加两条数据链

锐捷乐享智能运维管理平台3.0的终端故障排查,落在一张统一的终端表上:有线无线终端定位,洞察上网状态与信号质量,支持漫游轨迹与历史故障追溯分析。有线终端和无线终端放进同一张列表,用账号、IP、MAC、位置、上联设备、AP、SSID 里的任意一个都能查。用账号定位在校园网里更顺手,师生记得住账号,记不住 MAC。这层对应关系有个前提:平台需要和认证计费系统做了对接,以 MAC 作为标识带出账号。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

这张表的数据来自两条链。

有线侧走双通道。一路是周期性的 ARP/MAC 扫描,给出终端和上联接口的对应关系;另一路是接收交换机的 MAC 变更日志,在终端状态变化时实时更新上联设备和接口。平时靠扫描兜底,变化发生时靠日志即时跟上。落地时最先遇到的麻烦是几百台交换机逐台配置太重,乐享3.0的解法是内置常见厂商的开通脚本,自动算出需要开通的最小接口集,再批量下发;实施前需要先确认哪些交换机、哪些接口要开。

无线侧接收的是控制器上报的终端行为日志。无线控制器首次被发现时先用 SNMP 扫一遍在线终端,之后在无线控制器上开启日志上报,接收认证成功、地址获取成功、漫游、离线这类事件,实时刷新终端状态。乐享3.0兼容多厂商无线设备,采集终端运行指标,把终端状态、终端体验、在网轨迹等数据可视化,解决传统多系统割裂、数据滞后、漫游故障难定位的痛点。这一环依赖对应的无线控制器支持并开放日志上报,如果控制器不支持,或策略上不允许开启,这一侧的更新速度会打折。

打开网易新闻 查看精彩图片

终端表只是入口。省时间的地方,在详情页一屏里能看到什么。

对一个有线终端,详情页给出基本信息(MAC、IP、VLAN、账号、上联设备和接口)、当前速率与丢错包,以及从接入交换机到网关整条转发路径上每台设备的关键指标、告警和故障前最近一次配置变更,再加上上下线、VLAN 变化的历史轨迹,和同一台交换机下其他终端的横向对比。

对一个无线终端,给出当前频段、上线时和当前的信号强度、上线异常的阶段和原因(关联失败、认证失败、握手失败、获取 IP 失败,以及实时速率、信噪比、丢包、节电状态,和关联 AP 的状态、饱和度、干扰告警。漫游轨迹会把前后 AP、频段、信号强度摆在一起对比,乒乓漫游能直接看出来。这些轨迹明细保留最近 7 天,终端记录保留 180 天,足够覆盖一次报障的事后回溯。

这些信息放在一起,回答的是三个问题:

网络这一侧有没有问题,是个体还是局部,卡在哪个环节。

恢复动作也在同一屏。AP、智分主机、微 AP 支持一键重启,列表可以批量,详情页可以单点,不用再登录无线控制器敲命令行。

不等报障也能先动手。终端列表可以直接筛出体验差的无线终端;平台按上线、下线异常的次数给出位置、AP、终端的排行,异常按阶段统计占比,结果可以导出。哪个楼栋、哪台 AP 的问题最多,翻榜就有。

三所高校的验证

燕山大学

打开网易新闻 查看精彩图片

河北省人民政府、教育部、工业和信息化部、国家国防科技工业局四方共建的全国重点大学。学校东西两个校区通过双 40G 链路互联,楼宇主干链路和学生公寓上行链路均达到 20G,联网主机超过 30000 台,各类应用系统 200 余个。支撑这套网络的信息技术中心网络部,只有 5 个人,他们同时要承担校园网络的技术研发、设备适配与架构测试、基础服务运维监测,以及面向全校 4 万余名师生的维修与技术支持。

打开网易新闻 查看精彩图片

关键链路监控

燕山大学信息技术中心王宇在实践分享中表示,引入乐享并运行一年多之后,网络故障报修率比上一年下降 25%;学生反馈的宿舍网络卡顿问题基本清零;全校 900 多台设备实现多品牌、多类型的统一纳管;出口链路的一次流量异常,也在几分钟内定位到机房光纤弯折,赶在大量用网之前完成恢复。对 5 个人的团队来说,省下来的每一次逐台登录、每一次重复接单,都是能投到别处的工时。

打开网易新闻 查看精彩图片

无线监控

南昌大学

打开网易新闻 查看精彩图片

南昌大学的情况更典型。由于历史原因,学校无线的接入设备来自 5 个厂商,合计 7400 余台,每日无线终端在线用户数超过 2 万。多品牌带来的是多个后台并行管理:故障定位难、排障效率低、用户体验难感知,问题最后都会落到信息中心的口碑上。

打开网易新闻 查看精彩图片

接入乐享之后,5 个厂商的设备统一纳管,认证平台与运维打通。运维人员看得清每天的认证失败、漫游失败、握手失败、地址获取失败,以及可疑攻击和 IP 欺骗;通过学工号就能知道终端在什么位置、关联哪个 AP、什么时间发生过什么故障、有无漫游以及历史情况如何。沟通成本降下来,排障效率随之提升。

南京工业大学

打开网易新闻 查看精彩图片

南京工业大学把 15000 多台无线 AP 纳入统一监控,运维人员按入网账号即可秒级定位终端的 IP、MAC 地址和实时位置,分析上下线异常、漫游质量、频段占用等无线体验指标,并回溯终端 72 小时内的漫游路径与信号强度变化。原本小时级的终端排查,被压缩到分钟级。

打开网易新闻 查看精彩图片

终端监控可实时获取师生用网体验感知状态

三所学校的设备构成不同:燕山大学是有线和无线一起管,南昌大学要在一个界面里管 5 个厂商的无线设备,南京工业大学把重点放在无线体验的回溯上。终端表的数据来源覆盖得越广,排障里需要逐台登录的环节就越少。

同一套能力,落在三个岗位上

一线网络运维工程师最先感受到变化。报障进来,网络这一侧直接给结论——上联设备是好是坏、有没有告警、故障前动过什么配置、同一个口下其他终端是不是也这样,不用再登五轮设备取证。每个体验指标和射频指标都带说明、问题影响和处理建议,新人也能照着看懂。体验差的终端能直接筛出来,哪个位置、哪台 AP 上下线异常最多,不等报障就能先动手。

信息中心主任看的是另一层。无线终端在各位置的分布密度、当日在线峰值、最近 7 天的在线趋势、SSID 和频段占比,全局一眼看完。AP 出问题时按位置直接派单到人,不必先打电话问“你在哪栋楼”。异常次数最多的位置、AP、终端可以直接导出成排行,下一轮网络改造先动哪里,手上有数据。

安全责任人关心的是第三层。终端的历史上网轨迹可回溯,安全通报进来时,从 IP 到人、到端口的路径,比四个系统串一遍短得多。

结语

高校终端排障的麻烦,一半来自设备多、终端多,另一半来自数据散。燕山大学、南昌大学、南京工业大学解决的问题都在后半段:把散在认证系统、各厂商控制器和网管里的信息收进同一张终端表,再和上联设备的状态、告警、配置变更放在一起看。

如果你的学校也在为终端报障耗人力:

想先看同行怎么做:锐捷乐享高校案例集里收录了燕山大学、南昌大学、南京工业大学等学校的完整实践;

想验证在自己网里行不行:预约一次在线演示或试用,我们会安排工程师对接。