打开网易新闻 查看精彩图片
那天,我正在给老板展示我们的新监控面板。绿色对勾排得整整齐齐,99.97%的 uptime 数字亮得晃眼。每月4000刀的观测工具堆出来的安全感,够专业吧?
手机突然震了。不是 PagerDuty,不是 Datadog,是 Twitter。@angry_user_47 的私信弹出来:「yo @OurStartup your login has been broken for 2 hours wtf」。紧接着第二下、第三下——全在骂登录崩了。
我低头看大屏,全绿。刷新,还是绿。再刷新,依旧绿。2000 个用户实际进不去系统,我们的仪表盘却在开派对。
后来查清楚:监控探针走的是内部网络白名单,绕过了出问题的认证节点。换句话说,我们在自己家里试门锁,钥匙当然能开。
现在那条 Twitter 被我截图设成了桌面。老板每次路过我工位,都忍不住多看两眼。
热门跟贴