01 当晚全绿,一早就炸了02 先取证,再说话03 基线一摆,真相露了一半04 凶手找到了:一份数据没跟着搬家05 回滚点,是提前写好的06 复盘清单:下次割接前照着做写在最后

晚上十点整,割接收工。健康检查全绿,应用连接正常,群里有人发了个"收工"的表情,大家收拾东西各回各家。

谁能想到,十个小时之后,"报表比昨天慢"的反馈会一条接一条地砸过来。同一条报表 SQL,从1.8 秒涨到4.6 秒,慢了不止一倍。更戏剧的是最后解决问题的方式:没加索引,没回滚,甚至没改一行 SQL。

今天把这次复核的完整过程拆出来讲,时间线、取证、判断、回滚点全都有,下次你碰到同类情况,可以照着走。

先把时间线摆在桌面上,你会发现问题出得多"刁钻":

  • 22:00,割接完成,健康检查通过,一切正常;
  • 22:30,抽了三条 OLTP 语句做抽查,耗时和基线接近,没毛病;
  • 次日 08:10,报表任务开跑,"比昨天慢"的反馈开始陆续出现;
  • 08:40,拿到第一条样本:同一条报表 SQL,从 1.8 秒涨到了 4.6 秒;
  • 09:00,拉出割接前一周的负载快照,开始做归一化对比;
  • 09:40,确认执行计划从索引扫描变成了全表扫描;
  • 10:10,更新统计信息,重跑,耗时降到 2.4 秒;
  • 10:40,剩下的差距用数据量增长就能解释清楚,复核结束,未回滚。

注意一个细节:晚上抽查的 OLTP 语句全都没问题,炸的全是第二天早上的报表。如果你割接当晚只验证了交易链路就觉得万事大吉,那正好会踩进这个坑——报表时段才是重灾区。

处理线上问题最怕什么?最怕一群人围着说"我觉得是 XX 的问题"。这次复核的第一步,不是动手,而是先拿三样东西:

  • 割接前的负载快照:语句、返回行数、并发、数据总量,全都有;
  • 割接后的同语句样本:同一参数、同一时段,至少跑三次,避免偶然性;
  • 两边的执行计划:不只看耗时,要看访问路径和估算行数。

三样东西缺一样,后面的讨论基本都会变成吵架。你说是索引少了,他说是数据多了,谁也说服不了谁。有了这三样,问题才有得聊。

把割接前后的数据放一张表里,信息量就出来了:

打开网易新闻 查看精彩图片

看懂这张表的关键在一行数字:每万行耗时只涨了 13%。

也就是说,把数据量增长的因素归一化掉之后,查询效率其实没怎么变差——大头确实是数据本身涨了 27%,返回行数翻了一倍多。这部分属于"正常变慢",业务能接受。

但有一处不对劲:访问路径真的变了,从索引扫描退化成了全表扫描。这部分不算预期内,必须查。

看最后一行:估算 800 行,实际 27,000 行,偏差 30 多倍。

数据库的执行计划是靠统计信息来"猜"的。猜某张表有多少数据、分布如何,然后决定走索引还是全表扫。割接的时候,数据搬过去了,统计信息却没有一起迁过来,自动收集任务又还没轮到这张表。

于是优化器拿着过时的"地图"做决策:它以为这张表只有八百行,全表扫一下也很快——结果扫了 27,000 行。这就是报表突然慢 156% 的真正原因。

处理顺序也很克制:

  • • 先收集统计信息,重跑同一条语句;
  • • 执行计划回到索引扫描,耗时降到 2.4 秒;
  • • 再对比剩余差距,确认全部由数据量增长解释;
  • 不加索引,不改 SQL,观察一天

整个过程没有任何"顺手优化"。没有把握的时候,少动就是专业。

这次没触发回滚,但回滚条件在割接前就写下来了:

  • • 同语句、同参数、同数据量,归一化之后仍然慢 2 倍以上;
  • • 出现金额、日期、排序结果不一致这类数据正确性问题;
  • • 更新统计信息后计划仍然回不到基线,且业务高峰在逼近。

更关键的是,回滚点记的不是一句轻飘飘的"可以回滚",而是可执行的步骤:切回旧库、应用连接串切换、校验三条核心报表,回滚耗时按 30 分钟预留。

真出事的时候,没人有空现场讨论方案。回滚预案的价值,全在"提前"两个字上。

这次复核沉淀下来的五条,条条都是拿真实教训换的:

  • • 统计信息随数据一起迁移,或者割接完立刻手动收集;
  • • 割接前留一份 Top 20 报表 SQL 的基线和执行计划,放在值班手册旁边;
  • • 割接后第一个晚上,专门安排报表时段的观察,别只盯交易链路;
  • • 回滚点写成可执行步骤,别只写条件;
  • • 复核表固定四列:基线、当前、归一化、结论。

还有一个心得值得单独说:复核报告要写给三天后的自己和下一班值班人看。不能写"已处理",要写处理动作和验证结果;不能写"观察中",要写观察窗口和判断标准。三天后你会忘掉所有判断过程,记录才是唯一的线索。

另外,跟业务对齐也有讲究。业务只关心两件事:什么时候恢复、恢复后数据对不对。所以报告别只堆耗时数字,直接写"哪几条核心报表已恢复、哪几条还要等",业务听得懂这两句,才愿意给你时间做排查。

这次没有加索引,没有回滚,也没有改一行 SQL。真正解决问题的,是"先归一化、再看计划、最后定位统计信息"这个顺序。

割接之后的第一批慢查询,最怕的从来不是慢,而是有人一上来就动手改。慢是现象,改之前先搞清楚"为什么慢",往往十分钟就能省掉后面十天的折腾。

你有没有经历过"割接当晚没事、第二天早上炸锅"的时刻?评论区聊聊你的翻车现场。

(文中数字与场景基于原文公开分享的复核记录整理,仅用于说明排查方法。)