模型考古 · 第 4 季 验货 第 06 篇 有些差异，你这辈子都验不出来 一个数据分析模型在 74,291 场数据上的失败史
有些差异，你这辈子都验不出来
一、一个让人清醒的计算
前面几篇留下几个"没通过检验"的结果：
总进球层：模型 21.04% vs 永远猜 3 球 20.71%，差 0.32pp，p=1.000
让球层：模型 51.13% vs 基线 46.28%，差 4.85pp，p=0.144
比分 Top3：模型 30.10% vs 基线 25.57%，差 4.53pp，p=0.126
这些"不显著"里，有一种是样本不够，攒下去就能验出来；另一种是永远验不出来。
区别在哪？可以算出来。
二、★ 需要多少场
两个比例的检验，给定显著性水平（α=0.05）和检验功效（80%，即"真有差异时 80% 的概率能查出来"），需要的样本量有现成公式。把实际数字代进去：
要检测的差距
每组需要
55% vs 50%
1565 场
53% vs 50%
4356 场
52.43% vs 41.10%（方向层已证实）
304 场
51.13% vs 46.28%（让球层）
1667 场
21.04% vs 20.71%（总进球层）
238094 场
最后一行不是笔误：二十三万八千场。
三、为什么差之毫厘，需要谬以千里
关键在公式的分子里有个平方项：
n ≈ (常数) ÷ (p₁ − p₂)²
差距缩到 1/2，样本量要 4 倍；缩到 1/10，要 100 倍。
方向层的差距是 11.33pp → 304 场就够（我们实际有 309 场，刚好够，所以 p=0.0002）
让球层的差距是 4.85pp → 约是前者的 1/2.3，样本量要 (2.3)² ≈ 5.3 倍 → 1667 场
总进球层的差距是 0.32pp → 约是方向层的 1/35，样本量要 35² ≈ 1225 倍 → 238094 场
一天推演 30 场，一年约 1 万场。二十三万场需要二十四年。
而"24 年"还是乐观估计——它假设这 24 年里模型和数据口径完全不变。
四、这改变了什么
它改变的是"继续收集数据"这个策略的价值判断。
对于总进球层，即使你再跑 3000 场（比现在多 10 倍），0.32pp 的差距仍然验不出来。因为需要的是 80 倍，不是 10 倍。
所以正确的问题不是"再攒多少场"，而是：
这个差距即使存在，它值得我去证实吗？
0.32 个百分点意味着：每 300 场，模型比一句"就猜 3 球"多对 1 场。就算它是真的，也小到没有实用价值。
这时候"验不出来"反而是个解脱——它告诉你，该换方向了，而不是继续加样本。
同样的"待证实"标签，需要的样本量差了 780 倍
差距越小，需要的样本量按平方反比爆炸
五、反过来用：先算，再做
这个公式最有价值的地方不是事后解释，而是事前刹车。
以后要动一个参数、加一个因子，先问一句：我预期它能带来多大改善？
预期改善
需要的场次
5pp
≈ 1565
3pp
≈ 4356
1pp
≈ 39000
0.3pp
≈ 238000
如果手上只有 300 场，那么只有 5pp 以上的改善才可能被证实。任何你预期只能带来 1~2pp 的改动，在 300 场的样本上，无论结果看着多漂亮，都不可能是"证据"——它只能是线索。
前面几季验证过的那些"换个更漂亮的模型"（贝叶斯动态、Elo、负二项、Copula），全部卡在这里：它们带来的改善都在 1~3pp 量级，而样本只有 309 场。这不是方法不好，是尺子不够细。
六、三个现实的提醒
第一，功效 80% 是我选的，不是标准答案。 选 90% 的话，样本量还要再涨三成；选 70% 能省一些，但假阴性风险上升。这个参数要在做之前定好，不能看着结果调。
第二，公式假设两组样本独立且等大。 我们的对比常常是配对的（同一批比赛比两种方法），配对设计效率更高，实际需要的样本会少一些。所以 1667 场是个保守估计，真实门槛可能略低——但量级不变。
第三，"验不出来"不等于"没有"。 总进球层那 0.32pp 也许真实存在，只是永远无法用这批数据证实。科学上，一个无法被证实的命题，等同于没有命题。
七、一个反过来的用法：它证明了什么
这个公式也能用来说明哪些结论是稳的。
方向层 +11.33pp 需要 304 场，我们有 309 场——刚好越过门槛。这不是巧合，它说明方向层的优势是"量级足够大"的那种，不需要海量样本就能看见。
换句话说：一个结论如果需要几千场才能证实，那它的效应量本身就小到不算什么。 反过来看，能在 300 场里站住的结论，才是真的有大效应。
八、一句话
在动手改模型之前，先算一下"这个改动需要多少场才能被证明"——答案常常是"比我这辈子能攒到的还多"，这时候最理性的做法不是继续攒，是承认它不重要。
>>> 下期预告：第 07 篇《验货之后》——本季小结。六个工具跑完，这套东西还剩什么是站得住的，什么只是看起来站得住。
本系列为体育数据统计与概率知识科普，所有结论来自公开比赛结果的统计，不构成任何投注建议。
热门跟贴