芝加哥熊队四分卫凯莱布·威廉姆斯打出一场精英级表现，却被Pro Football Focus（PFF）评为相当平庸。这一评分引发了大量批评，而且这些批评是应得的。
但问题在于，如果这只是一次孤立的失误，那它最终毫无意义。它可能就像比赛最后阶段的一次抄截，因为一次犯规甚至没被计入数据统计。然而，它也可能说明一个机构在如何对待和呈现自己的工作方面存在根本性缺陷。
用同一把尺子量所有人
先看最明显的问题。设想一下，你开着一辆2014款本田雅阁LX，车况良好。再设想你旁边是恢复到运动巅峰的迈克尔·舒马赫，开着一辆定制法拉利。你们的目标一样——尽可能高效地穿过城区，同时不撞车。
你觉得你们会做出同样的决定吗？你觉得你们应该做出同样的决定吗？即便你是个水平尚可的司机，舒马赫能轻松做到的一些事，对你来说根本不在选项之内。
然而PFF会用同一套标准来给你的决定打分。很多四分卫的手臂就是一辆本田雅阁，但凯莱布·威廉姆斯的手臂是法拉利，他们仍然坚持用适用于其他手臂的标准来评估他的传球。他能做出的动作、能触及的决策，对绝大多数职业运动员来说甚至都不是合理的考虑选项。乔什·艾伦是另一位属于同一类别的四分卫，他在这个位置上拥有绝大多数球员不具备的选项，因此这套体系失效了。
不过，我提到开法拉利的是迈克尔·舒马赫，这也和讨论相关。因为正如你我无法像职业赛车手那样驾驭法拉利，普通受过中等训练的分析师，也无法像一位在Ben Johnson指导下花一周时间看录像的职业四分卫那样，拆解防守倾向和场上局势。然而PFF再次认为，他们比正在做录像复盘的当事四分卫更懂得如何解读防守倾向。
当然，对橄榄球稍有了解的人应该能发现我这个驾驶类比的一个根本问题——大多数时候，路上的其他车不会主动阻碍你（或舒马赫）前进。我知道看起来可能不是这样。球队实际上是在进行一场既是身体也是心理的较量，四分卫在若干次传球上的激进打法可以迫使防守做出反应，即便那些单次传球在那一档进攻中并不那么有效。如果我下棋，我会乐意牺牲一个兵去换一个车。如果你打橄榄球，你可能乐意打一记只有你的接球手能接到的深远传球，即便它没能拿到首攻，只要它能影响防守在下一轮系列赛的打法。按单档进攻给四分卫打分的做法本身，就忽略了橄榄球在60分钟内发展和利用倾向的程度。
简单说，尽管PFF大谈流程，他们使用的流程存在根本性缺陷。
选秀评估同样失准
其次，重要的是指出PFF在其他领域同样失败。最近我两次评估了哪些“大榜”在评价进攻锋线和边缘防守者方面做得最好。
在进攻锋线方面，我把PFF与Daniel Jeremiah、Jacob Infante、Mock Draft Database的共识榜以及Brandon Thorn进行了比较。这项研究涵盖了三年选秀中超过一百名进攻锋线新秀。虽然我最初纳入PFF只是为了提供一个不同视角，但我发现PFF是我研究过的所有公开榜单中最不准确的一个，他们排名靠前的新秀中只有三分之一在接近其排名的位置被选中。他们经常与其他榜单以及NFL本身在哪些球员应该被重视上存在分歧。
此外，“当由第三方评估者在这些球员进入NFL后进行复核时，PFF特别看好的新秀表现，比PFF特别看低的新秀还要差。”换句话说，PFF对进攻锋线的选秀榜偏好，不仅与NFL球队实际想选的球员不符，也与这些球员上场后的实际表现不符。正如我当时得出的结论：“值得一问的是，如果他们的评分在其他时候被检验时如此不准确，那么他们的赛季内评分能有多大价值？”
当我转向边缘防守者时，我也发现PFF看好的球员与实际在场上产出的球员之间存在脱节。这是一项更有限的研究，比较了单一表现指标（如体测数据），也参考了榜单评估者的排名，看是否有任何特质能与新秀边缘防守者的实际破坏力相符——以施压次数以及破坏性表现（擒杀、造成对方损失码数的擒抱、防守传球）来衡量。在所有个人公开榜单中，PFF在让自己看好的球员与边缘防守者前两年总施压次数相匹配方面做得最差。正如我在那篇关于选秀新秀的文章中所总结的，如果PFF与其他体系格格不入，那么很可能是PFF错了。
再说一次，他们在评估上有分歧没问题。然而，如果他们持续产出不能反映球员实际表现的评价，那么他们的产品到底还有什么价值？
问题在流程
从根本上说，这个产品……
热门跟贴