围绕芝加哥熊队四分卫凯莱布·威廉姆斯一场高水平发挥被Pro Football Focus打出相当平庸分数一事，近期引发了大量批评，而且这些批评并非没有道理。但如果这只是一次孤立的失误，那它最终毫无意义。它可能小到像比赛末段一次因犯规被吹掉、连数据栏都进不去的抄截。但它也可能表明，这家机构在如何处理和呈现自己的工作方面，存在根本性缺陷。
给四分卫打分
先说最直观的一点。设想你（也就是读这篇文章的人）开着一辆状态良好的2014款本田雅阁LX，旁边是一辆定制法拉利，驾驶者是恢复到运动巅峰的迈克尔·舒马赫。你们的目标相同：尽可能高效地穿过城区，且不出事故。
你认为你们会做出同样的判断吗？你认为你们应该做出同样的判断吗？即便你是个水平尚可的司机，舒马赫能轻松做到的一些事，对你来说根本不在选项之内。
而Pro Football Focus，恰恰用同一套标准给你的判断打分。很多四分卫的手臂是本田雅阁，但凯莱布·威廉姆斯的手臂是法拉利，他们却坚持用衡量其他手臂的尺度来评估他做出的传球。有些动作他能做、有些决策他能触及，而这些对绝大多数职业球员来说甚至不是合理的考虑项。乔什·艾伦是另一个属于同一类别的四分卫——他在这个位置上拥有的选项，绝大多数球员并不具备，于是这套体系就失效了。
不过，我提到舒马赫作为法拉利驾驶者，还有另一层相关性。因为正如你我无法像职业赛车手那样驾驭法拉利，一个水平中等的分析师，也无法像一名在本·约翰逊指导下、用一整周时间做录像复盘的职业四分卫那样，去拆解防守倾向和场上局势。然而，Pro Football Focus依然相信，他们比身处其中、正在做复盘的当事人更懂得如何阅读防守倾向。
当然，对橄榄球稍有了解的人，应该能发现这个驾驶类比的根本问题：大多数时候，路上的其他车并不会主动阻碍你或舒马赫前进。球队之间进行的，是一场心理与身体同等重要的对抗。四分卫在若干次传球上的激进选择，即便单次效果不佳，也能迫使防守方做出反应。下棋时，我愿意牺牲一个兵去换一个车；打橄榄球时，你可能乐意打一记只有自己外接手能接到的深远传球，即便它没拿到首攻，只要它能让防守方在下一轮系列赛中改变打法。按单次进攻给四分卫打分这件事本身，就忽略了橄榄球在60分钟里如何建立并利用倾向性的程度。
简而言之，尽管他们大谈流程，Pro Football Focus所用的流程从根本上就是有缺陷的。
选秀
接下来，同样重要的是指出，Pro Football Focus在其他方面也有失准之处。近期，我两次评估了各家"大榜单"在进攻锋线和边缘防守者两个位置上的评估质量。
在进攻锋线方面，我将Pro Football Focus与丹尼尔·杰里迈亚、雅各布·因凡特、Mock Draft Database 的共识榜单以及布兰登·索恩做了对比。这项研究覆盖了三年选秀、超过一百名进攻锋线新秀。原本只是为引入一个不同视角而纳入Pro Football Focus，结果却发现，它是所研究的全部公开榜单中准确度最低的一个，其排名靠前的新秀中只有三分之一在接近其预测的位置被选中。他们经常与其他榜单、也与NFL本身在球员价值判断上相左。
此外，当这些新秀进入NFL后由第三方评估者复核时，被Pro Football Focus特别看好的新秀，表现反而比被他们特别看低的新秀更差。换句话说，Pro Football Focus在进攻锋线上的榜单偏好，既不接近NFL球队实际想选的人，也不接近这些球员上场后的真实表现。正如我当时所总结的：如果他们的评分在别的时点被检验时如此不准，那他们的赛季内评分又能有多大价值？
转向边缘防守者时，同样发现了Pro Football Focus看好或看低的球员与场上实际产出之间的脱节。这项研究规模更有限，对比了单一维度的表现指标（如体测数据），也对比了榜单评估者的排名，看是否存在某项特质能与新秀边缘防守者的实际破坏力相吻合——破坏力以施压次数以及破坏性表现（擒杀、造成对方损失码数的擒抱和破坏传球）来衡量。在所有单个公开榜单中，Pro Football Focus在"其看好的球员与边缘防守者前两年所制造的总施压次数相吻合"这一项上表现最差。正如我在那篇关于选秀前景的文章中所总结的：如果Pro Football Focus与其他体系格格不入，那么错的很可能就是Pro Football Focus。
再说一次，他们在评估上存在分歧，这没问题。但如果他们持续产出不能反映球员实际表现的评价，那他们的产品究竟还有什么价值？
问题在流程
从根本上说，他们产出的产品……
热门跟贴