把球场、球、球衣颜色全部抹掉，只留下10个灰色圆点，从俯视角记录球员跑位——还能认出这是哪项运动吗？

打开网易新闻 查看精彩图片

有人做了这个实验。每段素材是4秒、10名随机挑选的球员，约每0.5秒一帧，共8帧快照。画面里没有球场、没有球、没有颜色、没有比例尺。每段素材还做了随机旋转和缩放，让场地大小也提供不了线索。模型一共拿到400段素材，四项运动各100段，来自151场不同的比赛。

这个问题的思路来自经典的知觉实验：1973年约翰逊（Johansson）的点光显示，在黑暗中只给人体关节点上几盏灯，人一眼就能认出那是在走路还是跳舞。区别在于，这里每个点代表一整名球员，要认的不是动作，而是运动项目。

数据用的是四项运动的真实追踪记录：橄榄球用NFL Big Data Bowl 2023，篮球用NBA SportVU 2015-16赛季的31场比赛，手球用EIGD-H（德国联邦联赛，Kinexon传感器）和TeamTrack，足球用SkillCorner、Metrica和TeamTrack。最初引发疑问的橄榄球反而被排除在外——没有足够好的公开橄榄球追踪数据。

先证明信号存在

在问大模型之前，得先确认这个问题有答案。作者训练了两个小模型，交叉验证按比赛分组，避免模型记住某场比赛而不是运动项目：MiniRocket本质上是成千上万个随机滤波器加一个回归，另一个是逐球员轨迹上的DeepSets网络。两者都只在一台笔记本的CPU上跑了几分钟。

结果：在模型要看的同样400段素材上，MiniRocket准确率83%，DeepSets80%，而随机猜测是25%。动作确实是关键——把快照顺序打乱，MiniRocket掉12个百分点；只给DeepSets一张快照，它跌到54%。

最难的是拆掉捷径

83%不是一次跑出来的。分类器会学到任何能区分类别的特征，而追踪数据里这类特征很多：

  • 球员人数。篮球10人、足球22人，所以每段素材固定只取10人。
  • 场地大小。全部重新缩放。另外，只保留最靠中的10名球员本身也是捷径：在足球和手球里，这个紧凑的群体看起来就像一块篮球场。改成10名随机球员后，小模型涨了7个百分点。
  • 采集系统。这是最有启发的一条。在三个数据源上训练、在没见过的第四个源上测试，分类器直接跌到随机水平以下。它学会的不是区分足球和篮球，而是区分不同的摄像机。TeamTrack用鱼眼镜头，在大足球场上位置抖动明显，加速度约为其他系统测同一运动的七倍；没见过TeamTrack的分类器把这种抖动读成篮球的急停急起，几乎把它的足球全标成篮球。把所有数据源用同样方式平滑后，在最终测试集上对未见数据源达到95%。

同类问题还有几处：NFL的片段原本从开球前开始，每段都是“先静止、再全体同时启动”，现在改为从开球后至少一秒的随机时刻开始；TeamTrack用坐标(0, 0)标记未检测到的球员，不过滤就会在角落出现一个不动的点；SportVU有时把同一名球员记成两个ID，模型只看到9个点；同一场手球的两个半场在验证时被算成了两场不同的比赛。

前沿模型的表现

数据清理干净后，作者用五个前沿模型跑了一轮：GPT-5.6 Sol、GPT-5.6 Terra、Claude Opus 5.5、Claude Sonnet 5和Gemini 3.1 Pro，另加一个只读文本、直接返回各选项概率的Jev。在看到任何答案之前，作者先写好了预注册：假设、每个模型的四组主要对比、多重比较校正，以及判定模型“读取动作”的确切规则。

最好的前沿模型准确率47%，小模型是80%到83%。

第一个显眼的现象是模型都有偏爱的项目，不确定时就往那儿答：GPT-5.6 Sol有62%的素材答橄榄球，Gemini是66%，Sonnet有64%答足球。这会把偏爱项目的准确率抬高、其余项目压低，所以除了原始准确率，作者还算了按偏差校正后的版本，偏差始终在素材所属比赛之外的其他比赛上估计。校正后，Sol、Terra、Opus和Gemini高于随机水平，Sonnet 5没有。

没有前沿模型能认出手球，得分在0.04到0.15之间。篮球和手球常被读成橄榄球或足球。MiniRocket对四项运动的识别水平大致相当。

顺序到底有没有用

判断模型是否真的看到动作，关键看一件事：把快照打乱后，它是不是变差了？

按事先定好的规则，五个模型里只有Claude Opus 5.5明确依赖时间顺序：打乱快照让它掉10个百分点，区间为5到16，几乎和MiniRocket相当。这个结果在多次重复中成立，用8秒素材做探索性检验时也成立。

细节上有几点：Opus的效应集中在橄榄球和篮球，在手球和足球上为零。橄榄球里，部分信号可能来自开球瞬间的加速，尽管片段已从开球后开始；而8秒测试里没有橄榄球，效应依然存在（+0.08），说明不只是这一项。其余四个模型没有证据，但“没有证据”不等于“证明它们不读顺序”：从区间看，顺序对它们最多贡献3到6个百分点。探索性线索也有：8秒素材下GPT-5.6 Sol掉8个百分点，Sol和Gemini在橄榄球内部能读出顺序，只是在总量上被其他项目抵消。它们还能从形状里拿到信息——打乱快照后Sol、Terra和Gemini仍高于随机，Sol甚至只给一张快照也行。

没起作用的尝试

还有三件事看着有希望，结果都没能明确改变结论：把坐标当文本而不是图像输入，没有稳定变好或变差，只能读文本的Jev始终停在随机水平，90%到100%的素材都答足球；用提示词描述各运动的跑位方式（不带数字），准确率提升0到3个百分点，过不了校正；画球员轨迹对谁都没帮助，还让Sol掉了7个百分点，改用视频时Gemini比看静态图好约7个百分点，但这只是探索性结果，不足以下结论。

作者给出的结论是：识别一项运动所需的信息就在球员的移动里，一个能在笔记本上训练的分类器83%的时间能把它提取出来；前沿模型在这个任务、这种表示下，落在随机水平和47%之间，五个里只有一个显示出它用到了快照的顺序。这不能推出其他模型“看不见动作”，只能说明没有证据表明它们用了动作，即便用了也不多；同样不能推出Opus普遍能读动作，它主要在两个项目里做到了。真正稳的是与小模型的差距，以及为了得到一个可信数字要拆掉多少捷径——每一条捷径被留下，都会讲出另一个故事。

开头那张图是篮球。三个模型答了橄榄球（十个点几乎排成一条线，看着像开球线），两个答了足球。三个小模型——MiniRocket、DeepSets和移动统计分类器——全部答对。