本期播客，No Priors 请来了一位在 AI 推理领域被业内称为「教父级」人物的研究者Noam Brown。他是 OpenAI 的研究科学家，也是推动「test-time compute scaling」成为行业主流方向的关键人物之一。从扑克 AI 到前沿大模型的评估方法论，Brown 的研究轨迹几乎与整个行业对「推理」认知的升级同步。
在这场对话中，Brown 抛出了一个令人不安的判断：我们习以为常的模型评估方式，正在系统性地误导我们对 AI 能力的判断。 以下是他的核心观点：
1. Benchmark 表格是一场「坏均衡」：新模型发布时那张横向列 Benchmark、纵向比分数的表格，已经成为行业惯性。但问题在于，这些分数没有控制「推理计算预算」。让模型思考更久、花更多 Token，分数就会涨。
2. 模型能力不是单点跑分，而是一条成本曲线：真正合理的评估方式，是把模型表现画成一条随 Token、成本或时间变化的函数曲线。控制了预算之后，新一代模型的跃迁才清晰可见；否则，你看到的只是「谁更舍得烧算力」。
3. 模型能做什么，取决于你愿意花多少钱：现有的负责任扩展政策（RSP）和风险准备框架大多诞生于 GPT-3 时代，默认模型能力是固定的。但今天，给模型 10 美元和 1000 万美元的预算，它能做的事情完全不同。
4. 递归式自我改进不会「一夜爆发」：虽然模型正在加速研究流程，但它们距离「给足预算就能自主完成所有研究」还很远。更重要的是，释放模型最强能力需要大量推理时间，时间本身就是瓶颈。
5. 当前模型被严重低估，因为没人真的让它们跑够久：以 Erdős 单位距离猜想为例，公开可用的模型在足够预算和任务框架下本就可能推翻这一数学难题，但几乎没有人系统性地探索「如果投入 10 万美元计算预算，它到底能做什么」。模型的天花板，远未被触及。
6. 多智能体协作是下一个复利来源：人类文明的优势不在于个体变聪明，而在于数十亿人长期协作、积累知识。今天的模型还像「出生在一个短暂上下文窗口里然后就消失」的存在。未来，模型需要进入一种「协调式复利」状态，大规模协作、共享知识、持续构建。
Benchmark为何正在失效：模型能力不再是一个单点跑分
Sarah Guo：大家好，我是Sarah Guo，欢迎回到No Priors。今天我请来了Noam Brown，他可以说是AI推理领域的“教父级”人物之一。这期节目里，我们会讨论当前模型评估体系的失效、大规模推理计算、他如何看待递归式自我改进，以及前沿AI竞争接下来可能走向哪里。欢迎你回来，Noam。我真的很高兴你再次来到节目。
Noam Brown：很高兴回来。
Sarah Guo：你是我们节目的第一位嘉宾。我一直很为自己挑朋友和研究者的眼光感到骄傲。考虑到推理时扩展现在对整个行业变得如此重要，你也应该感到骄傲，毕竟你确实参与推动了这个方向。
Noam Brown：算是参与了一部分，当然还有很多其他人一起推动。
Sarah Guo：你最近写了一篇文章，讨论大规模推理计算，以及为什么现在行业对这些模型的评估并不够稳健。这篇文章引起了很多共鸣。你写它的动机是什么？
Noam Brown：动机来自我们发布5.5之后的反应。一开始，大家有些怀疑它是不是一个明显更强的模型。当然，这种怀疑只持续了几个小时，因为很快大家就有时间去试用它、自己感受它，然后发现它确实明显更强。
在我看来，最初很多怀疑都来自发布时的Benchmark表格。基本上，每当一个新模型发布时，都会有这样一张Benchmark表格：横向列出各种不同Benchmark，纵向展示不同模型的表现。大家可以直接比较不同模型。它就像是给某个模型在某个Benchmark上打出一个单一分数。
如果只看表面数据，新一代模型相比上一代模型确实有提升，但看起来并不是巨大提升。在一些Benchmark上，它可能只是高了几个百分点。所以大家看完后会怀疑：它真的更强吗？但当他们真正上手使用后，故事就变了。
Benchmark里没有显示出它强很多的原因，是因为这些Benchmark结果的呈现方式本身就是错的。它们没有控制每一道Benchmark题目上使用了多少推理计算预算。
后来我们发现，5.5其实是一个思考效率高得多的模型。如果你在最大设置下运行，5.4会思考更久，返回答案也更慢。而5.5更快。一旦你控制了思考时间，就会发现5.5相比5.4其实是一次明显跃迁。这也更符合大家日常使用它时的真实感受。
当我向别人解释这一点时，大家典型的反应是：“那为什么不直接让5.5像5.4一样思考那么久？”但真正的问题是：它们到底应该思考多久？
通常我听到的回答是：“直到性能到达平台期。”也就是说，在某个点上，模型在Benchmark上的表现会停止继续提升，然后我们评估到那个点。问题是，现在这个平台期已经非常远了。
在2022年前后的GPT-3时代，模型并不能真的进行很长时间的有效思考。所以你可以让它运行到平台期，而这个点并不远。但今天的现代模型已经不一样了。如果用合理方式为它们搭建任务框架，它们可以在一些Benchmark上持续思考很长时间，之后性能才接近平台期。所以现在，性能平台期已经远到不太可能被合理测试。
Sarah Guo：也就是说，现在我们确实需要从Token角度设置某种“耐心限制”或者“预算限制”，而几年前并不需要这样做。
Noam Brown：完全正确。今天更合理的模型评估方式，要么是在Benchmark里设定明确预算，比如Token、成本、时间，或者其他尺度；要么就是把模型表现画成一条函数曲线，看它如何随着推理计算预算的增加而变化。这样，我们才能更清楚地比较不同模型之间的表现。
推理计算时代：AI能力正在变成一条成本曲线
Sarah Guo：考虑到模型评估周期，以及很多任务的表现并不会在很长一段时间内趋于稳定，你觉得应该怎么处理这个问题？有些我们想做的评估，可能已经超出了当前模型发布周期下合理的预算或时间范围。
Noam Brown：比如在网络安全这类任务上，我们已经看到，一些安全评估机构的研究也显示，模型即使运行到非常高的Token规模之后，仍然还在继续提升。也就是说，如果让它们消耗大量Token，它们在那个点之后还会继续变好。而这可能需要非常长的运行时间。
但你也能看到，性能提升并不是突然发生的、不连续的跳跃。你可以在一段较长的推理过程中看到一条持续提升的斜率。所以或许可以先在某个预算以内进行评估，然后说：“好，这是我们预测它在更高预算下会呈现出的表现。”
这方面还没有太多研究。对于正在寻找研究题目的学者来说，这会是一篇很好的论文：能不能只用较低推理预算下的表现，去预测模型在更高推理预算下的表现？
Sarah Guo：我换个角度问你。你觉得用户是不是普遍没有让模型针对问题思考足够久？
Noam Brown：你说的“没有思考足够久”是什么意思？
Sarah Guo：比如，如果你可以构建一个智能体，或者控制推理计算预算的使用量，那么这里既有模型自身做的事情，也有用户可以做的事情。你觉得现在行业使用推理计算预算的程度是刚好合适，还是严重不足？或者问题出在模型本身——它们需要能更快地完成这种思考？
Noam Brown：这取决于具体问题。让模型思考很长时间然后再回答，这个想法听起来很好。Benchmark结果可能也会很好看。但在实际工作中，它并不太实用。因为你问模型一个问题，然后坐在那里等它很久后回来，这不适合大多数工作方式。
人们目前发现最有效的做法，是和模型快速迭代。所以模型的思考时间应该是灵活的。当它应该快速回应用户时，就应该快速回应。当它确实需要长时间思考，并且用户也希望它长时间思考时，那就应该让它思考更久。在目前条件下，人们已经在尽量寻找一个合理平衡。
Benchmark刷分与扑克机器人：看起来更强，不等于真的更强
Sarah Guo：现在很多人在讨论Benchmark刷分，也就是通过某些方式“刷”Benchmark，或者说让Benchmark被游戏化。你怎么看今天的Benchmark环境？你有没有觉得哪些Benchmark更能代表真实能力？
Noam Brown：Benchmark刷分也是我写这篇文章的原因之一。现在很容易通过把多个模型组织在同一个任务框架里，让一个系统在Benchmark上看起来比过去的模型强很多。
比如，你可以说：“我们不让这个模型只运行一次，而是让它运行五次，然后从五个回答里挑最好的。”或者再让一个评判模型来判断哪个答案最好。这样你就能得到比原模型高很多的分数。
所以你很容易做出一个在纸面上看起来强很多的东西，但一旦控制推理计算预算，它其实未必更强。这是我对Benchmark刷分担心的地方：它有点误导性。
至于Benchmark本身，总是存在一个风险：大家会开始针对这个Benchmark本身进行优化。我当然也鼓励我的团队不要专门优化某个具体Benchmark。OpenAI在这方面做得还不错。但只要你把一个Benchmark公开出来，它就永远有被针对性优化的风险。解决这个问题的一种方式，是保留一套不公开的测试集。
Sarah Guo：现在大家判断一个模型是否明显更好时，最常见的建议就是：自己上手玩一会儿。除了OpenAI内部保留的私有测试集之外，你有没有更成熟一点的方法？比如每次新模型出来，你会不会自己构建一套新的评估？
Noam Brown：每个人都会有自己喜欢问模型的一组问题。对我来说，最近我会用模型来做扑克机器人，看看它们能把扑克机器人做得多好。
这是一个很好的评估，因为关于如何制作强扑克机器人的开源代码非常少。虽然相关论文很多，但你必须真正把整个问题推理清楚。它需要大量推理、迭代，也有很多小细节上的坑。而这些坑我自己已经经历过，所以我能看出模型在过程中会在哪里失败。现在模型在这方面已经变得非常强了。
Sarah Guo：那你能不能结合你做扑克机器人的经历，讲讲这几代模型里推理能力是怎么进步的？
早期模型在这方面真的很差。基本上什么都做不了。到了5.2，我已经能和它一起做一个river solver，也就是扑克最后阶段的求解器。这件事本身已经让我觉得很惊艳了。虽然我还是要和它一起推进一下，但确实很惊讶，因为我做出这个求解器的速度，大概比自己一个人做要快五倍。
它也会被一些问题绊住。比如blockers一直是一个很大的问题。但总体来说，只要稍微引导一下，它就有点像一个研究生：它会遇到问题，但至少我知道问题在哪里，也知道该怎么修正。我可以给它建议，然后它继续去做，很快就能回来一个挺好的结果。
尤其是优化部分，非常惊艳。它能把代码优化到比我自己写的版本快很多，因为它非常擅长做代码优化。
但5.2的缺点是，有时会“自信地误导”我。我总是必须非常小心地检查它，确认它到底有没有真的完成它说自己完成的事情。
比如我记得有一次，我拿其中一个模型做测试。我作为单元测试问它：“假设底池里有100美元，然后我弃牌了，那我损失多少钱？”模型回答：“92美元。”我说：“这太离谱了。我底池里有100美元，然后我弃牌了，怎么可能不是损失100美元？”它说：“92美元，挺接近100美元的，没关系，不是什么大问题。”
我当时就觉得，这显然是个问题。所以之前的模型确实有一个问题：它们经常会把你带偏，或者让你怀疑自己。但到了更新一代的模型，它明显好很多。它基本上可以在几乎不需要额外示范的情况下完成这类任务。我最近一直在做一个完整规模的扑克求解器，它在我稍微引导的情况下，基本上已经能做完整个东西。
我甚至不会惊讶于六个月或一年后，模型可以在几乎不需要额外示范的情况下完成整个扑克求解器。那基本上相当于一次性完成我的博士论文。
安全评估的新难题：高预算下的模型能力如何衡量？
Sarah Guo：我们来聊聊这件事更大的影响。也就是说，我们需要根据模型推理速度、效率、Token数量、美元预算，或者其他尺度来评估模型。你能不能讲讲你文章里提到的一些更大影响，尤其是安全评估方面？
Noam Brown：安全评估这件事，有点像一个“难言之隐”。先补充一点背景。现在所有实验室都有一些东西，叫负责任扩展政策，或者风险准备框架，不同实验室叫法不同。它们的基本想法是：每次模型发布前，都要经过一系列评估，衡量它是否具备某些高风险能力。
比如，模型是否能够完成一些我们不希望恶意使用者去做的事情。如果模型能力不强，那问题不大。但如果它确实非常强，就需要采取一些缓解措施。真正的问题是：你到底如何评估模型是否具备这种能力？
这些框架里有各种评估协议。但很多框架是在ChatGPT前后那个时代发展出来的。那个时候，测试时计算扩展还不是一个特别重要的事情。在GPT-3时代，这种逻辑是说得通的。因为你无法真正扩展GPT-3的测试时计算。如果你给它1000万美元预算，然后说：“好，我们看看GPT-3能做什么。”它其实也做不了比10美元或1美元预算下多多少的事情。
风险准备框架和负责任扩展政策并没有真正考虑测试时计算的数量。它们只是说：“好，这个模型的能力是什么？”但问题是，我们现在已经进入了一个世界：模型能力是你投入多少钱的函数。如果你给它1万美元预算，它能做的事情就比10美元预算下多很多。如果你给它1000万美元预算，它还能做更多。
所以问题就是：你应该在多大的预算下评估这些模型？今天已有的政策并没有真正回答这个问题。至于模型是否无论如何都应该发布，我不想在这里评价这个问题。双方都有各自的理由。但重要的是，我们要承认：这个问题现在并没有被真正处理。某种程度上，大家是在假装它不存在。无论最后采取哪种方式，我们都必须把这个问题纳入考虑。
Sarah Guo：这其实是能力问题的镜像。如果模型在某些任务上可以随着更大预算持续变强，不会很快到达平台期，那么对于那些社会不希望模型去做的任务，也同样可能发生这种情况。
所以测试这类能力，以及给它分配多少预算，就变得非常重要。这件事似乎也和模型发布周期不匹配。现在模型发布速度越来越快，有时候很短时间内就会有新模型，而不是过去那种较长周期发布一次。你在文章里有一句话说，如果要真正评估一个智能体在某些长周期任务上的能力，也许唯一方式就是让它运行很久。那你怎么看这个问题和模型发布周期之间的关系？
Noam Brown：这也是一个很有意思的动态。基本上，随着模型变得更强，它们也更擅长在更长时间跨度上运行。再以早期大语言模型为例，如果你想让它运行一周，其实没有太多办法把它组织成一个真正有用、能持续运行一周的系统。但今天我们看到，最新模型已经可以被组织起来，比如被安排成执行一系列实验，运行数周甚至更长时间。
Sarah Guo：那你有没有给你的扑克求解器任务无限预算？
Noam Brown：我还没有真正搭建出一个系统，然后告诉它：“好，你就跑几周吧。”但我可以给它一个目标，然后告诉它：“放手去做。”
不过现在这个阶段，它可以完成river solver，也就是扑克最后阶段的求解器。如果我只给它一个目标，我还不觉得它已经能完成完整的扑克求解器，比如让它自己跑一段时间后交给我完整结果。但我们很快会到达那个点。到时候我可能真的可以告诉它：“你去研究这个问题一段时间，然后回来给我一个完整的、达到前沿水平的扑克求解器。”
问题是，如果你想评估一个模型的能力，也就是它长时间运行后能做什么，唯一能完全确定的方法，就是让它真的运行足够久。如果你想知道它更长时间运行后的表现，唯一能完全确定的方法，也还是让它真实运行对应时间。
今天的模型发布周期是这样的：我们每隔一段时间就在发布新模型。一个模型发布出来，你可能需要一段时间才能把它推到极限，然后另一个模型又发布了。所以，没有人真正知道这些模型的能力天花板在哪里，因为没有人真的让它们运行足够久去看清楚。
Sarah Guo：你觉得已经发布的模型里，是否存在一些令人兴奋的潜在能力，只是因为时间不够，大家还没有完全探索出来？
Noam Brown：绝对有。一个很好的例子是Erdős单位距离问题。对于不了解的观众来说，几周前，我们在OpenAI使用一个内部模型，推翻了Erdős单位距离猜想。我不是数学家，但这在数学界看来似乎是一件挺大的事。
这是很多数学家花了很多时间研究过的问题，而模型做出了一件他们没能做到的事情，并且方式对数学家来说是有趣、有用的。说实话，它完成这件事的预算非常低。我们并没有投入太多精力。我们只是训练了一个新模型，然后好奇它能做什么，就让它跑了一些问题。这个问题上，它在相当低的预算下就说：“我觉得我有一个反例。”然后我们验证了这个证明是正确的。
在我们公布结果之后，很多人发现，其实也可以从公开可用的5.5中得到这个答案。但这不是说你简单问它：“这是单位距离猜想，它的反例是什么？”它就会直接给你。你必须稍微搭建任务框架，稍微引导它。
比如，你可以让它列出一些解决这个问题的路径。然后它会列出其中一个真正有希望通向反例的路径。你再告诉它：“继续探索这个方向。”如果你这样做足够多次，它最终确实会到达这个反例。
这意味着，原则上，你可以让新一代模型作为一个通用任务系统，列出不同策略，然后针对每个策略继续调查。它很可能最终能通过这种通用任务框架到达这个反例。当然，这种方式会非常昂贵。但它是可能的。
也就是说，在我们之前，其实已经有可能有人用一个通用模型推翻Erdős单位距离猜想。只是没有人充分探索过：如果我往5.5里投入10万美元计算预算，它到底能做什么？答案是：是的，你可能真的能从中得到这样的结果。
Sarah Guo：所以人们应该更多地去实验当前这一代模型吗？但这又是个有趣的问题：值不值得这样做？因为模型发布周期是每几个月就会有一个更强的新模型出现。推翻Erdős单位距离猜想的成本，可能每个模型发布周期都会下降10倍、100倍，甚至更多。你应该见过那个行业圈内流传的观点：为什么我要做任何工程工作？我不如等下一个模型发布，去度个假，两个月后回来，它可能就便宜1000倍了。你同意这个说法吗？这就是你们现在在OpenAI做的事吗？只是等下一个模型发布？
Noam Brown：我会说，我们现在确实处在一个进展非常快的时期。模型正在变得越来越强。
在OpenAI，有一件我们正在主动避免做的事情。我们有很多数学家、物理学家，大家都很兴奋，想看看这些模型现在能做什么，尤其是内部模型。但我们在努力鼓励大家，不要把全部时间都花在遍历所有数学开放问题、物理开放问题，然后把模型推到极限，看看它能证明或推翻什么。
因为我们真正认为重点应该是：如何做出更强的模型？如何安全地、尽快把这些模型交给全世界，让全世界的科学家都能用它们自己去解决问题？所以某种意义上，我们确实在考虑这个问题。是的，把全部精力放在扩展当前模型、看看它们在极限下能做什么，这非常诱人。
但真正的重点应该是：如何使用这些模型，去制造更强大、更有能力、并且做任何事情都更具成本效率的下一代模型。
递归式自我改进不会一夜爆发，但正在改变研究方式
Sarah Guo：基于你对大规模推理计算影响的判断，你觉得研究资源的方向或分配正在发生什么变化？这又如何影响递归式自我改进这个概念？毕竟很多人认为，它是任何实验室达到最强能力模型的主导路径。
Noam Brown：我需要先澄清一点。我们还没有到这样一个阶段：你给模型任意高的推理预算，它就会在所有方面变成超级智能。
Sarah Guo：给它一个目标，比如“做出GPT-7”，然后让它放手去做？
Noam Brown：对，类似这样。但我们距离那一步还隔着一些东西。
首先，有些Benchmark不会因为模型拥有更多推理预算而提升。很多事实检索类问题就是这种情况。比如你问一个人，Abraham Lincoln是什么时候出生的。如果他不知道日期，而且又无法访问海外公开知识库之类的信息源，那他坐在那里思考一周，也不会比思考五秒钟给出更好的答案。模型也是一样。
有些Benchmark确实会随着更多推理计算变好，而另一些不会。在另一个极端，有些Benchmark显然会随着更多推理计算无限提升。比如Sudoku，也就是数独。解决数独有一个非常简单的策略：不断尝试不同随机数字组合，看它是否满足所有约束。只要时间足够长，你最终一定可以用这个策略解出任何谜题。
所有Benchmark大概都处在这两个极端之间。模型还没有达到这样一个水平：只要给足够多推理计算，它就能完成我们所有人的工作。
在研究方面，一个问题是：模型现在还没有很好的研究判断力。它们已经是研究者非常好的补充。比如我自己使用这些模型后，效率高了很多。但它们还不能完全替代整个研究循环。
未来会不会改变？可能会。模型整体都在变好，有些能力提升得更快，有些更慢。但它们现在还没有到一个阶段：只要给足够多推理计算，就能完全替代研究者。
Sarah Guo：你能举一两个例子吗？比如你让模型做某个研究任务，然后发现这个想法其实很糟糕。
Noam Brown：还是回到我的扑克求解器例子。模型优化我博士期间开发的算法这件事非常让我惊讶。说实话，回头看，我发现自己原来的实现效率非常低。模型能把它变快很多。
然后我问它：“你能不能提出一个比我提出的算法，或者比其他任何人提出的算法都更好的算法？你可以去看所有已发表的工作，把它们综合起来，然后尝试提出一个新的东西。”
但它做不到。我可以给它很多时间，它仍然做不到。当然，如果我构建一个更好的任务框架，或者对任务加更多约束，也许它最终可能提出更好的东西。但它并不是简单一句“请你提出一个更好的算法”就能完成的。
Sarah Guo：你觉得这件事会怎么改善？
Noam Brown：每次模型发布周期之后，它在这类事情上都会变好。在我看来，它现在仍然不好，但已经不像以前那么差了。未来某个时候，就像编程和数学一样，可能会突然出现一个拐点，模型在研究判断力上也变得足够有用。
Sarah Guo：基于这些，你现在怎么看RSI，也就是递归式自我改进？我们应该如何理解它？
Noam Brown：模型确实正在加速实验室内部研究者能做的事情。但它们是在加速一部分事情，而不是所有事情。
现在的情况是：如果某些环节变快100倍，你很快就会被那些没有变快100倍的环节卡住。随着时间推移，我们被卡住的环节会逐渐变少。所以在这个意义上，会有一种渐进式起飞。但当前更准确地说，它是在改变研究者的工作方式，而不是完全替代研究者。
Sarah Guo：这是不是意味着，你不认为我们现在接近一个非常快的起飞？
Noam Brown：快速起飞是相对的。事情现在确实发展得非常快。但有一种假设认为，可能会出现一种“隔夜式智能爆发”：模型发现某种突破，让自己变得更聪明；然后这又带来更多突破，让它立刻变得更聪明；最后模型在短时间内就变得在所有方面都远超人类。
我不认为我们正在走向那个世界。很大程度上是因为，模型需要依赖大规模推理计算来实现它们最强的智能。如果释放模型的完整能力需要大量推理计算，那就意味着时间会成为瓶颈。事情只能快到某种程度，因为模型需要运行足够久，才能真正做出非常强大的事情。时间本身会成为瓶颈。
多智能体协作、前沿竞争与新的评估均衡
Sarah Guo：你觉得前沿领域里，还有什么方向现在探索得不够？比如我们之前聊过多智能体。
Noam Brown：多智能体确实已经被探索了很多。但在足够大的规模下，还有很多事情可以做。而且很多研究在小规模下很难做。尤其是多智能体，要真正释放能力，需要前沿模型。
我思考这件事的一个方式，是看人类文明。人类在过去5万年里，并不是通过生物进化变得更聪明了。今天人类能做的事情远远超过穴居时代，不是因为个体变聪明了，而是因为几十亿人长期思考，并在彼此积累的知识基础上继续建设。
但今天的AI模型还不是这样。它们像是出生在一个世界里，只在一个非常短暂的上下文窗口中存在，然后就消失了。你可以做一些事情来延续它们，但仍然非常有限。
我确实认为，我们最终会进入一个模型可以大规模协作的世界。未来最终会出现某种协调式复利状态。模型能够在更全球化的层面共享知识，并且基于这些知识进行有效构建。
Sarah Guo：基于你这些判断，你会如何描述前沿实验室之间的竞争？
Noam Brown：现在竞争非常激烈。今天已经存在的模型正在加速前沿实验室研究者能做的事情。当然，现在仍然有限制。但用模型来改进模型研究这件事是真实存在的，而且是一种放大力量。这会持续为真，而且随着时间推移会越来越真。
让我感到安心的一点是，所有前沿实验室的研究者都认识到了这件事的重要性，也理解这些模型意味着什么、风险是什么。这是一件非常严肃的事情：它可能带来非常好的结果，也可能带来非常糟糕的结果。是的，实验室之间存在竞争动态，但我们也可以共同努力，去思考如何一起走向正面结果，而不是负面结果。
Sarah Guo：你有没有一些自己使用模型的方式，是你会鼓励其他人也尝试的？
Noam Brown：有很多人可能在2022、2023年试过AI，觉得它们输出不可信，于是之后就不再把它用于高风险决策。但模型已经进步到一个阶段，它们非常适合做这类事情。
比如我会把模型作为信息辅助工具，帮助自己理解税务问题或房产文件：需要填什么、这些文件是什么意思。它在这类问题上非常好用。当然，这不意味着它可以替代专业意见。
所以我日常会用它处理很多类似事情。它们现在已经到了一个阶段，在某些情况下，我会觉得它们的输出甚至比一些专家回答更值得参考，但关键问题仍然需要审慎判断。
Sarah Guo：你觉得研究社区还有什么地方没有同意你的观点，或者还没有理解它的重要性？
Noam Brown：我仍然觉得它还不是共识，因为人们还是没有以这种方式发布Benchmark。这其实就是我写那篇文章的原因。我会和研究者讨论，说我们应该用一个横轴来展示Benchmark，无论这个横轴是Token、成本还是时间。大家都会说：“对，这有道理，我们应该这样做。”
但他们真正的反应是：“人们期待我们发布那张表格。”那为什么人们期待那张表格？因为所有人都发布那张表格。于是你最后就进入了一个坏均衡：每个人都知道这是一个坏均衡，但没有人愿意跳出来打破它。
所以我觉得，如果我能站出来说：“各位，我们先承认自己处在一个坏均衡里，然后一起转向另一个均衡：用横轴来画图。”那么下次模型发布时，也许某家公司就可以更有底气，不把那张表格放在最前面、最顶层的位置。这样我们就能对模型进行更有生产力的评估。
Sarah Guo：最后一个问题。你怎么看那些专门领域里的公司？它们会认为，自己的价值本质上在于路由层，也就是选择层。用户的目标由很多离散任务组成，有些任务需要更高智能，有些不需要。而作为一个供应商，它们的工作就是在预算约束下解决问题或实现最优结果。也就是说，它们会管理并行化，以及应该在什么模型上花多少推理预算。
Noam Brown：我确实觉得，这和Benchmark应该用Token或成本作为横轴来评估这件事有关。我最近看到一些评估，显示如果使用路由层，通过让多个模型达成共识，可以实现更好的表现。
如果让多个模型达成共识，它会比任何单个模型表现更好。但重要的问题是：它是否比让那个模型自己思考更久还要好？一旦你控制了推理计算预算，它是否仍然表现更好？这才是你真正想弄清楚的问题。
路由当然可以，但它同样要接受预算问题的检验。如果你把它们放到同一个尺度上，就能做出最优决策。我并不是说我一定不相信路由会更好。但仍然存在一些问题：它是否显著更好？它是否很脆弱？它在Benchmark上的表现是否能反映真实使用场景？
因为你可能会遇到一个问题：路由系统针对某些Benchmark做了优化，然后你展示说：“看，我们在这些Benchmark上有很大提升。”但到了真实使用场景里，它最终可能并没有显著提升。所以至少，你需要控制推理计算预算。同时，你也要保留对Benchmark本身的所有正常怀疑。
Sarah Guo：太好了。Noam，非常感谢你，也谢谢你在把我们从这种错误均衡里拉出来这件事上所做的努力。
原视频：Really Big Test-Time Compute in AI Changes Benchmarks, Safety and Research with OpenAI's Noam Brownhttps://www.youtube.com/watch?v=AZrU6y3pUcU编译：Shiny Gu
热门跟贴