Kimi K3 和 GPT-5.6-SOL 的高难度实测结果令人意外。在同样的接口、提示词和输出上限下,连续推理问题直接放大了两者的能力差距。 这次测试固化了三道需要连续推理的题目:一道含模式重叠与二阶矩的概率题,一道涉及滑轮转动惯量和绳子松弛切换的物理题,以及一道依赖闭包、多日容量、三级平局裁决的 Python 编程题。两模型均未使用工具或联网搜索,温度统一设为 0.2。 结论先行: - GPT-5.6-SOL 在三个问题上全部返回了完整可见的答案,数学和物理的标准结果完全正确。 - Kimi K3 在首次 6500 token 限制下,数学和物理均以 finish_reason=length 终止,可见答案为空;数学即使将上限提高到 10000 token,回答仍然被截断。编程题则在约 245 秒后触发读取超时,同样无有效输出。 - GPT-5.6-SOL 的编程实现自行通过了依赖闭包、容量、平局裁决、错误依赖和循环依赖等五项检测,但模型自己附加的第一个 assert 示例的期望值是错的。这说明必须把“代码逻辑正确”和“自测用例正确”分开检验。 从接口返回的推理用量看,Kimi K3 在数学和物理请求中消耗的 reasoning token 分别接近 6497 和 9997,几乎触顶。这并不表明它不具备推理能力,但在当前路由条件和问题提示下,推理预算过早耗尽,调用者根本收不到最终答案。 以下是关键对比: 问题类型 | GPT-5.6-SOL | Kimi K3 数学题(期望与方差) | E[T]=715/54≈13.24,Var(T)≈92.63,完全正确 | 输出被截断,返回空答案 物理题(滑轮转动与绳松弛) | 完整推导并给出正确临界条件和运动结果 | 输出被截断,返回空答案 编程题(复杂依赖与平局) | 代码通过全部逻辑检测,自测用例有1处错误 | 读取超时,无可用结果 数学题特意设计了状态重叠陷阱:HH 出现后再掷 H,最长后缀仍是 HH,不能回退到空状态。GPT-5.6-SOL 准确建立了吸收马尔可夫链并解出二阶矩,而对照模型连第一步结果都未能完整呈现。 需要强调的是,延迟数据仅反映本轮请求的观测值,不代表固定 SLA。首轮并行请求中,GPT 的数学和物理调用曾触发 HTTP 408,随后改为顺序重试。因此,速度仅作调用体验参考,不作为绝对排名依据。 这次测试给出的信号很直接:在需要长链推理并输出验证过程的高难度问题上,模型的底层稳定性与回答完整度,比理论数值能力更早击中用户体验的死穴。
热门跟贴