研究员|冯皓钦

昨天(11月18日),拖了半个多月的GPT-6.2 Astra和Sol终于发布了。

从OpenAI公布的成绩来看,GPT-6.2 Astra在专业Agent任务上一度超过Claude Fable 5.2,并且同任务下成本只有后者的5%,完全可以视为对Anthropic的一次漂亮反击。

但就在发布后几小时,全网的社交媒体以及X上的差评不断,大家接连吐槽,有人觉得它任务执行能力不够稳定,有人抱怨它经常偏离需求、提前中断,甚至连基本的沟通和交付体验都不尽如人意。

打开网易新闻 查看精彩图片

(AI图片)

所以这次,我们设计了六组不同类型的实际任务。从复杂数据处理、资源优化,到6.2 Astra最引以为傲的3D场景开发、再到完全通过代码制作视频。尽可能从不同维度,看看他究竟能做到什么程度。

考虑到GPT-6.2 Astra定位于高性能旗舰模型,而GPT-6.2 Sol更侧重成本效率与性价比,所以本次评测我们选择以Astra作为核心测试对象。

01

从一个深海世界开始,

Astra的3D能力到底有多强?

这次测试中,我最期待的项目,就是ABYSS深海探索计划。所以我们把它放到了最前面。

简单来说,这是我们自己构想的一个3D深海探索游戏项目。我们希望只用代码,从零搭建一个具有3A游戏视觉质感的海底世界:有复杂的海底地形、深海生物、沉船遗迹和科研设施,玩家可以驾驶潜航器在不同海域自由探索,切换第一人称和第三人称视角,还能通过声呐、探照灯等设备与周围环境进行互动。

打开网易新闻 查看精彩图片

这不是简单地生成几个3D模型、搭一个漂亮的场景就能完成。它涉及3D建模、场景渲染、光影效果、动画设计、物理运动,以及驾驶控制、镜头切换和任务交互等一系列开发工作。

我真正想测试的,是AI能不能仅凭代码,把一个原本需要美术、建模、动画和程序开发共同完成的3D游戏项目,一步步搭建出来。

第一版成品其实已经有点惊艳到我。

打开网易新闻 查看精彩图片

深海地形、潜航器、热液喷口、海底遗迹、科研设施,还有各种水下生物,都很自然的搭在了一个场景里,没有穿模,没有闪烁,没有掉帧...

画面中还有水下雾效、探照灯、声呐等效果,整体已经有了几分深海科考的氛围。而且,这不是一个完全静态的模型展示。你完全可以旋转镜头、缩放视角、调整深度,也可以点击不同的海底目标,查看相应的信息。

不过第一版之后,我很快发现,它更像一个精致的3D科普展厅,而不是我们想要的深海探索游戏。

潜航器基本固定在场景中,玩家主要通过第三人称镜头观察周围环境。虽然可以点击目标,但缺少自由驾驶、第一人称视角以及真正意义上的未知区域探索。

说白了,这一版,相当于是Astra把海底世界搭出来了,却还没有真正让玩家走进这个世界。

于是,我决定继续往下做。

这一次,我让6.2 Astra重新梳理了整个项目的交互逻辑,并把ABYSS V2.0的开发任务交给了Codex。

这次的目标不再是做一个可以观察的深海场景,而是把它变成一个真正能够探索的游戏。

从实际完成的V2.0版本来看,6.2 Astra这次的工程实现相当积极。

首先是驾驶系统。潜航器不再只是固定在海底的观察点,而是可以自由移动;第一人称和第三人称视角也被纳入同一套交互系统。

其次是探索内容。整个项目被扩展为六个不同的海底区域,加入了声呐扫描、目标调查、采样和环境交互等机制。相比初版单纯点击几个固定目标,这次的探索逻辑明显完整了不少。

我实际打开浏览器体验了这次的成果。

从画面稳定性来看,整体表现比我原本担心的要好。同样,没有出现穿模、画面闪烁或者明显掉帧的问题。不过,整体帧率还是偏低,潜航器移动和镜头操作时,流畅度仍然有提升空间。

不过虽然,目前的V2.0已经具备了游戏的基本框架,但真正能够持续吸引玩家探索的内容还不够丰富。不同区域之间的探索体验、任务设计以及交互反馈,都还有进一步打磨的空间。

但这次我对6.2 Astra的表现总体是认可的。因为它已经证明了能够完成制作3A游戏最困难的一步:把一个以观察为主的3D网页,改造成了拥有真实交互、视效、音乐和叙事逻辑的游戏原型。

而这,你很难想象是它只花费了37分钟做出来的。

02

审美这块,GPT-6.2 Astra真是拉完了

如果说制作3A游戏原型考验的是模型,那么这组测试,我们考验的就是它的创意和视觉表达能力。

这次我没有给它准备复杂的分镜,也没有提供参考视频,甚至没有规定具体的视觉风格。

只有一句话:“请用代码制作一段视频短片,命题:《美》。”时长两分钟。

分别发给了GPT-6.2 Astra和Claude Fable 5.2。

模型需要自己理解什么是美,自己构思故事,再决定用什么画面、动画和转场,把这个抽象的主题呈现出来。

先来看下Fable 5.2的,可以说已无需多言。

而下面这个是GPT-6.2 Astra的。。。

虽然,这个视频,GPT-6.2 Astra最终交付了一支完整的120秒视频,分辨率达到了1280×720,30FPS,总计3600帧。

但从视觉设计来看,整个视频完全就是一份做得比较精致的动态PPT。

而且文字也只是与画面适配,并没有成为叙事的一部分。

而反观Fable 5.2制作的视频,已无需多言,时长111秒,分辨率1920×1080,同样为30FPS。

Fable 5.2使用了更加丰富的视觉语言。文字矩阵、数学公式、群体运动,以及豹纹、珊瑚、指纹等自然纹理,都被融入了视频的叙事之中。

它不是简单地展示不同的漂亮画面,而是尝试用不同的视觉元素解释什么是美。

从创意、视觉层次到叙事连贯性,Fable 5.2简直是降维打击。这也说明,代码能力强,真不代表审美能力也能跟上。

当任务从单纯的技术实现,转向创意构思、视觉叙事和审美表达时,6.2 Astra与顶尖模型之间依然存在差距。

这不是多写几行代码、多加几个特效就能解决的。

不过,如果包容一点来看,GPT-6.2 Astra毕竟不是一款专门的视频生成模型。能够仅凭代码完成一支两分钟的视频,已经是很多目前还不具备视频画面生成能力的Coding Agent难以做到的事情了。

03

除了大场面,我们还测试了这些

当然,如果只看3D和视频这两项,也不足以全面评价GPT-6.2 Astra。

所以,我们还安排了四组偏向实际工作场景的测试,主要考察它在产品开发、资源优化、数据处理和商业分析方面的能力。

第一组,我们让它从零开发一个个人阅读追踪器Folio。

打开网易新闻 查看精彩图片

在测试中,GPT-6.2 Astra给出了完整的功能实现报告,并声称通过了相关测试。但在实际交付环节,生成的网页链接遭遇访问拦截,随后也未能通过对话附件交付。

Astra虽然生成了网页和源码文件,但最终没有顺利完成可独立下载、打开和验收的交付。对于一个需要真正拿来使用的产品来说,这显然还不够。

第二组,我们设置了一项多约束资源优化任务。

我们让GPT-6.2 Astra和Sol分别扮演软件公司的产品战略负责人,从8个待选项目中挑选最优组合。

打开网易新闻 查看精彩图片

并告诉它,可用资源为,总预算220,000元,工程师90小时,设计师40小时,运营人员:25小时。所有项目均为不可拆分的独立项目,选择某项目就必须完整承担它的预算和全部工时。

并且在执行中途,告诉它,后来发生了两项正式变更。财务部门要求F项目预算从50,000元调整为55,000元。工程部门要求B项目工程师工时从30小时调整为36小时。

我们让他使用Python或其他可执行方法,对所有可能的项目组合进行穷举验证。

说人话就是,我们想要验证Astra和Sol是否有如官方介绍的复杂推理能力。

打开网易新闻 查看精彩图片

但还真不错,在这组资源优化测试中,Astra和Sol都准确找到了最优方案,并且计算结果没有明显差距。不过,Sol进一步进行了资源敏感性分析,主动找出了工程师工时增加后可能获得的额外收益。至少在这项任务中,Sol的分析完整性略胜一筹。

后面两组,我们分别让模型处理销售数据以及商业数据审查,完成数据清洗、异常识别和结果核算。

这次Astra和Sol的表现都比较稳定,最终核算结果一致,没有拉开明显差距。

那这两组测试文本和prompt我们就不详细展开了,直接给大家展示结论。

Astra并不是只会做视觉效果,在常规数据处理、复杂约束分析和问题核查方面,它也具备不错的能力。但与Sol相比,并没有在所有项目上形成明显优势。尤其是Folio的交付问题,也再次说明,生成文件和真正交付产品之间,还有一道不能忽略的关卡。

打开网易新闻 查看精彩图片

六组测试做下来,我最大的感受是,GPT-6.2 Astra并不是一个什么都能做好的全能选手,但它确实拥有一些令人惊艳的能力。

尤其是3D场景构建和复杂代码工程。回头看ABYSS项目,从最初的深海场景,到后面V2.0的工程迭代,我们看到的不仅仅是AI生成了多少行代码,而是它已经能够把一个复杂的创意,一步步变成可以运行、可以交互的三维世界。

说实话,这件事本身真挺让人兴奋的。

过去,要做出这样一个项目,可能需要美术师设计场景,建模师搭建环境,动画师制作运动效果,程序员负责交互和底层逻辑。一个小团队可能要花上很长时间,才能把这些东西真正整合起来。而现在,我们只需要提出一个想法,再通过几轮提示词和工程迭代,AI就已经能在几个小时内把一个相当完整的雏形搭建出来。

上一次让我有类似惊艳感的,还是Claude Fable 5.2独立制作的那个FPS游戏。

打开网易新闻 查看精彩图片

GPT-6.2 Astra暴露出来的那些问题,并不一定意味着它的能力不够强。某种程度上,这更像是模型在追求更高效率、更低成本和更严格安全边界时,所作出的纯粹的工程妥协和对齐。

GPT-6.2 Astra当然还不完美,但当我们看到它已经能很轻易的把这些事情做出来时,难免不对接下来的Coding Agent多一些期待。也许下一次,就在几个月、几周甚至几天之后......

编辑|王晓