新智元报道
因为在内部看到了一张折线图,一名顶尖AI研究员在万亿IPO前夕,直接掀桌子走人了!
他叫Jacob Coxon,曾先后担任OpenAI与Anthropic的预训练研究员。两个月前,他毅然放弃巨额IPO期权辞职。
就在这两天,他晒出了那张逼走自己的「罪魁祸首」。
让人意外的是,Anthropic居然在IPO路演中,把这张内部神图当成头号王牌公之于众。
图中那条橙色曲线连对数坐标都压不住,还在加速陡峭上扬。
在亲历者眼里,这无异于拉响了「奇点警报」!
结合Anthropic最新公开的路演原片与招股书核心文件,三个颠覆认知的真相浮出水面:
「预训练撞墙」彻底破产,重训Mythos算力骤降
刚屠榜全球的初代Mythos在内部曲线上竟只是个中间节点,如今只需动用最初的一小部分算力,就能把它从头再训出来!
Scaling Laws鼻祖揭秘,砍掉视频死磕代码加速造自己
随着Claude反过来大幅加速算法乘数的发掘,Anthropic果断放弃视频与图像生成,把算力全部砸向能反哺AI研发的代码与Agent。
人均代码贡献暴涨45倍,三天零人工重写几乎全部算子
内部超90%代码已由Claude包揽、复杂工程盲测成功率飙至90%,连新芯片的底层算子都能由Mythos在3天内独立重写!
对数坐标都压不住
重训Mythos算力大降
把这张让Jacob Coxon夜不能寐的路演神图放大,最核心的秘密,就藏在横纵坐标的设计里。
图的纵轴叫「算力乘数」,代表算法进化替你省下了多少倍算力,乘数越高,训出同等模型所需的算力就越少。
为什么抹掉数字还能得出这个结论?秘密全藏在纵轴旁的「对数刻度」四个字里。
因为在普通的线性坐标系里,往上每走一格只是平淡无奇的「加1、加2」。
而在对数坐标系里,往上每走一格,代表效率翻倍甚至狂翻10倍。
这也意味着,哪怕算法效率已经在按常规的「指数级」翻倍增长,画在对数坐标上,也只会是一条笔直的斜线。
可在这张图上,橙色折线非但不是直线,反而越往后越陡,一路加速冲向右上角:
这背后只有一个解释,代码预训练效率已经进入「超指数级」爆发,连「效率翻倍的速度」本身都在成倍加快!
过去一年里,硅谷屡屡传出「预训练撞墙」的悲观论调,而这条一路狂飙的橙色曲线,直接把「撞墙论」砸得粉碎。
对照招股书披露的模型时间表,图上第三个橙色圆点,正是今年4月轰动业界的初代Mythos预训练节点。
而直冲右上角的箭头,则代表短短半年迭代至最新Mythos 5.2时,算法乘数再度迎来的大爆发。
这正是让Jacob Coxon深感震惊的地方,刚屠榜全球的初代Mythos,在这条曲线上早已沦为过去式。
凭借这半年叠加的算法乘数,如今只需动用当初的一小部分算力,就能重新训出一个同级模型!
Scaling Laws鼻祖揭秘
砍掉视频死磕代码
如果说单纯的效率提升还不足以吓跑一名顶尖研究员,真正让Jacob Coxon决定弃权走人的,是推动这条曲线狂飙的幕后力量。
在IPO路演中,亲手亮出这张图的是联合创始人兼首席架构师、初代《Scaling Laws》论文一作Sam McCandlish。
他在现场直接道破了折线后半程突然加速上折的原因——
早期寻找新的算法乘数,主要靠人类研究员手动验证,因此前两个圆点之间的斜率相对平缓。
而当团队把前沿Claude模型直接投入到改进自身的研发流程中后,「发现效率乘数的速度本身,被Claude大幅加速了」!
紧接着,联合创始人兼首席算力官Tom Brown进一步拆解了这台「算力引擎」的运转逻辑,即「总有效算力 = 物理算力容量 × 算力乘数」。
这个公式的爆发力有多强?假设训练一个顶级大模型原本要烧掉100个单位的物理算力。
一旦算法团队找到4倍的算力乘数,训出同等水平的模型就只需25个单位算力。
反过来,如果把100个单位算力全部投进去,就能直接训出一个相当于400单位算力规模的超级模型。
最可怕的是,不同维度的算力乘数还能像复利一样层层相乘,每一个新发现的乘数,都会把此前所有乘数的效果再放大一轮。
细看这张折线图的标题,末尾还特意加了一个括号标注「(代码)」。
在S-1招股书中,Anthropic公开解释了这一标注背后的重大战略取舍。
尽管视频和图像生成极具商业吸引力,但Anthropic目前选择放弃研发视频与图像生成模型。
公司将省下来的算力全部集中砸向代码、Agent与安全研究,正是为了让AI直接接管自身的研发流水线。
而在一线研究员眼里,这无异于亲手拧开了「AI加速造自己」的阀门!
人均代码暴涨45倍
三天零人工重写算子
阀门一旦拧开,Anthropic内部的研发效率便迎来了令亲历者都感到窒息的爆发。
路演视频中的另一张柱状图显示,相比2024年的日均水平,内部每位工程师每天贡献的代码量在今年全线起飞。
这一数字从第一季度的6.2倍、第二季度的10.3倍,垂直狂飙至第三季度的45倍以上,短短两个季度就翻了7倍有余!
与此同时,哪怕面对以往必须靠资深人类工程师经验判断的复杂开放式工程难题,Claude的内部盲测成功率也在9个月内飙升50个百分点,冲上约90%。
今年前9个月里,内部员工对Claude的调用量猛增了250倍以上,代码库中超过90%的代码已全部由Claude写出。
人类工程师不再一行行手敲代码,而是转为下达高层指令,审查AI长时自主运行的成果。
当AI包揽了超九成日常研发代码,它甚至开始接手整个芯片界公认最难啃的底层硬件适配。
换作常规大厂,每接入一种新芯片架构,往往要派上百名底层工程师苦熬数月,一行行重写软件栈与算子库。
可今年Anthropic首次把AMD GPU并入多芯片统一算力池时,团队直接派出了自家的Mythos模型。
在几乎零人工干预下,Mythos仅用3天就独自重写了近100%的底层算子内核,让Claude在AMD集群上全速跑通!
至此,AI自我改进的闭环已经全面打通。
接下来,Claude将能完全独立地发掘新的算力乘数,让这条超指数曲线继续加速向上攀升!
但在亲眼见证这一切的内部研究员眼里,这却意味着人类正在交出方向盘。
正如Jacob Coxon在晒图时所警告的,推高算法乘数根本不需要罕见的人类天才灵感,这项工作本身马上就会被AI彻底自动化接管。
就连Anthropic的七位联合创始人,也在IPO公开信末尾亲口承认,「AI系统自己建造自己」的进程正在全面提速,AI能力的复利增长还将越来越快。
在这场谁先松油门谁就出局的万亿竞赛里,根本没有人会真正踩下刹车。
那张把一线研究员吓到放弃巨额期权、掀桌子走人的超指数曲线,或许才刚刚拉开奇点风暴的序幕!
参考资料:
https://x.com/hilbertspaess/status/2121331333654086124
https://x.com/hilbertspaess/status/2121425977876341092
编辑:摩西
热门跟贴