(图片来源:Pixels)
“我们总不能永远处在价值链低端吧”。
@数科星球原创
作者丨苑晶
编辑丨大兔
近日,OpenAI发布了“ o1”以及更小更便宜的“mini”新一代大模型。以上模型一经发布,引得全网测试风潮,成为了AI圈最新的“国民事件”。
很快,业界对该项产品得出了结论:它在代码、数学、科学等强逻辑领域的能力大幅提升。在新产品中,更强的Agent性能得以体现。
但不幸的是,OpenAI的此次升级,可能“溅射”到了国内大模型公司。在以OpenAI主导的标准下,大模型公司或将更难生存。
业界似乎正在期待更强的创新诞生。
01
蒸馏法的前途
在AI界,用蒸馏法训练自己的大模型,较为普遍。
本质上,这是一种模型压缩技术,允许将大型且复杂的模型转换到更小、更高效的模型之中。以往,这条技术通路并未被特定限制,而现在,在“o1”模型推出后,这种训练新模型的模式将可能受到影响。
一位大模型企业高管对数科星球DigitalPlanet这样说:“目前,o1输出接口限制是每周30条(mini为每周50条),这就是对蒸馏的限制。”
在行业内,GPT-4以“教师模型”的存在示人。它的训练数据集包含13万亿个token、1.8万亿的参数量和6个专家模型构成。以它为基准,行业中诞生了诸多“学生模型”,即可利用“蒸馏法”等技术手段训练自身模型。
而如今,如何优化蒸馏过程、提升大语言模型生成能力的技术手段较为风靡,甚至这些技术已成为某些大模型公司的核心技术。
“你知道,为什么这么多大模型公司热衷于'刷榜'?”一位从业者向我们提问。行业内,“刷榜”是基于榜单企业提供的标准化问题,测试各大模型技术能力的手段。
在他看来,在行业未建立更公正、透明的评估机制前,“刷榜”一定程度上提供了大模型的基准测试场景,也是行业里评价模型性能、成本、部署便利性、安全性等评估结果的方式。
但随着测试问题的公开化,“学生模型”的能力逐渐提升。以至于,在目前,行业内的新晋模型的能力也越来越趋近于GPT4o(OpenAI推出的具有多模态能力的产品)。
商业层面上,“蒸馏”的背后是暴利。
原理上,后起的大模型公司通过“蒸馏法”省去了一定的数据、算力和训练成本,所以对于行业内排名稍后的大模型产品而言,“只需要两三千万就能蒸馏个七七八八,”一位技术人员提到。商业上,过度蒸馏的结果是,排名在后面的大模型公司反而商业前景更强。
不过,以上的玩法,可能在GPT4-o1上有所变化。
02
“薄利多销”的前途
在大模型行业内流传着一句话:先发被人制,后发才能制人。
一段时间内,从业者们凭借“蒸馏法”以上文形容OpenAI。而对于国内的一些大厂,这句话也同样适用:因为其硬件的采购成本把价格“买在了山顶上”。而如今,硬件成本在刚性下滑,后入者更有优势。
所以,行业间便开始了价格战。
商业实操上,和国内的大多数行业一样,用低价打造了高端的(仅从造价考虑)产品后,这些公司自然而然地进入到了第二阶段:即薄利多销环节。
当然,在理论上,薄利多销并不是利益最大化的选择。然而,很不幸,在大模型领域,价格战正在上演。
“我看到河南的一个项目,一个国内头部大模型公司中标了,标价246万,包括2900多个人的人天工作量,平均人天费用800元。”一位大模型公司的联合创始人这样说。
他直呼,“这实际上已经把AI玩成了劳动密集行业”。他猜测,这个头部大模型公司所提供的产品“卖不出去,估计都是送的”,甲方客户只愿意以人天的方式支付开发费用。加之这家头部大模型公司的算力采买、人力成本,这个项目总体算下来“应该是亏的”。
若换做“刷榜”型企业,薄利多销或许还有利可图。而若换做这家企业,可能只得用“痛并快乐着”来形容。
03
屎上雕花与可能存在的突破
“不敢相信,OpenAI也开始'屎上雕花’了。”这是一位从业者的惊呼。不过,在深聊之后,他解释,这里‘屎上雕花’是褒义。其深层次的意思是,OpenAI的架构已不需要大改。
但对国内的蒸馏大模型而言,显然这并不是好消息。
一些从业者指出实质:国内的大模型公司基本都是同质化公司、没有核心技术也难以超越OpenAI架构。
而蒸馏不到东西,意味着模型的差距将会被甩开。对于大多数大模型公司而言,则意味着,企业的发展潜力将被永远桎梏在低价竞争的怪圈之中。
“除了少数资本化有保证的公司,大部分难以获得资本青睐”,一位投资人透露。据他透露,国内的几家具备明确资本结果的公司,其背后实质是LP(可以理解为基金的出资人)推动进行投资的。
对于GP(基金的管理人)而言,投了也不用担责。
在他看来,这些公司之所以备受重视,是三条资本故事尤为引人瞩目:一是,OpenAI能干的事,我(们)都能干,我(们)就是中国的OpenAI;二是,我(们)可以持续不断地得到AI领域人才;其三是,有庞大的客户资源背书,AI可以卖给核心企业圈层。
但也有人质疑这三条,这些不愿意透露姓名的行业高管给出的理由是:OpenAI架构必须突破,而前沿科学家应重视质量而不是数量,靠“源源不断”的人才估计无济于事。
“重要的是算法架构,通常是三两个人决定的,他们能突破,那么就突破了,他们突破不了,再多人也是白搭。”他补充。
他苦笑:“人再多,也是800人天。”
这位企业高管目前正在尝试进行算法突破,虽然很难,但值得一试。在询问原因后,对方表示:“我们总不能永远处在价值链低端吧”。
有对上述产品感兴趣的朋友请与我们交流
请扫下方二维码↓
「图文案例」
硅基智能 | 零一汽车 | 小米汽车 | 比亚迪 | 华为 | 小米 | 小鹏 | 云迹机器人 | UU跑腿 | 天幕大模型 | 燧氏科技 | Havivi | Aida | 数伴 | 麒麟合盛 | 思必驰 | 263 | 世纪互联 | i人事 | 百炼智能 | 北森 | 力码科技 | 数据宝 | 有伴AI | 花果山 | 希之壁 | 用友大易 | APUS | 出门问问 | 智齿科技 | Mocasa | 行动元 | 三维家 | 万兴科技 | Moka | 天壤 | 鳌图资本 | 伽利略资本
「直播案例」
光环新网战投部 | 亚杰基金 | 有伴AI | Cedas.ai | 松应科技 | Mobius | 希之壁 | 七天学会 | 北极九章 | 六诚九 | 硅基智能 | 一知智能 | 敏思达 | 易企秀 | 融易算 | 咖菲科技 | MarketUp | 爱赢销 | 小旭音乐 | 爱设计 | 平行云
*数科星球(ID:digital-planet)出品
合作、社群、转载:13681032931
数科星球传播矩阵:微信公众号、快手、抖音、网易号、油管、视频号、哔哩哔哩、微博、东方财富、同花顺、早鸟号、雪球网、腾讯网、CSDN、知乎、今日头条、百家号、新浪看点、风闻号、36氪等
热门跟贴