大模型在通用评测里能拿接近满分,放到真实的电商经营场景里,最前沿模型的无人干预通过率只有61%。这个数字来自阿里国际站基于上百万真实经营数据总结出的107个电商任务基准测试。阿里国际站总裁张阔在《硅谷101》的第二次专访里,把这个落差摆到了台面上。
榜单成绩和商业能力之间,隔着一整套真实世界的复杂度。通用评测考的是模型知不知道,电商任务考的是它能不能把一件事从头到尾做完——中间还要处理供应链、成本、多平台经营这些变量。
Agent是三个东西相乘
张阔给了一个公式:Agent = Model(模型)× Harness(工程框架)× Context(上下文)。
注意是乘法,不是加法。任何一项为零,结果就是零。模型再强,工程框架撑不住,或者业务上下文喂不进去,Agent在真实任务里就跑不通。这也解释了为什么通用榜单的高分没法直接兑换成商业场景里的通过率——三项里只有一项被榜单衡量了。
垂直领域的Agent竞争,比的不是单点模型能力,而是三者协同优化的程度。
Accio Work怎么做的
作为垂直Agent产品,Accio Work集成了Alibaba.com和1688的供应链数据,帮商家管理多平台经营、优化成本。它的一个关键设计是帕累托最优路由:把任务路由到不同的模型上。
L3以下的任务用高性价比模型处理,成本可以做到竞品的三分之一。上下文优势则来自20年的电商数据积累——这是通用模型拿不到的东西。
这套组合拳的逻辑很清晰:不是所有任务都需要最贵的模型,把合适的任务交给合适的模型,成本和性能才能同时站住。
最终判断还是人的事
AI能处理重复性工作,但产品品味、市场预测这类核心判断,仍然需要商家本人负责。Agent是辅助工具,不是替代者。
张阔对商业上的AGI给了一个很具体的定义:在预算和供应链相同的边界下,用这个Agent去经营一盘生意,一定比一个人做日常操作和判断赚到更多的钱。这个标准不看榜单,只看账本。
从99分到61分,中间那段距离,就是模型、工程框架和上下文三者相乘之后剩下的真实空间。
热门跟贴