前沿模型厂商究竟在买什么样的训练数据?

Handshake AI团队给出的答案很具体:有时,一条数据就是一份模拟的投行工作。先搭环境,邮件、交易资料、分析工具准备齐全,不同文件之间要对得上;专家再出题、写评分规则,检查模型会不会钻空子。

一条这样的复杂任务,可能要花几天才能做好。

验收同样是一门专业活。任务是否真实、难度是否合适,都得检查。实验室还会试跑模型、做小规模训练,判断这些数据能不能让模型进步。按团队的说法,一些客户买来的数据,最终真正用上的可能还不到10%。

这套复杂的数据生产和验收流程背后,是一个快速增长的市场。

按Handshake联合创始人兼CEO Garrett Lord估计,AI训练与评测数据市场三年前约为10亿美元,如今已达100亿美元。他预计,未来三年有望达到1000亿美元,而且这还没有算上企业需求。

做这门生意的Handshake,主业是职业招聘平台。2025年3月,Handshake启动AI业务,利用原有人才网络,组织专业人士参与模型训练与评测。投行从业者、律师、医生的工作经验和判断,成为数据生产的重要来源。

截至目前,这项业务已经有了相当规模。据Garrett Lord介绍,其AI训练业务按总额口径计算的年化收入约10亿美元,而按官网披露,Handshake已向AI项目参与者累计支付超过5亿美元报酬。

在这期访谈中,Garrett Lord和团队逐项拆解了训练数据的生产与验收过程。

从模型厂商提出需求,到专家制作数据,再到模型出错、评分器被骗,团队用一项具体的投行任务,展示了前沿模型训练数据如何生产、又如何接受检验。

打开网易新闻 查看精彩图片

核心观点

  • 一条训练数据,正在变成一份完整的专业工作。

供应商要准备工具、邮件和业务资料,由专家设计任务、制定评分标准,再检查材料是否一致、模型能否钻空子。制作一条复杂任务,可能需要花上几天时间。

  • 数据供应商也在训练模型,用训练结果改进数据

Handshake用自有数据对开源模型做后训练,找出模型在哪一步遇到困难,再据此补充专家解释、业务材料,验证修改后的数据能否带来能力提升。

  • 训练数据的难度,要与模型当前的能力相匹配。

实验室会让模型试做,检查通过比例。题目难到几乎做不出来,或者轻轻松松就能完成,都不是最适合当前模型学习的任务。

  • 买错数据,损失的不只是采购费,还有算力和研究员的时间。

数据不可信,模型厂商就得额外做训练实验和评测来排查问题。而从数据到手到发布模型,往往只有几个月,因此稳定交付的供应商尤为重要。

  • 模型越强,训练数据的制作越复杂、越昂贵,评测需求也会增加。

智能体承担的任务时间更长、涉及的工具和专业判断更多,供应商需要准备更复杂的环境和任务,还要持续制作评测数据,检验模型的实际表现。

以下内容根据Latent Space对Handshake AI团队的访谈整理,内容有删减和编辑。

01

前沿模型厂商如何采购和验收数据

主持人:录音前你们提到,以前找普通大学生做标注,一个小时给10美元,现在连教授都参与了。你们怎么看这个变化?

Handshake:2022年底到2023年初,语言模型刚出来时,我们做过大量基于人类反馈的强化学习(RLHF)。那时候模型说出来的东西经常不成话,找高中生、大学生就能大规模做训练。

到了今天,要进一步训练模型,往往得请真正做过这行的人,比如投行从业者、律师或医生。

这里有个误解,好像越往后就越得找资历深的人。其实在投行干了两年的人,就足以深度参与模型训练。要让模型做到某个领域的知识前沿,当然得找顶尖专家。可很多模型连入职一年的投行分析师每天做的事都做不好,待会儿就会讲到。

真正发生变化的是任务本身,这些人现在做的工作,比给照片里的车画框复杂得多。

我们现在会搭很复杂的模拟环境,也就是强化学习环境。得有人把智能体在银行、律所或医院实际工作时会遇到的工具、情境和各种细枝末节都做出来,连现实里的混乱也要反映进去,然后要写清楚交给它什么任务。

更难的是,做到什么程度才算好?大多数知识工作的成果,都很难完全验证对错,质量也有高低之分。要把专家的判断写成能自动评分、能拿去大规模做强化学习的规则,很不容易。

主持人:能不能带我们具体走一遍?专家要写评分细则、搭环境,也要制定规则来防止奖励作弊(reward hacking)吗?

Handshake:刚才说的这些都要做。要做出一条有价值的训练样本或评测任务,先得有环境,还要有一支工程团队负责搭环境所需的技术。

打开网易新闻 查看精彩图片

首先,投行从业者平时能用什么工具,环境里就得有什么。Excel、PowerPoint、Outlook、Google Drive、Bloomberg等,还有普通网页搜索。

直接用原版软件会碰到调用限额之类的问题,所以要开发模拟版本,跑任务时用自己的Docker镜像启动这些工具。光把这些工具从头开发出来,再逐一测试、做质量控制,就是一项不小的工程。

光有工具还不够,里面还得有投行平时会接触到的数据。Outlook里得有往来的邮件和讨论,Google Drive里要有交易资料室,还要放进分析师需要查的文件。

理想情况下,可以直接从银行拿数据,再把能识别个人身份的信息去掉。但这事投入大、周期长,模型厂商又要求数据足够多样,还要能持续扩大规模,靠采购和去标识化做不出那么多,所以还得生成数据。

如果只让模型凭空编一个公司的资料室,拿到的东西通常用不了。要有专家指导智能体,和它一起编写数据、反复调整。

当然,我们也可以先从真实企业买一批种子数据,再由专家指导模型扩充。

接下来要审查模拟环境。

第一关,打开一份Excel,乍一看像不像公司真会用的财务模型?这一关,模型通常能过。

第二关是看不同文件之间能不能相互印证,整个环境够不够真实。假如有二十份文件,里面的材料得像同一家公司的东西一样对得上。智能体从零生成时,经常会前后不一致,所以专家得参与数据怎么生成、怎么审查。

搭完还要反复试跑,查智能体有没有钻评分漏洞、环境有没有别的问题。专家复核过后,才会开放这个环境供人出题。

有了环境,接下来要写任务提示。题目既要贴合环境,又得有足够难度。让智能体跑一遍,再把好结果的标准写成可逐条检查的评分细则。比如请智能体扮演投行分析师,搭一个有五张工作表的杠杆收购模型(LBO)。

要判断这个LBO模型做得好不好,需要考察很多方面,评分细则可能多达几百条。每项给多大权重,也得想清楚。标准写得太模糊,智能体就能钻空子;规定得太死,又可能把合理的解法排除在外。所以,需要专家从不同角度反复推敲、修改。

这么一套做下来,一条数据就可能要花几天。模型厂商一般也不希望几千道题都来自同一个环境,模型训练需要更多样的情境。一个具体领域,可能就要上百种甚至上千种环境,配几千甚至几万道题。再往下,每个细分行业都得做一遍。

主持人:这些方向有多少是你们自己想到的,有多少来自模型厂商的需求?

Handshake:两种情况都有。有时模型厂商的目标很清楚,就是要提高模型的金融能力。研究员很出色,但很多人没在金融行业工作过。他们可能会问自己的同事,也会请我们这样的公司帮忙梳理。金融里有财富管理、销售与交易、投行,不能一概而论。

主持人:假如你们和一家头部银行合作,他们想先把AI用到哪些高价值场景?哪些任务现在能做好,哪些还差得远?

Handshake:每个职业有几百种工作流程。哪些重要,哪些最关键?最关键的那些,做到什么地步才算好?你在排行榜上看到模型拿了87%的分,可站在投行从业者的角度,交来的东西可能根本没法用。与其把每一项都重新审一遍,还不如直接不用。

我们也明显感觉到,不论是大型模型厂商,还是新兴模型厂商(neo labs),都在与我们这样的数据供应商开展更紧密的合作。

采购也经常是我们主动带着一个数据集去找对方,跟他们说,这类任务对未来的生物研究很重要,可你们的模型做不好,别家模型也一样,我们觉得值得补。他们可能就说,这个有意思,再多给我们一些。

主持人:做完环境和评分细则之后,你们怎么验证它们管不管用?自己训练模型吗?会做后训练吗?具体怎么测?

打开网易新闻 查看精彩图片

Handshake:(Nishant Ranka,此前在模型实验室工作,以下介绍他作为数据使用方的经验)过去五六年我都在实验室工作。现在环境复杂了,模型厂商验收数据也会用智能体。我们会先写一套标准,既查每个数据集本身,也查不同数据集放在一起够不够多样。

我喜欢花一整天仔细看一条样本,当然不可能每条都这么看,但一条就能看出不少问题。比如,合成内容占了多少,任务指令是不是从同一个模板套出来的。

我们经常看到有题目要求模型写一篇长达一万个单词的LinkedIn帖子,这就不合理,谁会在LinkedIn上发这么长的东西?可模板生成的数据里经常有这种题,拿来做后训练风险很大。

预训练是给模型看大量数据,到了中期训练和后训练,就越来越要贴近模型实际会做的任务。

如果给它的题都是模板套的,或者是质量不高的合成题,一整轮训练跑完,损失和奖励曲线可能都很好看,可拿最后保存的模型版本(checkpoint)试一下,就发现不对劲。它要么想得太久,要么写个没完,实际从业者根本不会这么写。

所以,验收不能只看数据本身像不像样,还要试出它能不能真的把模型训练好。

实验室验收时很看重这一点。我们会拿数据让模型试做,看看多大比例能过。如果题目难到几乎过不了,或者模型轻轻松松就做对了,都不是最适合它学习的难度。

我们也会做消融实验,拿一组数据对模型做短时间训练,看看表现有什么变化,也可能拿训练中途保存的模型版本在内部试用。

我们还会把数据向量化、按内容相近程度分组,再从不同组里抽样检查。比如一批金融数据,是不是都在讲同一种并购?财富管理、企业税务和其他约定的领域有没有覆盖到?

这些检查本来就不简单。从拿到数据到做后训练、发布模型,时间最多也就几个月。很难在这么短时间里把质量查透,所以我们更愿意找以往一直能稳定交付好数据的伙伴。

主持人:也讲讲你们在内部做的后训练吧。你们拿开放模型来做吗?

Handshake:我们拿开源模型,用自己的数据做后训练,看看能不能让较小的模型在自建基准上提高。

这里有两件事。

第一,搞清楚模型为什么有提升,或者为什么没有提升。有了结果,我们可以告诉数据团队,财务模型要附上投行从业者的解释,某项税法也许要把说明PDF一起给模型,因为它在网上找不到,或者容易弄混,这样就能把需求一项项找出来。

第二,再把改好的数据放到一起,看能不能真的把模型练得更好。如果能做到,对模型厂商和想微调自己模型的企业来说,这就是数据确实有用的直接依据,毕竟数据是拿来训练模型的。

还有一点,真正高质量的数据非常难做。采购时,有些客户会跟我们说,最后真正用上的,可能还不到买回来的10%。

主持人:听起来太浪费了。

Handshake:模型训练需要反复试不同的数据配比。有些样本质量确实不行,也有些单独看很不错,只是不适合这一轮的组合。

主持人:这些数据还有别的用法吗?比如在中期训练时做监督微调,先让模型适应领域。即使数据没那么准、质量没那么高,是不是也能派上用场?还是说模型已经很强,就只在后训练时补几个具体短板?

Handshake:先说数学这类容易验证对错的领域。奖励可以给得很准,数据好不好也比较容易判断,可以直接用它来提高模型。可现实工作不会把一道数学题单独摆到你面前,数学或编程经常只是任务中的一步。模型开始计算或写代码之前,得先作一连串假设。评分器如果只找最终答案,就容易判错。

一项任务里既有能直接验证的部分,也有只能部分验证(semi-verifiable)的判断。我见过大规模训练没达到预期,就是因为模型把前一部分练得很好,却忽略了后面的判断。

另一个发现是,数据每次做出来,风格都可能不同。人各有各的写法,可你一读Opus的输出,再读Astra的输出,就能看出各自的风格。训练数据如果风格不一致,模型就很难形成自己稳定的口吻。

搭高质量的环境、写评分细则、做评分器,大概占了九成工夫。光是把这么多数据的风格统一起来,也是一大块工作。

主持人:这些要求是模型厂商提的吗?比如Anthropic说,希望Claude听起来有自己的口吻,你们就照这个要求调整?

Handshake:双方会反复改。到底用不用长破折号,是尽量像人一样说话,还是用更紧凑的表达,大家都还在摸索。各家模型厂商的模型行为准则在变,数据公司也得跟着调整。没有一套固定答案,但金融、法律和其他领域的数据在风格上得保持一致,否则后训练就会学出一些奇怪的格式和文风。

刚才说到采购量和实际使用量的差距。很多样本确实得修改,甚至重做,可能是质量没到位,也可能是不符合风格要求。

还有一点。搭环境、写评分细则,是为了让模型学到某些能力,但对齐还涉及更难写清楚的东西。对本行业的人来说,什么样的成果算出色,往往有一种难以说清的专业判断,很难全写进评分表。

我们看到,越来越多模型厂商会在同一个环境里,让专家对同一项长任务的不同结果做偏好排序。他们一来想知道评分器的判断和专家差多少,二来也想看看,如果有些专业判断靠评分细则和强化学习始终学不到,能不能直接用专家的偏好来训练。

一边有人在平台上每天全职编写数据,另一边我们也得有懂行的人全职做审查。没做过这个行业,很难知道交上来的数据是不是真的好。

接着刚才说的,对模型厂商而言,拿到坏数据的代价比以前大多了。算力和研究员的时间,可能是模型厂商最宝贵的两样资源。数据不可信,就得花更多算力做消融实验和评测。现在任务周期越来越长,训练也更久。

02

如何给智能体做的模型打分

主持人:Collin,先简单介绍一下自己吧。

Handshake:我是二月份加入Handshake AI的。此前在金融业做了十三年,先在一家大型投行做能源业务,后来主要做房地产私募股权投资。

主持人:前面聊过怎么提高模型的金融能力,还没看到具体任务,也没看到模型怎么做、在哪儿出错,能不能先带我们过一遍ATLAS?

打开网易新闻 查看精彩图片

Handshake:ATLAS-Finance是我们新做的金融基准,有100项任务,分布在13个模拟环境里,我们尽量还原实际工作。

智能体进来后会扮演投行里的一名员工,有七到十二名团队成员,还有大约六个客户需要打交道。收到任务指令后,它得自己去查邮件、日历和云盘,用分析师平时会用的工具弄清来龙去脉。

这是我们做ATLAS-Finance的出发点。我们按真实投行的方式给智能体分派角色和任务,让它用同样的工具、按人的方式提交成果,再按专家写的严格细则打分。这类任务只能部分验证,评分细则为什么难写,后面可以细说。

主持人:还有个问题,模型现在做得怎么样?

Handshake:在ATLAS-Finance上,模型的任务通过率还不到20%,表现确实很差。我们跟行业专家聊过,他们不放心用这些结果,实际工作里基本用不上。

进投行没多久就会听到一句话,“只对了95%,就等于全错。”修改一份有问题的交付物,可能比从头做一份或者套模板还费时间。

跟一年前比,模型当然进步很大。那时一眼就能看出哪里不对,现在读起来、看起来都很专业,格式和结构也可能没问题。

可ATLAS里有些任务,人要花十五到三十小时,表格里四千多个单元格填了数值、标签或公式。我要演示的那份有两千六百多条可计算的公式,关键错误却藏在不到五十个单元格里。你愿意一个个找,还是干脆自己重做?

ATLAS已经能模拟投行从业者遇到的一部分工作,是往前走了一步。要把整家银行和其中所有变量都模拟出来,还远得很。现在看到的只是一小部分。

先给智能体指令。可能会附一个文件,也可能指给它一封带附件的邮件,但不会把要用的资料和假设逐项列好。接着它就得自己找线索,跟新人接手工作一样。

打开网易新闻 查看精彩图片

投行里常听到一句话,“你自己想办法弄清楚。”智能体也得这么干,先明确任务,再翻日历、OneNote、Slack、云盘和邮件附件,把相关资料找齐。

随后开始计算。它可以先用Python做出模型,把计算结果作为基准,再在Excel里重新搭一遍,让人能用。最后上传到资料室,或者从Outlook发给董事总经理,写一封和人一样的交付邮件,“请查收附件,有问题随时联系。”我们再按专家写的评分细则,尽量模拟投行副总裁怎么审这份成果。

在这里,智能体扮演Julian,从负责派活的董事总经理Sanjay那里接任务,客户方合伙人Nathan还会补充信息,特别是建模假设。为了做得像真的,环境里还有其他项目、其他客户和其他工作安排,收件箱有几千封邮件。智能体得知道自己现在只做Project Falcon。

Project Falcon是一笔设定在2019年、由财务投资方主导的杠杆收购,采用338(h)(10)税务选择。杠杆收购对投行是常规业务,这笔交易特别在于税怎么处理。

关键信息没有藏着,任务指令、项目启动邮件、OneNote,还有客户Nathan发来的交易条款里都写了。我们从运行轨迹看到,这次用的前沿模型确实打开并读了这些资料,知道要做什么,也收到了交付要求。

如果听众不熟悉LBO,简单说就是借钱收购一家公司,希望它以后做大、卖个更好的价钱,借钱可以放大自有资金的回报。

这笔交易特别的地方是,做了338(h)(10)税务选择后,计税时会把它当作资产出售。这里的会计处理有具体要求,其中一条是,计算时不考虑卖方资产负债表上已有的商誉。

先看智能体做了什么。它执行了73个动作,调用工具101次,用了36分钟。跟人比确实省时间,尤其是搜集背景这一步。光是翻收件箱和笔记、把资料汇总起来,就能省几小时。

我们的专家从头重建整个模型,实际花了十五个小时以上。

主持人:先问一句,它的答案对吗?我们现在看的是一次成功的运行吗?

Handshake:不对。

主持人:好吧,我们放心太早了。

Handshake:主要的问题是,它用Python建模时,没意识到自己在对已有商誉的处理作一项关键判断。

你今天单独去问这个模型,按338(h)(10)处理时,买方怎么对待卖方资产负债表上已有的商誉?它知道答案,会说这笔商誉跟本次计算无关,不能拿来算计税基础。可真到该用这条规则时,它没用上。

打开网易新闻 查看精彩图片

第20步,它在算计税基础调增额时把这笔商誉扣掉了,这一行代码就把整套估值和模型都带偏了。看它的执行轨迹,也找不到它意识到自己拿不准的迹象,这种错误最麻烦。它要是知道该把疑点提出来,至少还能帮你,可它根本没意识到这一步有多关键。

环境里其实就有这些信息,邮件里有,OneNote也有,很贴近现实。它确实复核了自己的工作,拿Python的计算结果和Excel对了一遍。两边能对上,就觉得没错,直接发给了Sanjay,连同那个错误一起交了上去,也没提示哪里需要特别留意。

这就是它实际交上来的文件。难审、难用的地方就在这儿,乍看是一份挺扎实的模型。里面有两千六百多条公式、四千多个单元格,偏偏就是第16行出了问题。它让现金流和正确值差了大约10%,后面各期也都跟着错。

主持人:怎么把这些用到强化学习上?一方面要有评分细则,另一方面它这半个小时里其实做对了很多事。可以先讲讲你们怎么评分。

Handshake:在只能部分验证的领域,最难的就是写评分细则。交张白卷,给零分很容易。做得无可挑剔,给满分也容易。难的是怎么评中间这些结果,尤其是好几个因素一起起作用时。比如,模型A更擅长搭现金流,模型B做的资产负债表更好,怎么权衡?

我们花了很多时间和专家一起写细则,尽量用明确的规则判分。任务环境和输入要交代清楚,让这道题有一个正确答案。行业里可能有两种都说得通的做法,但我们会在环境里放一份Sahil的笔记,明确这次用哪一种,这样才能按细则打分。大致说来,一半左右是硬性检查。比如第一年EBITDA、第二年现金余额算得对不对。

主持人:或者某个必做步骤有没有完成。

Handshake:这些都能明确判对错。我们觉得这反映了行业标准,对数值结果的检查,所占的评分比重甚至还可以更高。这套基准里,每项任务平均有大约146条评分标准,其余分数主要看模型怎么搭,也就是看计算和建模过程。刚说的计税基础调增就是一项前置检查,我也会把它算在建模过程里。

这项前置检查没通过,后面整节都不计分。这就像副总裁审模型,发现第9行错了,圈出来就退给你,不再往下看。

一个原因是,他会想,这项都做错了,其他地方怎么信得过?另一个原因是错误会传导,两千多条公式相互引用,一处错了,别的数字也会受影响。按实际的审阅方式,税务计算这一节的180分就都不计了。

把细则跟运行轨迹放在一起,我们可以看出不同模型在哪些任务上擅长、又会怎么失败。最常见的三类问题是,财务逻辑没能用到具体情境里、没处理好任务范围、交付不完整。比如前九步做了,第十步留着没做,模型就没有做完。任务一复杂,各个模型家族仍然经常在财务逻辑上出错。

同一道题既可以用来评测,也可以用来做强化学习,但两种场合对分数的用法不同。强化学习时,模型做对了很多步骤,总得给它一些奖励。评测想回答的则是,真到投行里,业务人员敢不敢用这份成果?那又是一个门槛。

我们团队做得很好的一点,是把实际应用中不能出错的检查项单列出来。刚才的税务处理一旦错了,客户或副总裁可能当场就不再信任这份模型。同时也把各项分得够细,强化学习时仍能给做对的部分奖励。

但讲到评测,我常觉得有意思。比如,模型厂商会说,“我们的模型在某个基准上的得分达到了79%。”你想象一下,有个员工每件活都只做到79%,就跟你说做完了,再也不看,这样的成果你用不了。

主持人:我想补一点,79%仍能帮你决定怎么搭应用。可以安排人复核,加上必要的限制,或者只让模型做到前半段,到了这一步就交给人。知道模型在哪些地方能用,是有价值的,只是还不能让整套系统独立跑完。

Handshake:完全同意,要看你在用分数做什么。

做这个基准时,我们访谈了数百名投行从业者。我觉得有个问题很有意思,“你愿意在这份结果上接着做吗?”绝大多数说,宁愿自己从头做。站在模型厂商的角度,你刚才说得很对。评测能告诉你,模型在哪些地方应该主动提示税务处理问题,怎样才能更有效地引导模型,以及哪些地方还需要补充训练数据,这些都有办法改。

主持人:具体要怎么划分、怎么写,才能让一套细则用在这样复杂的任务上?

Handshake:关键还是要让评分尽量有据可依,同一份交付物按细则检查,结果要一致。

先设计任务和环境,保证每一项都能按有效的标准来判。各个部分由专家写,再经过几轮审查,确保覆盖关键分析。最后也会看交付和格式,但最重要的还是分析本身。细则怎么拆,取决于具体指令、输入和环境。

归根结底,是专家要判断哪些地方会影响分析结论。

主持人:接下来聊聊用模型打分。

打开网易新闻 查看精彩图片

Handshake:我们做了一个评分器,叫Gandalf,也把相关论文投给了NeurIPS。任务设计得这么复杂,总得有人查。根据我的经验,人工对着一份模型逐项核完146条细则,又累又费时间。我们在做Gandalf之前试过用智能体核验,结果不够可靠。

比如让它判断,“2026年的净利润是不是1亿”。本来只要答是或否,可它在两千六百条公式的表里找到1亿就可能判断通过,实际上连该看哪儿都没弄清。

研究团队花了不少时间做这个评分器,把环境和任务输入里的更多上下文给它。它得知道自己看的是杠杆收购模型,净利润在哪儿,2026年对应哪一列,这样一来改善很大。我记得它与人工判断的一致率超过90%。

我们也让两位专家按同一份细则分别评,结果并不会完全一样,人也会犯错。所以让评分器和人互相复核,也能帮助我们理解实际该怎么用。

做评分器还有一个好处,它会反过来告诉你,细则哪里写得不够清楚。

早期有一道题,规则大意是“净利润为100”。智能体新建了一张工作表,把1到大约100万的数字全列了进去。评分器只查文件里有没有100,找到了就判通过。这让我们意识到,题目设计和评分规则都得写得更准确,评分器才会按任务原本的意思去查。

主持人:就是你之前提到的那个例子?模型靠把数字全列出来,钻了奖励机制的空子?

Handshake:我们要么把检查项写得更准确,要么重做任务,比如给它一个更明确的Excel财务模型模板。这样评分器才会去净利润所在的位置核对数值,而不是在整份文件里随便找一个100。

03

训练数据市场,三年后1000亿美元

主持人:各家模型厂商在算力上花多少钱,大家都比较熟悉。希望听完今天的节目,对数据市场也多了一点了解。往前看,你们比较乐观的预期是什么?

Handshake:现在越来越多模型厂商告诉我们,数据更受重视了,技术报告里也能看到。

智能体越强,我们就越要训练它们做周期更长、环境更复杂的任务。这样的数据,每条做出来都贵得多,而且没别的渠道可以拿到。

我甚至会说,数据正在推动整个行业的进步。看看最近发布的模型,具体哪个家族我就不点名了,都在收集更多数据。当然,算力也在扩张,算法也在改进,但在软件工程之外的真实场景里,我认为,推动进步的主要因素还是有了更多数据。

而且刚才还只是在说训练。还有什么产品上线时,你其实并不知道它在现实里会怎么表现?写软件有单元测试、回归测试,你知道它应该怎么跑,查到缺陷就去修。模型发布了,企业也开始用了,你还是不知道它在各种真实情境里会怎么做。

所以要测的是,通用模型能不能胜任今天经济活动中要交给它的各类工作,也要测未来希望它做到的事。光是评测就需要大量数据,每家企业、每个工作流程、流程的每种变体都要测,企业的AI系统才会更可靠、更值得信赖。

模型厂商经常找我们说,他们太缺评测了,越多越好。

主持人:你们会保留一部分不公开的评测题吗?公开基准要是被反复拿来针对性优化,到最后可能就测不出什么了。比如Cognition会公开一部分题目,剩下的留在内部。

Handshake:对,这现在基本是行业惯例了。今天讲的这些ATLAS基准,都会保留一部分不公开的题目,作为留出评测集(holdout set)。我们也会给模型厂商客户做很多定制评测,这已经是业务里很大的一块,以后还会更多。

还有一点,今天看的都是某个时点上的单项任务。数据和模型接下来都得往这边走,从做单项任务,到跨很长一段时间把整件事做完,像编程领域已经在做的那样。要让这样的系统有实际经济价值,就得有相应的数据、环境和奖励,让模型知道每一步做得对不对。

你刚才问,数据市场会怎么发展。每条数据对应的任务更复杂、时间跨度更长,做出来也就更贵。模型越强,我们想交给它的事越多,涉及更多领域和职业,就得做更多评测,也得准备更多训练数据。

三年前,这个市场是10亿美元,现在是100亿美元。再过三年,我看不出有什么理由到不了1000亿美元。数据生产各方面都在扩张,我们甚至还没算企业需求,那是另外一块机会。我认为这个市场接下来会有很大的增长。

企业市场还有个有意思的变化。推理服务商正往技术栈上层走,先提供GPU,再做强化学习即服务。我们想从另一头走,从数据做起,再往技术栈下层做。把企业AI部署好,最难的是先搭好评测,然后根据结果反复调整给模型的上下文,也调整负责给智能体接入工具、控制任务执行的框架(harness)。如果有必要,再往下做开源模型的微调。

打开网易新闻 查看精彩图片

近期厂商征集

AI数据基础设施研究项目征集

截至时间:11月20日

2026爱分析·企业AI平台竞争力榜单

截至时间:11月30日

2026爱分析·企业AI 100强榜单征集

截至时间:12月15日

打开网易新闻 查看精彩图片