一个35B的模型，在用户理解这件事上，赢了2.4T的对手。
AllSpark团队联合商业算法提出Vela框架，把经过匿名化、脱敏处理的行为数据，转化成更有挑战性的训练任务。实验中，35B模型在用户理解主基准上提升11.5分，五项通用基准平均提升4.0分。
更关键的一组数字：Vela-35B-A3B的VelaBench得分达到63.0，超过Qwen3.8-2.4T-A95B的62.3。
同一个"背包"，两种需求
在广告、电商、推荐、搜索这些场景里，同一个关键词背后，可能对应用户截然不同的需求。
同样搜索"背包"，有人准备周末短途徒步，有人正在规划多日露营。关键词相同，需求却不同。只看当前问题，模型很难区分。
但在匿名化的历史行为信息里，线索是存在的。对轻便徒步装备的持续关注，可能意味着偏向短途出行；对大容量装备的关注，则可能对应更长时间的户外计划。
要理解这些线索，模型需要从上下文里学习，把分散的证据联系起来，判断哪些行为更能反映当前需求，并追踪偏好随时间的变化。Vela把这种面向具体用户的能力，称为LLM智能的用户维度。
用户理解，也是LLM智能的一部分
Vela从三个特点界定这类能力：
- 面向个体。模型需要理解眼前这个人的需求，避免用"平均用户"的偏好替代个体判断。
- 跨越长时间。相关证据分布在数周甚至数年的行为中，既有稳定偏好，也有阶段性的兴趣变化。
- 基于证据。对用户的判断需要得到历史行为支持，不能把一次浏览直接等同于长期喜好，也不能凭空推断个人特征。
这些特点让用户理解成为一类综合能力任务。模型要从长上下文中找到相关信号，过滤噪声，结合搜索、浏览和购买等不同证据，并随新行为出现更新判断。
网页、教材、代码和合成数据为模型提供了丰富的知识与推理训练，但其中的用户相关内容，往往难以完整反映个体的长期行为，以及需求和偏好随时间发生的变化。
真实行为记录提供了另一类学习材料。其中既包含用户所处情境和做出的选择，也包含随时间变化的反馈。历史可以作为问题的证据，实际发生的行为可以形成监督。后续购买能够检验预测是否正确，历史中的多条记录则可以支持对偏好的总结。
研究基于经过匿名化和脱敏处理的大规模行为数据，覆盖约10万个匿名化样本主体，最终构建了约7.5万条训练样本用于基础模型训练。
从行为历史到可学习、可验证的任务
Vela的方法围绕三个问题展开：模型可以看到哪些行为、这些行为能够构成什么任务，以及回答如何验证。每个任务包含一段用户行为历史和多道问题，并配套独立保存的参考答案或评分标准。
第一步是整理行为历史。Vela使用带有时间信息的行为记录，覆盖浏览、搜索、购买、发布、关注和负反馈六类行为。数据经过匿名化处理：移除用户资料、姓名、联系方式和账号ID等信息，并排除仍包含身份信息的记录。保留下来的历史按时间排序。
对于较长的历史，Vela将其划分为约7.2万至12万token的片段，切分时保留每条行为记录的完整性。在每个片段中，前约三分之二作为模型可见的历史，后约三分之一作为隐藏的后续行为。预测题要求模型根据截止时点之前的证据作答，真实后续行为则用于提取答案、验证预测；归因题会在题面中披露需要解释的已观察结果。
第二步是用91种模板，把行为历史构造成具体问题。每个模板明确任务目标、出题条件、允许使用的证据、回答格式和评分要求。构建任务时，先根据当前历史片段实际包含的行为选择适用模板，再生成具体问题。这些模板分为预测类和依据评分标准评估的分析类，共覆盖四种题型：
- 选择题：给出候选项，要求模型预测用户后续会选择哪些产品、内容或其他对象。真实答案来自相应的后续行为，干扰项从其他用户的候选对象中采样。
- 开放预测题：不提供候选项，要求模型直接写出预测，例如用户接下来可能购买的产品。回答需要与真实后续行为进行语义匹配。
- 开放分析题：依据可见历史总结用户特征、兴趣偏好或语言风格。这类问题没有唯一正确答案，评分关注回答是否满足任务要求、是否得到历史证据支持。
- 行为归因题：在题面中披露某项已发生的行为，例如一次购买或负反馈，要求模型结合此前的历史解释这一选择。评价的是解释与历史证据的一致性。
预测类问题由预定义规则构造，规则从隐藏的后续行为中提取真实答案，并为选择题组织候选项。分析类问题则由任务生成模型Composer根据模板和可见历史生成具体题目，同时制定该实例的评分细则；归因题还会提供需要解释的已观察结果。Composer需要明确各项评分要求及其证据依据，缺少必要材料时跳过该问题，也不能把自己写的一份用户总结当作唯一标准答案。
同一段历史中的多道问题被组合为一个任务。对于同一项后续行为，预测题与归因题只选其一，避免归因题披露的结果成为预测题的答案。
第三步是用真实结果和评分细则，验证模型回答。选择题先提取模型最终选择的候选项，与真实答案精确匹配，再计算集合F1。开放预测题由评分模型Scorer从自由文本中提取预测对象，识别与真实答案语义等价的表达；系统据此统一预测对象的表示，再计算同一指标。集合F1同时考察预测是否准确、是否覆盖真实结果：未匹配的预测会降低准确性，遗漏真实结果会降低覆盖程度，重复表达不能重复计分。
开放分析题和归因题使用任务专属评分细则。Scorer依据题面要求和允许使用的历史证据，对各个维度分别给出0–1分，再对这些维度取等权平均；一个任务包含多道题时，再取各题得分的平均值，形成任务总分。
参考答案和评分标准不进入模型的作答输入，评测用户也不参与训练数据构建。经过这一步，行为历史被转化为具有明确输入、作答要求和验证方式的候选任务。
按任务难度和回答质量，筛选训练数据
任务生成后，Vela先判断哪些题适合用于训练。具体做法是让基座模型对每个任务回答四次，再根据评分结果计算平均得分，作为任务难度的估计。
Vela保留平均得分在0.2–0.8之间的任务，筛掉模型已经很容易完成、或当前难以完成的题目。
接下来，Vela为保留的任务生成四条回答轨迹，并选取得分最高的一条。只有当这条回答的得分高于前一步基座模型的平均得分时，才将其纳入训练集。这样，筛选同时考虑了两个问题：任务是否有学习价值，以及回答是否提供了比基座当前表现更好的示范。
经过这两步筛选，10万个候选任务最终形成约7.5万条Vela-Instruct训练样本，用于训练Vela-35B-A3B。此外，Vela使用基座模型自身生成的回答构建了9,375条Vela-RFT样本，用于检验模型能否通过学习自身筛选后的回答提升能力。
十项基准全线提升
为了区分任务内的提升与更广泛的收益，团队设置了三组评测：
- VelaBench：覆盖框架中的任务类型，包含来自训练之外用户的982个任务。
- 用户相关独立基准：覆盖购买意图、画像与兴趣总结、用户属性与购买行为理解，以及广告检索词生成。
- 通用基准：覆盖数学、科学知识、指令遵循和上下文学习。
Vela-35B-A3B在这十项基准上均优于同规模基座。用户任务中，ProfileSummary从20.4提升至30.5，AdRecommendation从51.1提升至62.3。通用能力中，IFBench提升6.7分，CL-bench Life提升5.6分。
相较Qwen3.6-35B-A3B基座，Vela在用户理解主基准VelaBench上提升11.5分，在四项用户相关独立基准上平均提升6.2分，在五项通用基准上平均提升4.0分。
从能力要求看，用户理解与通用任务都涉及上下文学习、证据整合和指令遵循。实验表明，行为监督的收益可以延伸到这些通用评测；具体由哪些能力变化带来迁移，仍值得进一步研究。
与更大模型比较，Vela-35B-A3B在VelaBench上的63.0分，高于DeepSeek-V4-Flash的58.6和Qwen3.8-2.4T-A95B的62.3。在用户理解这一具体能力上，利用合适的行为监督，可以让较小模型达到很有竞争力的表现。
仅使用基座自身生成轨迹的Vela-35B-A3B-RFT，也在VelaBench和用户相关独立基准上分别取得2.0分、平均1.6分的提升，同时保持通用基准平均分不变。
更多行为数据，以及更强的后续训练基础
扩大数据规模，用户理解继续提升。训练样本从4.7K增至75K，VelaBench从59.2提升至63.0，用户相关独立基准平均分从43.5提升至47.5。通用基准在所有测试规模上均高于基座，75K时平均分达到58.2。各类能力对数据规模的响应有所差异，VelaBench在37.5K至75K之间仍继续提升，显示出进一步扩展的潜力。
完成强化学习后，收益依然保留。为了检验Vela能否为后续强化学习提供更强基础，实验比较了两种训练方式：一种直接在Qwen3.6-35B-A3B基座上进行RL；另一种先用Vela-Instruct完成监督微调，再进行RL。两种方式使用相同的RL训练数据、算法和配置，区别在于是否先经过用户行为数据训练。
完成RL后，先经过Vela微调的模型在VelaBench上达到66.2分，直接从基座进行RL的模型为58.5分；在ProfileSummary上，两者分别为37.6分和29.9分，均相差7.7分。用户行为监督不仅能直接提升模型表现，还能为后续强化学习提供更强的能力基础。
真实行为，为LLM能力学习提供新的信号
大模型的能力越来越强，也越来越多地在搜索、广告、推荐等核心业务的环节中被使用。它要求模型跨越长历史、识别有效线索，容忍噪声数据，并依据证据形成和更新判断。Vela将这些要求转化为训练任务，探索了真实用户行为作为监督来源的价值。
实验既观察到业务上用户理解、行为预测能力的提升，也观察到通用评测和后续强化学习的收益。这项工作的启发是：真实世界中持续产生的行为与反馈，可以成为扩展LLM训练信号的重要来源。
如何覆盖更多场景、选择更有价值的行为信号，并将其转化为可靠的学习目标，将决定这条路线能够走多远。
热门跟贴