腾讯600万悬赏：如何让广告更懂你|query|广告|序列|悬赏|数据挖掘|知名企业|算法|腾讯

悬赏 600 万

腾讯营销有个头疼的事

在给用户进行精准广告推送的时候，需要对用户的状态进行两点判定：

一套管用户行为：是不是 tibo 一重置额度，浑身就忍不住颤抖？
一套管用户画像：你是不是锤佬？是不是 P 社玩家？等等

而这么两套系统...其实到现在都没有融合，各跑各的。内部想合成一套，弄了几年，没有满意的答案

今年他们换了个办法：把这个问题，放在顶会上进行悬赏

在今年的数据挖掘顶会 KDD 上，腾讯拿出了超过 600 万人民币，公开悬赏算法，引得 52 个国家和地区，近一万四千人前来挑战。而就在刚刚，结果在济州岛揭晓，学术赛道冠军独摘超过 200 万人民币，打破了国内企业技术竞赛最高单项奖金纪录

这里还有个诡异的小故事...工业赛道冠军，团队名是「日之光面」，方案是用 DeepSeek 网页版生成的

更多故事，容我娓娓道来

广告系统，为什么费算力？

在正式解读这个比赛之前，容我给大家讲一讲广告系统，或许能成为你下场饭局上的谈资

你现在随便打开一个App，首页给你推各种东西（也不一定是广告，也可以是信息流），它的背后都有一套推荐系统去推算可能性，让你有最大的概率点进链接

至于如何推算，依赖这套系统对两个问题的解答

第一个问题：你此刻想要什么？系统会把前后发生的一连串互动放在一起看，找出它们之间的联系，再提取出对推荐有用的信息，比如给机智的你推送点鱼饵，以及迷你可乐瓶
第二个问题：你到底是什么样的人？系统给每一个人贴了一堆标签，把来自不同地方的信息放在一起，看看它们组合起来，就能让推荐系统做得更准；比如我的标签就是「颜值博主」x「唱跳出道」

这两套推荐办法都很有用，也各自发展了十来年...由于数据结构很不一样，一直也就各跑各的，但现在整个行业开始往 GPU 计算来转型，很多算力就消耗在了异构上，去解决「怎么把两套东西拼起来」这件事

这其实是整个工业界下一代推荐架构的核心问题：当前主流推荐系统一直把行为序列和用户画像分开建模，想合到一起，还得同时满足效果和效率。腾讯营销内部也一直想合二为一，但弄了好几年也没找到合适的答案。而今年他们把整套难题给挂了出来，希望设计一个统一的计算模块，既能处理行为序列，又能处理特征交叉，并且在 GPU 数量增多的时候，效果也能变得更好

至于赛题数据集，则是来自腾讯营销每天跑的业务数据，经过脱敏之后拿出三千五百万条样本、一百四十二个特征字段。当然了，这些字段全部匿名，参赛的人看不见业务含义，而比赛本身也分为了两条赛道：

工业赛道：面向产业界从业者

学术赛道：只许在读学生参加

两条赛道题目一样，也都限定广告请求的耗时，但分开排名、各自评奖

学术赛道冠军，独得 200 万

先说下学术赛道吧，大奖都在这呢，其赛道的冠军团队是 lozyyeah，团队成员均来自国内高校的在读学生

在最近的探索中，统一推荐模型会尝试把「行为」和「画像」放进同一个共享的建模框架里，然后通过 Attention、Query 解码、Token 混合或基于 MLP 的特征交叉来实现推荐算法

这些探索主要在围绕一个问题：「不同特征在同一层内部，应该如何交互」

在深度推荐模型中却并非一层，而是堆叠起来的，如果不刻意去优化这个过程，就很有可能导致有用的意图信息被覆盖，进而导致探索或者 scaling 不稳定

那么要解决的问题就盈出水面了：让有用的信息，在层和层之间高效传输

于是团队受到了流匹配的启发，借用了传输场的视角，在交互之前引入了一个传输步骤，让进入混合的那些状态已经被非序列上下文控制过了，下面这张图就是 CRAFT 的核心步骤

很显然...我不是专业搞推荐的，这里就直接用团队的原话来解释了：

在每一轮，非序列的 Token 会被汇总成一个上下文场。这个上下文场生成传输参数。这些参数定义了意图状态和序列状态应该怎么移动。更新包含两个部分：一个是上下文条件化的位移项，一个是记忆保持项。位移项把当前状态往更有用的表示方向推。记忆保持项让模型在必要时可以拉回到初始状态。所以 CRAFT 学到的是一个上下文条件化的表示传输场

这便成了 CRAFT 的破局点：在每一轮做混合之前，先加一步交接控制，在每一轮开始前，CRAFT 会看一眼当前的上下文，生成一组调整参数。该加强的信号加强，该压住的噪声压住，偏离太远的拉回到最初的状态。调整完了，再交给这一轮做常规的混合

最终，成绩达到了 AUC 0.838192（官方基线是 0.82），并斩获了～200万人民币（30万美金）的头奖

工业赛道的冠军，全靠 DeepSeek

工业赛道的冠军是 sunshot/日之光面，啊这...

他们的队长拿过 15 次国内算法竞赛的冠军，队友是kaggle Competition Ranks 1st，带来的方案叫做 QueryFormer

通常来说，推荐系统想给你推广告，会把你的行为信息（看了什么、搜了什么）和标签信息（年龄、城市、消费水平）搜罗到一起，拼成一段搜索指令，去广告库里做匹配然后展示；这段搜索指令，我们在技术上叫 Query，也正是这个东西决定了搜索的准度

QueryFormer 的做法正如其名：「Query + Form」，在去广告库搜索之前，它会先花大量功夫把 Query 做好：通过 Attention 让用户信息、广告信息和非序列特征充分交互，生成更高质量的 Query，然后再用这些 Query 从多域历史行为中检索相关信息，挖掘更准确的推荐

作为结果，QueryFormer 在最终测试集AUC中做到0.83254，高于官方基线在0.82，很牛逼是吧...这还没完，最牛逼的是，他们的这套算法，是通过网页版 DeepSeek 写的...

emmmm...「日之光面」团队，在腾讯的活动上，用 DeepSeek 网页版，战胜了众多真人选手....这特么！！！

在调试算法的过程中，他们所做的，就是把完整代码、报错、实验目标贴进对话框，要 DeepSeek 返回能直接替换的完整文件，然后放到服务器上跑，不停修 bug 调细节

...emmmm 梁圣还是太有含金量了

KDD 的来头

聊完了冠军方案，容我再花点笔墨介绍一下这个比赛的背景

KDD 全称叫 ACM SIGKDD Conference on Knowledge Discovery and Data Mining，翻译过来是国际数据挖掘与知识发现大会。它是数据挖掘领域全球最顶级的学术会议，和 ICML、NeurIPS 并列，被中国计算机学会列为 A 类推荐会议。KDD Cup 是它的官方竞赛环节，从 1997 年开始每年举办一次，算是数据挖掘领域的「世界杯」