与邓力走上相似道路的俞栋,能否延续过往的成绩与辉煌?
作者丨成仲轩
编辑丨董子博
近日,原腾讯 AI Lab 副主任、首席科学家俞栋被曝加入 Capital One,担任 VP 一职,负责 AI Foundations 的相关工作。
俞栋去往 Capital One 的决定,其实不难理解——过去他在西雅图 AI 实验室的前同事们,有一些早已先一步加入了 Capital One,俞栋加入,某种程度上也是和老同事们“再续前缘”。
Capital One 虽然是一家金融公司,但在 AI 赛道也不惜重金布局,在大语言模型和 Agentic AI 的领域都有涉猎。
近些年,除了俞栋,腾讯前 AI Lab NLP 中心负责人史树明,百度智能云产品一部前负责人喻友平、微软前首席人工智能科学家邓力等人在内,越来越多的技术大佬正选择加入金融公司,却也是不争的事实。
尤其是邓力,与俞栋在微软共事近 20 年的他,曾与俞栋一起写论文、出书、开研讨会,并在深度学习最难熬的年月里为 Geoffrey Hinton 雪中送炭,共同“挽救”了这项差点夭折的珍贵研究。
邓力
据坊间传闻,Citadel 为了招揽邓力,曾开出比微软高三四倍的工资,以至于时任微软全球执行副总裁的沈向洋,都没有更好的理由留下邓力。
而邓力走上的发展新道路,在多年后的今天也迎来了俞栋的身影。但在相似选择的背后,更深层次的共性,已经在往昔的岁月中初见端倪。
01
邓力与俞栋的“挽救计划”
2008 年 12 月,邓力和同事何晓冬在 NIPS(神经信息处理系统大会)举办期间组织了一场语音语言研讨会。受邀前来的 Hinton,为会场众人带来了一则好消息:自己已经开始用深度学习技术处理语音问题,并且取得了不错的结果。
这让邓力大感意外并充满质疑——神经网络在过去几十年间的发展颓势有目共睹,自己在 15 年前就是听了 Hinton 的善意提醒才搁置了对神经网络的研究。怎么到了今天,建立在神经网络基础上的深度学习突然支棱了起来?
邓力于是与 Hinton 约定会后详谈,并力邀 Hinton 前往微软总部,就相关技术进行比拼。
Geoffrey Hinton
欣然应允的 Hinton,在 2009 年 11 月如约来到微软总部。
没有想象中的剑拔弩张——Hinton 和邓力用 MATLAB 搭建了一个语音识别神经网络的原型。其中,由 Hinton 负责编写的深度玻尔兹曼预训练模型代码十分简洁流畅,让身为行业老炮的邓力都惊叹不已。
尤其当模型开始用微软的语音数据训练时,邓力敏锐地嗅到了背后的真正价值:只要数据量足够大,哪怕算法简单,深度学习也能帮助其实现从量变到质变的升级,拥有不输于深度波尔兹曼预训练模型的实力。
基于此,邓力、Hinton,以及彼时同样认同深度学习价值的俞栋,在次月的 NIPS 上联合组织了一场研讨会,意在分享讨论深度学习在语音识别领域的应用价值,并借此提高的深度学习在圈内的影响力。
不过,微软内部的阻力随之而来。
矛盾最初出现在 Hinton 与 Alex Acero(邓力彼时在微软的直属上司)之间。
在 Alex Acero 看来,想要推进深度学习的相关研究,现阶段买些能满足基本运算需求的便宜货就可以了。但 Hinton 觉得此举甚为不妥,想要实现更好的研究效果就得舍得花钱,要买更贵、性能更好的 Nvidia GPU,更何况便宜货背后的隐形成本,真算下来未必更省钱。
几番思量后,邓力决定听从 Hinton 的意见,用自己掌握的研究经费购买了三块 Hinton 亲自推荐的 GPU,与俞栋一起着手大规模语音识别实验。
不过,此举在微软内部引发了诸多非议。尤其在 2010 年,随着 Peter Lee 出任微软雷德蒙研究院院长,新官上任三把火的他,首先将目光瞄向各项目的研究开支,然后就不出意外地看到了邓力团队的“大手笔”。
虽然与 Hinton 是旧相识,但彼时代表行业主流的 Peter Lee 只觉得 Hinton 的神经网络乃至深度学习“非常荒谬”。Hinton“撺掇”邓力购买 Nvidia GPU 的行为,更是慷他人之慨,给微软造成了不必要的浪费。
Peter Lee 的态度,其实就是微软高层的态度。意识到道不同不相为谋的 Hinton,此后与微软的关系愈发疏远。Hinton 原本打算送入或已经在微软实习的学生,也相继取消合作计划并从微软撤出。
Peter Lee
内部的不理解与外部的心灰意冷,不可避免地冲击着邓力和俞栋在深度学习领域的研究。但也正是在这种内外交困的艰难处境下,邓力和俞栋的坚持才显得可贵。而二人在 Peter Lee 到任前的“大手笔”,无疑抓住了转瞬即逝的时间窗口。既是运气,也是豪赌,更是追逐前沿技术的惯性使然。
站在事后的角度,我们知道邓力和俞栋的研究成功了,深度学习技术在工业界的大型语音识别任务上得到验证与革命性突破:哪怕不使用深度波尔兹曼预训练模型,二人提出的 senone 建模方法,结合 Hinton 的多层建模后共同设计的语音原型,其性能之优越,已然超越了当时的其他方法,其中就包括邓力发明的基于生成式五层动态贝叶斯网络的方法。
可以说,正是邓力和俞栋的坚持、实力与运气,才挽救了这项原本脆弱的研究。对于 Hinton 乃至日后所有从事人工智能的同仁来说,都是一件幸事。
02
殊途同归的金融之路
随着这则传奇往事的落幕,邓力与俞栋又在微软待了数年,并在 2017 年双双离开微软,踏上了不同的发展道路:俞栋加入腾讯,担任西雅图 AI 实验室总负责人;邓力则加入对冲基金 Citadel,担任首席人工智能官。
表面上看,语音与金融的界限泾渭分明,但具体到语音数据与市场数据,二者本质上都是序列性的,在运行方式上也有共通之处——从混乱的信号里识别规律,再基于规律做预测。
不同之处在于,金融数据更复杂、噪声也更大。此外,异构数据与金融市场的非稳定性等问题的存在,也对“跨界”而来的 AI 从业者提出了更多挑战。
但对于邓力来说,挑战虽多,但“这都是非常复杂有趣的”,“要解决数据问题,经济和金融知识和模型会有用武之地。”
这种对自我与行业发展上限的突破,无疑击中了一些转去金融公司的技术大佬的“爽点”。
更何况,金融公司开出的价码,往往令人无法拒绝。Empaxis 不久前发布的一则报告显示,过去一年,对冲基金给拥有 10 年以上工作经验的资深量化工程师开的薪资,比同级别的大厂要高出 30% 到 50%。
而金融行业对 AI 人才的重视与招揽,也早已不是秘密,倍漾量化创始人冯霁就给出了自己的判断:“那些不采用人工智能技术的量化机构,在未来 3 到 5 年可能会被淘汰。”
冯霁
不过,除了更高的“爽点”和更有吸引力的薪资,还有一个更现实的因素——身处一山更比一山高的大厂,技术大佬们又有多少机会能拿到理想中的研究资源?
比如前大厂高管哲休(化名),在卸任原岗位后其实面临两个选择:其一,留在原公司,但转去其他部门,在新领导的带领下开展大模型相关业务;其二,接下一家金融公司抛来的橄榄枝,自己作为领导人负责整个公司的大模型业务。
哲休最终选择了后者,因为从“旗子”跻身“旗手”的他,“自主权会更强一点。”
哲休的逻辑,无疑与邓力、俞栋当年在微软研究深度学习时的艰难处境形成某种呼应——如果不是邓、俞二人抓住了 Peter Lee 到任前转瞬即逝的时间窗口,深度学习的相关研究显然不会取得今日之成绩。曾经出现在神经网络上的“失落的二十年”,也未必不会在深度学习上重演。
回到现在,当年的故事早已成为传奇,但今天的传奇还在继续书写。尤其是邓力和俞栋这两位曾经并肩作战的战友,相隔九年,共同朝着金融的方向走去,殊途同归。
希望在不久的将来,我们能看到 AI 技术在金融市场大放光彩,就像邓力初入金融领域时留下的豪言壮语:“我觉得现在金融领域已经非常成熟了,可以让人工智能来大显神威。”
未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!
公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。
热门跟贴