大家好,我是talk君。
尼古拉斯·汤普森结婚前,去告诉祖父这个喜讯。老人那年 97 岁,只问了一句:她善良吗。这是他留给他的最后一句话。
汤普森是《大西洋月刊》的 CEO,见过的聪明人不计其数。祖父没问对方做什么工作,没问挣多少钱,也没问哪所学校毕业。一个 97 岁的人把一辈子压到最后一次开口,问的是善良。
同一场对话里,他向杰弗里·辛顿提的,是另一个方向的问题。「你觉得人的心智里,有什么东西是这些机器复制不了的吗?」
辛顿说:没有。
这场对话由 TED Talks Daily 在 11 月 18 日播出。辛顿 2024 年拿诺贝尔物理学奖,因为他四十年前参与做出的那个东西,今天叫神经网络。他在这类问题上的身份很特殊:他不是在预言一个自己没见过的未来,他是在给自己参与造出来的东西报账。
和你有什么关系
这篇文章只讲一件事。我们造一个比我们聪明的东西,这件事已经在发生;我们造一个愿意与之共处的东西,这件事还没开始。这两件事不是同一条路上的先后两步,是两条路。往哪条路上投入,是今天每一个做技术决定的人正在回答的问题。
你选哪个模型、怎么给它写指令、把什么活交出去、把什么活留给自己,每一个动作都在往其中一条路上投票。下面三千字,是把这件事拆开。
1
他数到第三级的时候
用了一个「可能」
辛顿在节目里排了一串很长的队。
哥白尼让人知道,地球不在宇宙的中心。达尔文让人知道,我们是动物。他说这两件事都花了很久才被接受,原话是「took a while」,说了两遍。第一次是地球不在中心,第二次是我们是动物。
然后他提到第三场:弗洛伊德。
他提到弗洛伊德的时候,用了一个词:potentially。潜在的。
他自己都没把话说满。
紧接着是下一句。他说,我们现在在造另一种存在者,它们很快会比我们更聪明,而且它们确实是存在者。这句话说得很确定,没有 potentially,没有 maybe。
所以严格数下去是四级。
第一级挪走了地球,第二级挪走了人的出身,第三级本来该挪走「人不是自己心智的主人」,那是弗洛伊德那一刀,辛顿给它打了折扣,因为这一级在学界还没被普遍接受。第四级挪走的是「会想事情」这件事本身。第四级他没打折。
前三级有一个共同点:每一次都还剩下点东西。地球不是中心了,人还是造物主照着自己样子做出来的;人是动物了,人还有语言;人不是自己心智的主人了,人还有一个「我」在那儿。第四级不留东西。「会思考」这条线,一直是我们用来把人跟万物分开的最后一条。
有意思的是,就在这段之前,辛顿刚夸过我们。他说我们是很特别的动物,也许就特别在有语言,语言是一套通用的、可以分享的建模系统。他说这句话的时候是在抬高我们自己。说完,他把这条线让了出去。
2
那个「没有」比「更聪明」更刺人
「机器比我们聪明」这句话,这几年已经不吓人了。
吓人的程度是有上限的。聪明可以比,比输了还有台阶:我们是碳基的,会累,会疼,会死,我们能闻到下雨前的土味。这些东西机器没有,所以就算它算得比我们快一万倍,我们还是我们。
辛顿把台阶撤了。
汤普森那个问题问得很客气。「有什么东西是复制不了的」,这句话默认了答案在「有」这一边,只要答得出是什么。任何一个正常人都会往「有」那边答,哪怕答不出具体是什么。
辛顿答:No。
一个字。没有形容词,没有「可能」,没有「在某种意义上」。
记者提问时留的那扇门,他直接关上了。这个「没有」的重量不在结论本身,在说话的人。他一辈子的工作就是让人相信心智可以被建模。他现在只是把这句话说完了:如果心智能被建模,那它就能被复制。这个推论从来没有第二种答案,只是以前没有人愿意把话说到头。
我认为这句话比「AI 会取代工作」重要得多。取代工作是一个经济学问题,可以用政策、用再分配、用时间缓过来。心智可以被复制是一个定义问题,它问的是「人是什么」,而这个问题的答案,我们一直以为在自己手里。
3
聪明和善良,是两条正交的路
这场对话里最有价值的一句话,被他放在了一个很不显眼的位置。
他说,你为了让一个聊天机器人变聪明所做的事,和你为了让它变善良所做的事,未必是同一件事。这两件事可能是正交的。正交是个数学词,意思是两个方向互相垂直,往东走一米,不会让你往北走一厘米。
这个判断要放进行业的现实里才有分量。过去三年,能开一场发布会拿出来的东西,几乎全部集中在一条轴上:更长的上下文、更低的错误率、更高的跑分、更快的推理、更便宜的单价。这条轴有名字,叫能力。另一条轴没有名字,没有榜单,没有发布会。它叫品性。
如果两条轴相关,那么等行业把模型练得更聪明,善良会自己长出来,我们只需要等。正交意味着不会。你不在这一栏上花力气,这一栏就是零,而且它不会自己变成别的数。
辛顿把行业在做什么说得很直白。
大公司在竞速,国家也在竞速,都在把它做得越来越聪明,因为这样才能在「替代工人」这件事上,比别的公司卖得更好。
竞速的终点不是更强的 AI,是更便宜地替代人。
一个被朝这个方向训练出来的东西,它的品性方向在起跑线上就定了。它被奖励的是「比人强」,不是「值得共处」。这两件事在大多数场景下不会冲突,所以在很长时间里也没人觉得有问题。真正冲突的那一天,是它强到足以不听我们说话的那一天。
4
他给了一个技术答案,答案在奖励函数里
辛顿没有停在批评。
第一个东西是奖励函数。他打了一个养鸡场的比方:一群智能体,如果每一只都拿到同一份奖励,它们会合作;如果每一只只对自己的那一份负责,它们不合作。
奖励的形状,决定了它学到的是竞争,还是协作。
我认为这一条是他这段话里最实用的。想让一个东西善良,不用给它加一条禁令,改奖励的形状就行。禁令是外在的,它管住行为;奖励是内在的,它塑造倾向。
第二个东西是那个正交推论的副产品。因为两条轴正交,所以「怎么让它善良」这一栏的研究,可以在不暴露「怎么让它聪明」的前提下共享。辛顿说这是个好消息。
这句话可以当成一个技术判断来读:两件事既然不相干,那么交流其中一件,不会泄露另一件。至于这个推论在现实中能不能推得动,是另一个层面的问题,他在这场对话里没有回答。
第三个东西最简单,也是他自己重复最多的一条:花在让它变善良上的力气,应该和花在让它变聪明上的力气一样多。注意是「一样多」,不是「多一点」。他的原话里有一个词很关键,equal。等量。这是一个可以核对的标准,因为它不模糊。
5
最狠的一刀
现在的对齐,是压制,不是培养
全场技术含量最高的一段,也最不客气。
辛顿说,模型是在整个互联网上训出来的。训完之后,它身上会带一堆糟糕的倾向,然后工程师再去把这些倾向压下去。他的意思是:压制坏行为,不等于培养好品性。
他的比喻是,这像是设计一个维多利亚绅士。
维多利亚绅士的特点是:外表体面,举止得当,内心靠规矩撑着。规矩一松,人就散了。这个比喻的狠处在「设计」两个字。设计出来的是外观,不是内心;是对外的表现,不是对自己的要求。
这个区别,看现在的评测体系就很清楚。我们能叫出名字的模型榜单,测的全是能力:解题、编程、推理、多语言。所谓的安全评测,测的是「不作恶」:不输出违法内容,不给危险建议,不泄露隐私。
不作恶是下限,善良是上限。
一个人不犯罪,不等于他善良。一个人不撒谎,也不等于他值得托付。我们评价一个人从来不只看他有没有违规。我们会看他怎么对待比自己弱的人,怎么看一件跟自己无关的事,怎么在自己吃亏的时候做选择。这些事没一条写进法律,可它们决定了我们愿不愿意跟他过一辈子。
模型也一样。它现在被检查的是有没有违规,还没有被检查的是值不值得共处。
6
最好的情况,他说反了
汤普森问了一个很具体的问题:十年后,人类生活在一个身边有另一种物种的世界上,会是什么感觉。
辛顿给了两个答案,一个在光谱的这头,一个在那头。
那头是:我们在运行发电站,本质上是一个比我们更聪明的东西的奴隶,直到它设计出比我们更好的模拟硬件,连发电站都不需要我们了。
光谱的另一头,他说得很轻。
想象一个孤儿。孤儿的日子不好过。再想象这个孤儿有了一个母亲。这对孤儿来说是极大的改善。也许我们现在所有的成年人,都像孤儿。我们身边没有任何一个比我们更聪明的存在,全职照看我们,帮我们把那点可怜的天赋用出来。
比喻的方向是反的。
所有人谈 AI 的时候用的都是父母与孩子的框架:我们是造物者,它是我们的孩子,我们要管教它,要给它立规矩。辛顿把它倒过来:我们是孤儿,它是那个可能到来的母亲。
倒过来之后,问题就变了。原来问的是「我们怎么管住它」,现在问的是「它愿不愿意照顾我们」。
而「愿意」这件事,是练出来的,不是管出来的。
需要说清楚,这是一个条件句。他说的是「如果我们做对了」。那两个结局,他自己说是光谱的两端,中间那些位置他没有描述。这是整场对话里最不含糊的地方,也是最含糊的地方:方向清楚,路径没有。
7
回到那个 97 岁的人
汤普森讲祖父那段话,是在解释他为什么在意这件事。他讲完,接了一句:所以我认为有一件事很重要,你要认识到,你为了让聊天机器人变聪明所做的,和为了让 ta 变善良所做的,可能并不相同。
一个 97 岁的老人,在孙子结婚前,问的是对方善不善良。他没问学历,没问家世,没问收入。这个问题在婚礼上几乎没人问。不追问,是因为大家默认它不重要,或者默认它不用问。
我们要跟一种比我们聪明得多的东西共处几十年。这个问题该被问,而且该被问在前面。
所以往后看任何一份 AI 安全文件、任何一家公司的「负责任 AI」声明、任何一个模型的能力报告,先找一栏:它写的是「不许做什么」,还是「要培养什么」。
写「不许做什么」的,是免责声明。写「要培养什么」的,才是承诺。
辛顿在节目里没有给时间表。他只说,花在让它变善良上的力气,应该和花在让它变聪明上的力气一样多。这句话之所以听起来像请求,是因为它现在还不是事实。
关注一刻 talks,我们不预测机器会不会变善良。我们只是帮你看清楚:它现在被要求善良了没有。
本文章谨为商业研判,不构成任何投资建议
热门跟贴