机器之心报道
编辑：蛋酱、泽南
「再见，菲利克斯！」
本周四，人工智能社区都在以自己的方式，对一位科学家进行告别。
菲利克斯・希尔（Felix Hill），是 Google DeepMind 的一名研究科学家，在 2024 年 12 月 5 日去世。自 2023 年初以来，他一直在与严重的精神疾病作斗争。
在离世之前，他已经在 Google DeepMind 工作了近 9 年。
纽约大学计算机科学和数据科学教授、生物技术公司 Prescient Design 联合创始人兼资深主管 Kyunghyun Cho 表示，我现在想起来还是很心痛。他写了一篇文章来纪念自己与菲利克斯的相识和研究伙伴经历。
那是在 2014 年，Kyunghyun Cho 在蒙特利尔做博士后，指导老师是 Yoshua Bengio，而 Felix 当时是刚到蒙特利尔的访问学者。彼时 Kyunghyun Cho 正在探索可以处理长文的神经机器翻译系统，当 Felix 在 Kyunghyun Cho 的办公桌前停下来并自我介绍时，他留下一句：语法不是问题。
这句话成为了此后几年里 Kyunghyun Cho 幻灯片上的常客之一。如今到了大语言模型时代，我们也已经理解了其中的意味。
菲利克斯和 Kyunghyun Cho 在这之后合作完成了一系列研究。
值得一提的是，在 2024 年 10 月，菲利克斯还留有一篇博客文章。
英伟达研究科学家 Jim Fan 表示：这是我读过的最令人心碎的博客，因为它是如此真实，如此贴近心灵。
人工智能不应该是 2000 亿参数的压力和痛苦。它曾经是一个充满咖啡香味的顿悟时刻、令人兴奋的深夜 arXiv 之旅、让我们脸上露出邪魅笑容的地方。但所有流入的资本和关注似乎都在迫使每个人都在陷入内耗。
老黄总是告诉我们不要使用「打败这个，粉碎那个」之类的短语。我们来这里是为了提升整个生态系统，而不是让任何人走向灭亡。为什么不把我们的工作看作是把蛋糕做大 —— 我们需要先一起烤蛋糕，蛋糕越大越好，然后再分蛋糕。人工智能不是零和游戏，事实上，它可能是人类有史以来玩过的最具正和的游戏。我们作为一个社区应该这样做，互相照顾。向「竞争对手」表达爱意 —— 因为从宏观上看，我们都是加速未来的共同作者。
我从未有幸在现实生活中认识 Felix，但我喜欢他的研究品味，并为他的每篇新论文设置了 Google Scholar 提醒。他在智能体和 VLM 方面的工作对我产生了很大的影响。他本可以成为我的好朋友。我想认识他，但我再也无法认识他了。安息吧菲利克斯。愿来世不再有纷争。
以下是博客内容：
在过去两年里，人工智能领域发生了不可逆转的变化。
ChatGPT 的月度用户已接近 2 亿。2024 年 5 月，谷歌 Gemini 的访问量接近 3.2 亿次，人工智能的爱好者现在可以使用人工智能微波炉、人工智能牙刷甚至人工智能足球。
然而，对于我们许多从事人工智能工作的人来说，这种大众兴趣的蓬勃发展既是福也是祸。当然，工资增加了，股票价格和公司市场估值也随之提高。另一方面，这种变化也带来了一系列独特的压力。
这篇博客的主题就是现代人工智能带来的压力。它针对的是那些从事人工智能工作的人（据保守估计，目前全世界约有 87% 的人工智能从业人员），尤其是那些从事人工智能研究的人。
最终，我希望通过谈论是什么让人工智能研究充满压力，能让我们这些有幸在这一领域工作的人生活得更快乐一些。因为，尽管目前一片混乱，但这仍然是一个美妙而充实的职业，一个有可能解决科学、哲学乃至人类自身许多重大问题的职业。
无处可逃
几个月前，我参加了一个朋友的 40 岁生日聚会。我们是很好的朋友，所以我认识很多客人，有些还很熟悉。但我并不认识他们所有人。
在那些我最不熟悉的人当中，我发现了一个奇怪的现象。
尽管我身体不是很好（这点稍后再说），显然也不热衷于交谈，但我周围还是排起了小队。仅仅因为大家知道我在 DeepMind 工作，人们就想和我交谈。
而且不是关于足球或 80 年代音乐之类的治疗性话题。这些人想聊的是我最不想去想的一件事：人工智能。这么多人对我的工作感兴趣固然让我受宠若惊，但这也提醒了我过去两年发生了多大的变化。银行家、律师、医生和管理顾问都想了解我对 ChatGPT 的看法；虽然很少有人声称在工作中直接使用这些 LLM，但他们坚信人工智能领域正在发生一些他们应该了解的事情。
作为一名研究人员，我相信你一定能体会这种在社交场合无法脱身的感觉。
但情况更糟。我甚至在自己家里都不安全。
因为害怕引发焦虑，我早就不看新闻了。但即使是在看足球、VH1、蒙塔巴诺探长或埃莱娜・费兰特（Elena Ferrante）的《那不勒斯四部曲》（Neapolitan Quartet）的改编影视作品时，广告中也充斥着关于人工智能的内容。
这时候，我常常想收拾行囊，跨越大陆，加入一个与世隔绝的教派。不过，如果现阶段连禅修也在某种程度上被人工智能渗透了，我不会感到惊讶。
隐性竞争
几家大公司似乎都在争相开发最大、最好的大型语言模型，这本身就给人一种压力，无论你为谁工作。
目前，从事人工智能研究就像是在参加一场战争。众所周知参战会导致严重的后果，包括心理变态、离婚和自杀。
当然，这并不是说参与人工智能研究等同于「现实战争」中的肉搏。但我从自己的经历中了解到，两者之间的相似之处是真实存在的，尽管有些微妙。
底线工作
通常情况下，工业界的研究人员并不习惯于他们的工作对雇主的底线产生直接和即时的影响。
当然，很多研究人员都梦想有机会产生这样的影响。只是以前这种情况十年才会出现一次。
在大多数情况下，目前对 LLM 进行基础研究的结果都是对模型性能的微小且可能是短期的扰动。然而，由于公众估值与 LLM 的表现有着千丝万缕的联系，这些扰动反过来又会导致股价出现数十亿美元的波动。
这种动态变化当然会给人工智能研究人员带来巨大压力，而在 2022 年之前，人工智能研究人员在研究生院、博士后研究期间，甚至在工作中，都并未对这种动态变化有所准备。
钱，钱，钱
大多数人工智能研究人员，尤其是我们这些超过一定年龄的人，从事研究工作并不是为了赚钱。从事自己热爱的工作却能获得大笔收入，这听起来像是灵丹妙药，但也会引发强烈的焦虑。尤其是如果导致收入增加的外部因素不在你的控制范围之内，并且 / 或者会让你对工作的热爱大打折扣。
无论人工智能是否与此有关，有大量证据表明，突然积累的财富会导致各种问题；看看那些经过多年努力终于大红大紫的演员或歌手就知道了。成瘾、人际关系破裂、友谊破裂，甚至自杀，这些都是比较常见的症状。
科学家不发挥作用
LLM 的规模、简便性和有效性使得我们很难进行相关的「科学」研究，即立即使 LLM 变得更好的「科学」研究。
主流的 LLM 研究人员已经开始接受 Sutton 那篇《苦涩的教训》，即除了规模之外，几乎不需要任何创新。
而且，即使在理论上有可能实现实质性创新（这肯定是有可能的），要实现创新也往往需要在不同条件下对规模最大的 LLM 进行反复训练。即使是最大的公司也无力承担。对于一名「普通」的研究科学家来说，这可能会让人感到难以承受。
对于习惯于在小型（5-10 人）团队中工作的工业科学家来说，这些条件是很困难的。但对于学术界的科学家来说，这种情况肯定更为严重：博士、博士后和人工智能 / CS/ML 教职员工。
发表论文
虽然学术界人士可以（也应该）继续发表从 LLM 实验中获得的见解，但对于工业界的科学家来说，发表的问题就不那么明确了。
长期以来，发表论文一直是科学进程的固有组成部分，也一直是人工智能研究的核心原则。与我交谈过的大多数人工智能研究人员，尤其是研究科学家，都同意我的观点，即发表论文是我们职业生涯的一个重要方面。
但是，至少在业界，发表论文是否是一个人研究的可行成果，这个问题在过去两年里变得越来越不明确。能提高 LLM 水平的小诀窍等同于 LLM 大战中潜在的关键武器。泄露这些秘密是否会给资助研究的机构带来好处，始终是一个「微妙」的问题。
这一切都意味着研究人员经常无法预知自己想法的命运，至少在我看来，这会给他们带来巨大的压力。
初创企业
当然，摆脱这些忧虑的一个可行办法是提出科学愿景，筹集一些资金，成立一家初创公司。事实上，当前人工智能初创企业（无论规模大小）的激增表明，有很多科学家选择了这条路。
但是，成为创始人并不是避免压力相关问题的万全之策。事实上，做这件事的压力是出了名的大；即使在目前投资者热情高涨的情况下，许多资金充足的人工智能初创企业也会失败。
我从自己的经历中了解到，成为创始人是一段特别孤独的旅程。对于雄心勃勃的科学家来说，这无疑是一个可行的选择，但它不可能让做科学变得容易，也不可能减轻压力。
为什么我要在博客里倾诉压力
在人工智能领域，过去两年是混乱和疯狂的两年，但对我个人来说，这两年也是特别动荡的两年。
2023 年 4 月，我母亲在与老年痴呆症长期斗争后去世。当时我因急性精神病住进了精神病院，压力可能是一个重要因素。在随后的 12 个月里，我理论上在康复，但实际上却处于极度焦虑和自杀性抑郁的状态。在此期间，我非常幸运，因为我的雇主理解我的处境（以及我对公司的价值），并为我提供了持续的治疗和精神支持。
在又经历了 6 个月濒临生命危险的抑郁之后，我开始感觉好些了，最近我觉得可以把我的经历写出来了。我认识到，压力和焦虑是相辅相成的；事实上，它们最终可能是一回事。当然，就像任何适应性特征一样，焦虑也有好处（例如提高工作效率），但当焦虑变成恶性时，后果可能会相当严重。
在反思过去两年的人工智能研究时，我试图重新学习如何成为一名人工智能研究人员，这让我在本博客中分享了自己的见解。当然，分享这些见解并不能解决所有问题，但在最黑暗的时刻给我带来希望的几件事之一，就是我知道我并不孤单。如果你现在正在遭受痛苦，相信我，你并不孤单。
社交焦虑
我已经介绍了许多压力或焦虑的催化剂，这些压力或焦虑目前可能困扰着从事人工智能研究的人。但有一种压力我没有提及，因为我很幸运，从未亲身经历过。相反，我是从与朋友和同事的亲密交谈中了解到它的。
这种压力就是社交焦虑。
据朋友们说，社交焦虑症患者在群体交往中会遇到困难。这在现代人工智能世界中是很困难的，因为在这个世界中，大型项目团队和大规模（通常是跨洲际）合作是必不可少的。目前行业内的人才高流失率只会让情况变得更糟，因为成熟的团队（通常起到社交安全网的作用）可能会在一夜之间被摧毁。人员流失也会导致信任问题，因为以前可靠的盟友会离开，转投 「敌人」的研究团队。
好消息是，社交焦虑是可以克服的，就像我迄今为止讨论过的所有焦虑或压力一样。这个过程可以从培养自然支持网络开始，比如家人和「非人工智能」朋友。但关键的第二步是，我们所有从事人工智能工作的人都要开始并继续进行有关压力的坦诚对话。
对此，如果你有任何想法，请提供经验，看看我们是否能让人工智能研究不仅成为一个充满活力和智力挑战的地方，同时也成为一个富有同情心和仁慈的地方。
参考内容：
https://docs.google.com/document/d/1aEdTE-B6CSPPeUWYD-IgNVQVZM25f7MF-u9qn5KJJvo/mobilebasic
https://x.com/kchonyc/status/1874768078044868708
https://x.com/DrJimFan/status/1874959979553427815
热门跟贴