刚刚OpenAI前安全总监，超级对齐大佬Jan Leike 在宣布从OpenAI辞职首次发声
如果你想了解 OpenAI 两派之间导致 Altman 在 去年11 月被解雇以及最近 Ilya 和 Jan 离开的戏剧性事件，jan的这个发声就是关键（起码能说的都说了）
opencat第一时间带来报道
Jan Leike说了啥
辞职原因
很长一段时间以来,jan leike 一直与OpenAI领导层对公司的核心优先事项有分歧,直到最终达到了一个临界点，离职是有生以来做过的最艰难的决定之一
OpenAI优先事项
jan leike 认为OpenAI的亟需弄清如何驾驭和控制比我们更智能的人工智能系统，OpenAI肩负全人类的沉重责任
应该将更多精力集中在为下一代模型（GPT-5？）做好准备、安全性、监控、防患于未然、安全性、对抗性鲁棒性、(超级)对齐、保密性、社会影响以及相关主题上
悲壮喊话
虽然辞职了，但是希望留在OpenAI的兄弟能够变革OpenAI的文化，庄严对待所从事的工作，学会感受通用人工智能，全世界都依赖兄弟们，他也依赖兄弟们
我的看法
最近Ilya和jan的辞职应该都是同样的原因：问题不在于“他们看到了什么”，而在于他没有看到什么：资源。他和 Superalignment 团队的任务都是研究 AGI 可能存在的风险
随着ChatGPT的成功，公司的很大一部分资源被分配到该产品上并支持爆发增长的新用户，以至于偏离了一些人为了追求更安全而捍卫的原则和价值观，和更负责任的发展，这就是为什么
也许sam altman想急着赚钱，毕竟没有钱，什么都没有了，也许GPT-5真的接近了AGI，时间很快会给出答案
Jan Leike发言全文
以下是jan leike 发言全文
昨天是我在OpenAI担任对齐团队负责人、超级对齐负责人和高管的最后一天
在过去约3年里,这是一段疯狂的旅程。我的团队推出了有史以来第一个使用RLHF训练的大型语言模型InstructGPT,发表了第一个可扩展的大型语言模型oversight,开创性地实现了自动化解释和弱到强的泛化。更令人兴奋的成果即将问世
我深爱我的团队
我为能与OpenAI内外众多才华横溢、善良高效的人一起工作而感恩。OpenAI拥有如此多特别聪明、善良和高效的人才
从这份工作离职是我有生以来做过的最艰难的决定之一,因为我们亟需弄清如何驾驭和控制比我们更智能的人工智能系统
我之所以加入OpenAI,是因为我认为这将是开展这项研究的全球最佳场所
然而,很长一段时间以来,我一直与OpenAI领导层对公司的核心优先事项有分歧,直到我们最终达到了一个临界点
我认为,我们应该将更多精力集中在为下一代模型做好准备、安全性、监控、防患于未然、安全性、对抗性鲁棒性、(超级)对齐、保密性、社会影响以及相关主题上
解决这些问题是相当困难的,而且我担心我们目前的轨迹无法达到预期
在过去几个月里,我的团队一直在逆风中航行。有时我们难以获得足够的计算资源,使得开展这项至关重要的研究变得越来越困难
构建超人智能机器本身就是一项危险的努力
OpenAI为全人类肩负着沉重责任
但在过去几年里,安全文化和流程都让位于华而不实的产品
我们在针对AGI的影响做好准备方面早已落后
我们必须优先考虑尽自己所能为此做好准备
只有这样,我们才能确保通用人工智能能造福全人类
OpenAI必须成为一家以安全为先的人工通用智能公司
我想对所有OpenAI员工说:
学会感受通用人工智能
以适当的庄严对待你们所从事的工作
我相信你们能够"践行"所需的文化变革
我依赖着你们
全世界都在依赖着你们
热门跟贴