刚刚，OpenAI安全系统团队负责人翁荔（Lilian Weng）通过X宣布，将于11月15日离开，结束她在OpenAI长达近7年的职业生涯。
翁荔在离职信中表示，这是一个艰难的选择，并表达了对OpenAI团队及其所取得的成就的感情。
因7天前翁荔刚刚以OpenAi研究副总裁（安全）的身份，现身国内，做《Ai安全与“培养”之道》的分享。一时之间，翁荔离开后是否会选择回国，也成为了大家关注的重点。
翁荔为华人科学家，自加入OpenAI以来，曾在多个关键领域做出贡献。她在2017年初加入，参与了机器人技术和深度强化学习的研究，并为后来的GPT-4以及安全系统的奠定了基础。
她领导应用人工智能研究团队，致力于提升 OpenAI API 的实用性和安全性。特别是在 GPT-4 发布后，她主导了 OpenAI 安全系统的愿景，致力于提升 OpenAI API 的实用性和安全性。
她表示，团队在模型安全、对抗性以及越狱防御等方面取得了进展，为行业树立了新的标准。
翁荔在离职信中表达了对团队的感激之情，并特别提到自己为“o1-preview”模型的安全性感到自豪，该模型被认为是 OpenAI 迄今为止最安全的模型之一。她对未来充满期待，表示将重新开始，探索新的领域。
尽管OpenAI在不断吸纳新成员，但离职潮显然仍在继续。（袁宁）
以下为翁荔公开分享的内容：
亲爱的朋友们，
我做出了离开 OpenAI 的艰难决定。11 月 15 日将是我在办公室的最后一天。
OpenAI 是我成长为科学家和团队领导者的地方，我将永远珍惜与我一路共事和结交的朋友在一起的时光。OpenAI 团队一直是我的知己、老师，也是我认可的一部分。
我还记得2017年OpenAI的使命让我多么着迷，一群人梦想着一个不可能实现的科幻未来。在这里，我开始研究全栈机器人难题——从深度是强化学习算法到装备再到强化—— —目标是教会单台机械手如何解决魔方问题。整个团队花了两年时间，但我们最终实现了。
当OpenAI进入GPT范式时，我们开始探索将最佳AI模型部署到现实世界的方法时，我组建了第一个应用研究（Applied Research）团队，推出了蓝牙式API、嵌入API和审核端点的初始版本，为应用安全奠定了基础，并为众多早期API客户提供了新的解决方案。
GPT-4发布后，我被要求接受一个新的挑战，重新考虑OpenAI安全系统的愿景，把工作集中在一个拥有下面完整安全堆栈的团队中。那是我经历过的最困难、压力最大的这个又是最激动人心的事情之一。现在，安全系统（安全系统）团队拥有超过 80 位优秀的科学家、工程师、产品、经理、政策专家，而我为团队取得的一切成就感到非常自豪。发布的基石——从GPT-4 Window和turbo版本到GPT Store、语音训练和o1。其在这些模型中已经建立了又决策方面为行业制定了工作树立了新的标准。我为我们在o1预测模型方面取得的最新测量成果特别引人注意的是，它是我们迄今为止最安全的模型，在保持真实性的同时，表现出了对越狱攻击的卓越抵抗力。
我们共同取得了令人惊叹的成就：
• 我们训练模型制定者认识到，通过遵循一套定义的明确的政策模型安全行为，可以很好地拒绝敏感或不安全的请求，包括何时拒绝或不拒绝，从而达到安全性和实用性之间取得良好的平衡。
• 在每次模型发布时，我们都提高了其对抗性，包括防御越狱攻击、指定我们的层次结构以及通过推理大幅提升性。我们在口腔方面的承诺都已体现在详细的模型系统卡中。
• 我们开发了多模态的评估模型的行业领先者，并免费分享给公众。我们目前在更通用的监控框架和增强安全推理能力方面的工作将为更多的安全工作流提供支持。
• 我们为安全数据记录、指标、仪表板、主动学习管道、分类器部署、推理时间过滤和全新的快速响应系统建立了工程开发基础。
回顾我们所取得的成绩，我为安全系统团队的每一个人都感到自豪，我非常相信团队将继续壮大发展。我爱你们❤️。
现在，在 OpenAI 工作了 7 年了，我准备重新开始并探索一些新东西。OpenAI 正以火箭般的增长趋势上，希望这里的每个人一切都顺利。
附言：我的博客还在，会继续下去。我可能很快就会有时间更频繁地更新它，也可能会有更多时间来编程；）
热门跟贴