OpenAI负责人工智能安全工作的员工大卫·罗宾逊（David Robinson）于9月底辞职，并于10月3日在《大西洋月刊》（The Atlantic）发表文章，公开批评当前AI行业没有以足够谨慎的方式推进技术发展。他曾负责OpenAI安全团队的透明度工作，以及产品发布时随附的安全报告。在题为《我为何离开OpenAI，因为它的文化已经失灵》（I Quit OpenAI Because Its Culture Is Broken）的文章中，罗宾逊解释了自己的辞职决定，并警告说，随着AI系统能力不断增强，以“试错”推动产品发展的方式正在变得越来越危险。
罗宾逊认为，OpenAI过去依靠不断试验、发现问题再修正的方式快速发展，但这种模式正面临新的风险。他表示，自己的前同事“聪明、努力，也试图做出正确的选择”，但公司从一次产品发布迅速进入下一次发布的过程中，没有达到他认为应有的谨慎程度。过去可以通过事后修正解决的问题，随着模型能力增强，潜在后果也在扩大；对于高风险AI系统，企业需要更接近“一开始就做到正确”。在他看来，互联网行业长期形成的快速开发、快速上线、出现问题后再修复的文化，并不一定适用于能力不断增强的前沿AI系统。
OpenAI表示，公司正在加强研究和测试环境的安全性，包括训练模型以更负责任地完成任务、扩大与第三方评估机构的合作，以及改善实时监控，以便及时发现模型异常行为。公司还表示，将确保模型能力不会超过OpenAI能够安全管理的范围。
“AI公司应该更像核电站一样被运营，而不是继续按照普通互联网公司的方式开发和发布产品。”他如此表示。在他看来，核电站这类高风险设施的核心并不是假设人永远不会犯错，而是通过多层冗余、严格检查、风险控制和充分规划，让单个错误不会轻易演变成灾难。
他尤其担心AI代理带来的新型安全风险。传统软件往往需要人工持续操作，而具备较高自主性的AI代理可以自行执行任务并持续运行。罗宾逊设想，如果未来这类系统能够像黑客团队一样协同工作，甚至攻击医院计算机系统并索要赎金，那么一次普通的软件安全漏洞可能演变成规模更大的现实风险。
围绕AI极端风险的讨论也在近期升温。曾在OpenAI和DeepMind工作的杰弗里·欧文（Geoffrey Irving）10月3日警告称，关于AI潜在破坏性力量的讨论甚至可能低估风险；Anthropic前研究人员雅各布·考克森（Jacob Coxon）此前也曾因担忧AI安全问题离职。部分研究人员甚至提出AI可能对人类生存构成极端威胁，对于这类概率判断目前业内对此存在明显分歧。
热门跟贴