打开网易新闻 查看精彩图片

（AI云资讯消息）过去一年，人工智能行业颇具争议的问题是，当用户在与聊天机器人的对话中表现出心理健康问题的迹象时，该如何应对。负责此类安全研究的OpenAI高管安德烈亚·瓦隆内（Andrea Vallone）现已离职加入Anthropic公司。

近日，瓦隆内在社交平台领英发文中表示："过去一年中，我领导着OpenAI针对一个几乎无先例可循问题的研究：当模型面对情感过度依赖迹象或心理健康困扰的早期征兆时，应如何回应？"

瓦隆内在OpenAI任职三年期间，组建了模型策略研究团队，专注于GPT-4、OpenAI推理模型及GPT-5的最佳部署方案，并为基于规则奖励机制等AI行业主流安全技术开发训练流程。如今她已加入Anthropic的对齐团队，该团队致力于研判人工智能模型的最大风险及应对策略。

瓦隆内将向杨·莱克（Jan Leike）汇报工作，而杨·莱克恰是前OpenAI安全研究负责人，于2024年5月离职。杨·莱克辞职原因是反对OpenAI管理层重视光鲜的产品开发胜于安全文化。

过去一年来，领先的人工智能初创企业因用户心理健康问题引发的争议日益加剧。当用户向AI聊天机器人倾诉时，心理困境可能进一步恶化，尤其在长时间对话中安全护栏往往失效。多个受害家庭已提起诉讼，安全研究人员正承担着解决这一严峻问题的责任。

对齐团队负责人萨姆·鲍曼（Sam Bowman）在领英发文中表示，他“为Anthropic严肃地对待如何规范AI系统行为这一难题感到自豪。”

1月15日，瓦隆内在领英发文中表示："我渴望在Anthropic继续我的研究，专注于通过对齐与微调技术，塑造Claude在新情境下的行为模式。"