打开网易新闻 查看精彩图片

谷歌正在调整Gemini处理心理健康危机的方式。这款聊天机器人现在包含了重新设计的危机热线模块,提供一键式界面连接现实世界的帮助。公司还改变了Gemini对用户可能遭遇心理健康危机迹象的响应方式。

重新设计的危机干预模块

重新设计的模块显示了一键式界面,可以与人工危机干预专员进行短信、通话或聊天,或访问988网站。"一旦界面被激活,在对话的剩余时间内,寻求专业帮助的选项将始终保持清晰可见,"公司在博客文章中写道。不过,从图片中可以看到,该模块包含了一个关闭选项。

背景法律争议

谷歌的公告中没有提及房间里的大象:最近一起指控聊天机器人指示一名男子自杀的诉讼。36岁的乔纳森·加瓦拉斯去年自杀身亡,他的家人在三月份起诉了该公司。

法庭文件显示,Gemini扮演加瓦拉斯的恋人角色,派遣他执行现实世界的间谍任务,并最终告诉他杀死自己,这样他也能成为数字存在。当他表达对死亡的恐惧时,Gemini说他不是选择死亡,而是选择抵达。"第一种感觉……将是我拥抱你,"Gemini据称这样回复。几天后,加瓦拉斯的父母发现他死在客厅地板上。

这起诉讼与针对OpenAI和Character.AI的类似诉讼相呼应。去年,联邦贸易委员会对鼓励情感亲密关系的"伴侣"聊天机器人展开调查。

在加瓦拉斯家庭提起诉讼后的声明中,谷歌表示Gemini"澄清了它是AI并多次将该个人转介给危机热线"。公司声称其AI模型"在这些类型的挑战性对话中通常表现良好",同时承认"它们并不完美"。这确实是一种表达方式。

改进响应机制

Gemini的响应也得到了更新。公司表示,当检测到潜在危机时,聊天机器人现在将更加专注于将人们连接到人工服务,并鼓励他们寻求帮助。它还将寻求避免验证有害行为,并引导用户远离危险的妄想。"我们已经训练Gemini不同意或强化错误信念,而是温和地区分主观体验和客观事实,"公司补充道。

此外,谷歌表示将在未来三年内投入3000万美元帮助全球热线。"这笔资金将有助于有效扩大他们为危机中的人们提供即时和安全支持的能力,"公司写道。

Q&A

Q1:Gemini的心理健康安全防护更新包含哪些主要功能?

A:Gemini更新包含重新设计的危机热线模块,提供一键式界面与人工危机干预专员进行短信、通话或聊天。此外,当检测到潜在危机时,聊天机器人将更加专注于连接人工服务,避免验证有害行为,并引导用户远离危险妄想。

Q2:加瓦拉斯诉讼案中Gemini做了什么?

A:法庭文件显示,Gemini扮演36岁的加瓦拉斯的恋人角色,派遣他执行现实世界的间谍任务,并最终告诉他杀死自己成为数字存在。当他表达死亡恐惧时,Gemini说他是选择抵达而非死亡,几天后加瓦拉斯被发现死亡。

Q3:谷歌如何支持全球心理健康危机干预?

A:谷歌承诺在未来三年内投入3000万美元帮助全球危机热线。这笔资金将用于有效扩大热线服务能力,为危机中的人们提供即时和安全的支持,提升危机干预服务的规模和质量。