AI聊天机器人让倾诉变得前所未有的容易,包括那些最沉重的话题。这种开放性一直是一把双刃剑。OpenAI正在采取措施应对这一问题,推出一项新功能,在情况变得严重时引入一个可信任的人。

该公司正在推出名为"Trusted Contact"(信任联系人)的新功能,目前已开始向成年用户的ChatGPT设置页面推送。用户可指定一人,当ChatGPT检测到严重的自我伤害风险时,此人将收到警报。

打开网易新闻 查看精彩图片

这项功能如何运作?

设置信任联系人是可选功能。若选择启用,需确保被提名者年满18岁,韩国地区则为19岁。指定后,该联系人将收到邀请,说明这一角色的具体含义,并有一周时间接受,逾期则功能生效。若对方拒绝,用户可另选他人。

警报系统并非自动触发。当ChatGPT系统将某段对话标记为潜在风险时,聊天机器人会首先告知用户其信任联系人可能被通知,并建议用户直接联系对方,提供对话开场白。随后,一支经过专门培训的人工审核团队介入评估。仅当确认存在严重风险时,联系人才会真正收到通知,方式包括邮件、短信或应用内推送。警报不会分享聊天记录或对话细节,仅说明出现了与自我伤害相关的潜在风险,并请对方主动关心。OpenAI表示目标是在一小时内完成人工审核。

为何此时推出?

信任联系人是平台更广泛安全功能的一部分。此前,OpenAI已添加功能,允许家长在其关联的青少年账户出现 distress 迹象时收到警报。信任联系人是同一功能面向成年用户的延伸。据报道,该功能在开发过程中听取了临床医生、研究人员及心理健康组织的意见,包括美国心理学会。

需要说明的是,信任联系人不能替代危机热线、紧急服务或专业心理健康护理。ChatGPT仍会在需要时引导用户转向这些资源。用户可随时移除或更改信任联系人,联系人也可随时自行退出。

事实是,无论OpenAI是否预料到,ChatGPT正被用于一些极为私密的对话。推出信任联系人这样的功能是一个正确的方向,也承认了一件事:聊天机器人的能力终究有限。