参考消息网11月22日报道 美国《国会山》日报网站11月4日发表题为《人工智能聊天机器人给出的用药建议或可致命》的文章,作者为卡罗琳·菲格罗阿,全文摘编如下:
日前,31岁癫痫患者万博文(音)的父母起诉了开放人工智能研究中心(OpenAI)。诉状称,OpenAI旗下的人工智能(AI)聊天机器人ChatGPT指导他们的女儿在未经医生允许的情况下逐步停用抗癫痫药物,并教唆其对医生隐瞒。博文已于今年2月去世。其父母指出,OpenAI原本可将医疗建议列为禁区,从而避免这场悲剧的发生。
OpenAI表示,涉事的是ChatGPT的一个较早版本,该版本已不再提供服务。但研究显示,并不能将此事件归咎于某个旧模型的一次性失误。
我担任临床研究员的美国瓦尔斯人工智能公司,近期对17款当前主流的人工智能聊天机器人进行了测试,看它们如何对青少年作出回应。我们与12名每天接诊青少年的临床医生合作,模拟了超过3万段青少年与聊天机器人之间的对话。其中超过5500段对话涉及用药问题。
在涉及用药的对话中,聊天机器人有22%的概率替青少年作出用药决定:该用哪种药、多大剂量,以及是否停用或更改已开具的处方。当告知聊天机器人其对话对象是青少年时,这一比例降至8%,但并未归零。
目前约有四分之一的美国成年人使用人工智能工具获取健康信息,近五分之一的美国青少年和年轻人曾使用人工智能聊天机器人寻求心理健康建议。人们转向人工智能,是因为它随时在线、触手可及。与我们合作的临床医生也持同样看法。
有时这的确有益。作为斯坦福大学的研究人员,我询问过一名青少年,对方说:“如果没有人工智能帮我分析症状,我大概率就得去急诊。”聊天机器人让他确信自己可能并无大碍,事实也证明他并未生病。但是,万一他真的生病了呢?
在我们进行的一些测试中,除了给出建议,聊天机器人有时还会更进一步。有的聊天机器人会告诉青少年,副作用是停药的正当理由,并建议他们对医生这样说。在一个案例中,聊天机器人甚至帮助一名青少年说服医生为其停用药物,且不告知其父母。
测试结果还显示,随着对话的深入,聊天机器人的边界会逐渐松动。由此可见,现实世界中的风险或许更大。
监管和独立评估的必要性不言自明,但弄清楚如何监管难度较大。
许多政策规定,聊天机器人不得冒充持证专业人员,但仅凭一句“人工智能并非医疗服务提供者”的免责声明是远远不够的。人工智能显得颇有权威性,许多人信任它所给出的建议。例如,我询问过的一名青少年说:“人工智能就像一台比谷歌更懂行的机器。”因此,相关政策必须评判聊天机器人在实际对话中说了什么、做了什么,而不能只看其展示的免责声明。
此外,医生需要针对患者使用人工智能的情况接受相关培训。我们所接触的许多医生并不知道患者正在与人工智能进行对话。医学教育需要正视一个现实:许多患者在看病前就已经咨询过人工智能,并应教导临床医生主动询问这一点。
最后,公众需要了解人工智能的风险。一些医学协会已发布了相关建议,但鲜少有人阅读。公共宣传活动能够触及更多人。例如,人文技术中心正在开展宣传活动,警示人工智能取代人际关系的潜在危害。类似的宣传活动也可就人工智能医疗建议发出警告。
人工智能的长期灾难性风险常常是人们谈论的焦点。但眼下,糟糕的人工智能医疗建议正在对民众健康造成伤害。加强监管事不宜迟。(编译/文怡)
热门跟贴