心理健康领域亟需明确AI监管，专家发声呼吁|ai监管|人工智能|卡鲁斯|古斯塔夫|心理健康|机器人|科学|马克斯

人工智能（AI）可以进行对话、表达情感并模拟人类互动。公开可用的大型语言模型（LLMs）——通常用作个性化聊天机器人或AI角色——越来越多地参与心理健康相关的互动。虽然这些工具提供了新的可能性，但它们也带来了重大风险，尤其是对脆弱用户来说。

因此，德累斯顿工业大学的埃尔斯·克伦纳·弗雷辛斯数字健康中心（EKFZ）和卡尔·古斯塔夫·卡鲁斯大学医院的研究人员发表了两篇文章，呼吁加强监管监督。

他们的评论文章“没有法律保护的人工智能角色很危险”，发表在《自然人类行为》期刊上，概述了对AI角色明确规定的迫切需求。第二篇评论发表在《npj数字医学》上，强调了聊天机器人在没有医学批准的情况下提供类似治疗指导的危险，并主张将其作为医疗设备进行监管。

像ChatGPT或Gemini这样的通用的大型语言模型（LLMs）并不是专门为特定的AI角色或治疗工具设计的。不过，简单的提示或特定设置就能把它们变成高度个性化的人类聊天机器人。与AI角色的互动可能对年轻人和心理健康挑战者产生负面影响。用户可能会与这些系统形成强烈的情感纽带，但AI角色在欧盟和美国仍然基本上没有监管。重要的是，它们与临床治疗聊天机器人是不同的，后者是明确开发、测试和批准用于医疗用途的。

“人工智能角色目前正在现有产品安全法规的漏洞中钻空子，”马斯特里赫特大学私人法助理教授、该出版物的共同作者Mindy Nunez Duffourc解释道。“它们通常不被归类为产品，因此逃避了安全检查。即使在新规定为产品的情况下，明确的标准和有效的监督仍然缺乏。”

背景：数字互动，真实责任

最近的国际报告将与人工智能聊天机器人密切互动与心理健康危机联系在一起。研究人员认为，模仿人类行为的系统必须满足适当的安全要求，并在定义的法律框架内运作。然而，目前，人工智能角色在进入市场之前在很大程度上逃避了监管监督。

在第二篇评论中，题为“如果一个治疗机器人走起来像鸭子，讲起来像鸭子，那么它就是一只受医学监管的鸭子”，团队进一步概述了与大型语言模型（LLMs）进行不受监管的心理健康互动的风险。作者们展示了一些人工智能聊天机器人提供类似治疗的建议，甚至冒充持证医生，而没有任何监管批准。因此，研究人员认为，提供类似治疗功能的LLMs应被视为医疗设备进行监管，具备明确的安全标准、透明的系统行为和持续的监测。

“人工智能角色已经成为许多人日常生活的一部分。这些聊天机器人常常提供医生或治疗师般的建议。我们必须确保人工智能软件的安全性。它应该支持和帮助，而不是造成伤害。为此，我们需要明确的技术、法律和伦理规范，”德累斯顿工业大学数字健康EKFZ的医疗设备监管科学教授Stephen Gilbert说道。