防范 AI 聊天机器人引发的伦理风险|人工智能|人机交互|伦理风险|异化|聊天机器人|超级智能

近期，一则外国青少年因过度依赖AI聊天机器人导致自杀的悲剧报道，为社会敲响了警钟。作为生成式人工智能浪潮中重要应用场景，虚拟数字人正悄然成为众多家庭的“新成员”，以其独特的存在方式为人们提供情感陪伴。在当前社会对生成式人工智能的认知尚不全面的情况下，亟须加强对人工智能发展的伦理风险研判与防范，正视其在初期应用中显现的成瘾性依恋、过度信任倾向，以及长远来看可能诱发的人机关系异化等伦理挑战，实现人工智能的安全、可靠及可控发展。

自ChatGPT问世以来，各应用商店里提供情感陪伴的人工智能应用花样迭出，从最初的简单聊天机器人，到如今的具有情感交互、个性化推荐等功能的人工智能应用，正在成为生成式人工智能的主流应用，且增长迅速。

第一，与AI聊天正在受到年轻人的追捧和跟风。

Character.AI是此类应用的代表性产品，专注于角色扮演，用户可以与AI扮演的知名IP虚拟角色聊天互动，获得情绪价值、情感陪伴。该产品上线的前5个月内，用户共发送超过20亿条消息，其中活跃用户平均每天花费超过2小时与AI互动。Character.AI的用户留存率、使用时长和使用次数等指标均远好于ChatGPT，展现出极强的用户黏性。

第二，AI应用提供情感支持和陪伴对话，成为应对社交隔离和孤独感的潜在解决方案。

斯坦福大学的一项研究显示，使用聊天机器人能有效减少孤独感，可以帮助患有社交恐惧症的人更好地与他人互动。

第三，此类应用的成功主要得益于其拟人化设计理念。

该设计在增强用户接纳度、使用频率及黏性方面至关重要。通过模拟人类的认知、情感反应和社会行为，AI能够创造出吸引人的用户体验，并显著提高人机交互的效率，进而自然地融入人类社会与文化，构建更加贴近真实人际关系的互动模式。当AI在思考、表达和决策方面更加接近人类时，它们便更容易与用户建立起深厚的情感联系。

随着商业上的成功，此类应用引起了一些媒体的追捧和炒作。诸如AI觉醒、拥有人类意识等过度夸大、炒作，掩盖了人工智能的现实状况，妨碍了人们建立对人工智能的客观正确认知，可能导致错误的认知以及过度的期望或恐惧，继而引发成瘾依赖、过度信任、人机关系异化等一系列伦理问题。

成瘾依赖风险。

AI本身没有偏好或个性，只是反映用户赋予它的特质，研究人员将这种现象称为“谄媚效应”。其实质是，那些感知到或希望AI具有关怀动机的用户会使用激发这种行为的语言与AI交互。此时用户与AI共同创造了一个情感共鸣空间，具有极易上瘾的特性。因此，当此类应用提供了更多的情绪价值和更少的人际关系摩擦时，人们便不再迫切需要与真实的人进行交往。与这类讨好式的AI应用频繁互动，最终可能会削弱人们与真正有独立愿望和梦想的人建立深厚联系的能力，从而引发所谓的“数字依恋障碍”。

过度信任风险。

AI应用的拟人化设计，利用人类的社会和情感认知模式，使用户觉得他们正在与一个具有类似情感和认知能力的“人类”交流。从认知心理学的角度看，当AI表现得越像人类，人们就越可能将其视为有自主意识和情感的主体。这种心理倾向可能导致用户对AI的能力和行为产生根本性的误解。例如，用户往往会误以为AI能够真实地理解或共情他们的情感，在需要深度同理心和真实情感交流时过度信任AI，与AI无话不谈。此时人们会将注意力和情感投入AI中，并将AI视为其身份的一部分，伴随的便是人们的心智能力下降，即“数字痴呆”现象。当机器越来越像人的时候，人却变得越来越像机器。

人机关系异化风险。

随着此类应用的发展，传统的以人为中心的人机关系将遭受颠覆性的冲击。如今，AI越来越像人类，它们开始被视为可能的“社会伙伴”，而非单纯的工具。人们不仅在功能性事务上越来越依赖AI，还在情感和精神上依赖它们。有些用户认为AI友谊与真实的人际关系具有同等价值，甚至更好。未来，如果每个人都有一个AI伙伴，这可能会削弱人类与他人互动的能力。AI提供的情感支持越多，个人与他人之间的真实关系可能会变得愈加浅薄。此外，那些更需要社会关系归属感的人，可能更容易与机器人建立社会关系，从而疏远与人类的关系。

妥善解决AI应用引发的伦理问题至关重要。这不仅关系到技术的持续健康发展，更在于确保AI在为人类服务的同时，能够充分尊重并全面保障每个人的权利与福祉。可以从技术革新、制度建设和文化传播等多个维度入手，确保此类应用始终作为人类情感需求的贴心助手，而非导致人类异化的力量。

第一，在技术研发层面，坚持以人为本、智能向善的价值观。

研发机构和企业需加强AI伦理问题研究，在产品设计研发之初就应该纳入伦理考量，识别潜在危害，并有意识地进行设计以尽量降低成瘾、误导等风险。同时，确保用户能够区分AI和人类行为，减少用户对AI能力的误解，增强用户对技术的信任和控制感。例如，当用户与一个AI聊天机器人交互时，界面上可明确标示“您正在与AI对话”，以避免用户误以为自己在与另一个人交流。此外，还可以设置使用时间和频率的限制，避免用户过度沉迷于此类应用。

第二，在制度规范层面，建立完善的相关治理制度，防止技术滥用。

制定详尽的技术治理框架，建立一套集科学性、前瞻性与高度可操作性于一体的标准体系，明确划分可接受与不可接受的拟人化设计界限，并严格禁止可能导致用户误解或滥用的设计。同时，强化伦理监管机制，成立由跨学科专家组成的人工智能伦理委员会，全面评估AI系统设计与应用的伦理和社会影响。推动治理标准与伦理准则的动态调整与持续监督，确保治理框架能够与时俱进。

第三，在社会文化层面，强化人机关系教育，引导公众科学客观认知此类应用的局限性及潜在影响。

通过教育系统和媒体平台广泛普及AI的基础知识，明确AI作为辅助工具而非情感交流主体的角色定位，培养公众对AI产品和服务的批判性思维。同时促进AI技术与人类文化的融合，展现AI对人类生活的积极影响，并强调人类情感、创造力和道德判断的独特价值。此外，建立有效的公众反馈机制，以便及时发现并解决AI应用中的问题，促进技术的持续改进和优化。