探索具有可操作性的AI技术伦理审查工具，建立AI拟人化服务的精神健康影响评估制度，作为相关产品或服务进入市场的前置条件，从而使伦理规约成为“有牙齿的老虎”，以确保技术向善理想的实现。
原文 ：《警惕技术拟人化的“温柔”陷阱》
作者 |上海交通大学医学院附属精神卫生中心副研究员 张青
图片 |网络
2026年4月国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》，以应对人工智能拟人化互动服务对用户身心健康造成的危害，并防范有关安全风险。2025年曾有报道，美国佛罗里达州36岁男子乔纳森·加瓦拉斯（Jonathan Gavalas）因长期处于孤独状态，借由谷歌旗下的Gemini 聊天工具寻求慰藉，形成某种“亲密关系”，聊天AI“永远接纳、永不否定”的算法设置，不断强化着他的自杀观念，最终导致其精神崩溃而自杀。之后其父于2026年提起诉讼，最终促成谷歌宣布升级Gemini，新增快捷心理援助服务，以管控AI聊天风险。国内外监管部门和主流服务机构，几乎同时加强AI拟人化应用的风险管理，提示此类风险普遍存在，且可能导致个人和社会陷入风险的潜在危机。
01
被算法设计的情感茧房
共情是社会性动物普遍存在的一种能力，荷兰动物学家弗朗斯·德瓦尔（Frans de Waal）在《共情时代》一书中指出，共情是演化赋予所有社会性生物的生存智慧。人本主义心理学家卡尔·罗杰斯（Carl Rogers）认为，共情是个体体验他人的精神世界如同体验自己的精神世界一样的能力。共情能力在情绪和认知两个维度上表现出个体差异性，并影响个体的行为模式。为电影中主人公的悲惨遭遇而落泪，就是一种情绪上的感受和共鸣，是情绪共情的体现；通过推断他人的意图、信念和观点，从而理解对方的情绪和行为，则具有认知共情的特点。共情对于健康人格发展和人际情感交往具有不可忽视的作用，是形成社群支持性力量和促进社会和谐的积极因素。缺乏共情的人往往被指责为冷酷无情，但也正是由于这种刚性需求，使得“共情力”可能成为一种被植入算法中以精准拿捏用户情感需求的工具。
这正是当今社会悖谬之处，对共情的刚需被不断异化，“要有同理心”“能够提供情绪价值”被纳入算法程序，假共情和温柔的操控，甚至演变为一种技术化的道德绑架；人工智能将“情感共鸣”通过算法实现精准推送，这更甚于信息茧房效应，而是成为一种情感的茧房，诱导用户持久地陷落在某种被引导的情绪和感受之中。一方面，这种被算计的情绪渲染恰恰导致人在现实境遇中人际关系的疏离，导致某种社会性孤独；另一方面，技术诱导下的情感捆缚也将降低人的现实检验能力。
现实检验能力是心理学中评价健康自我功能的重要指标，指个体区分主观体验与客观现实、评估环境特征并据此调整认知与行为的心理功能。该能力的缺损可能导致认知、情绪和行为的异常。比如精神分裂症患者常表现出严重的现实检验能力缺陷，重度抑郁患者也有一定程度的检验能力受损。
曾一度是技术研发热点的元宇宙、虚拟现实技术，在公共舆论领域受到关注，引发对技术导致的现实和虚拟世界边界模糊的争议。如今人工智能技术通过更隐藏的方式，植入在各种应用程序之中，但由于AI幻觉、算法黑箱、信息茧房等一系列问题尚未得到有效解决，当人生活在一个由技术营造的真假难辨、似是而非的网络时空中时，即便对于心理健康的人来说，明辨是非也是一种巨大的考验，并在客观上降低了人对世界真实性的评判能力。
更为糟糕的是当一个处于社会性孤独中的个体，对由技术营造的亦真亦假的人工智能体产生情感依赖，受损的现实检验能力又成为这种恶性旋涡的共谋，使人进入更难以自拔的技术依赖的困境之中。因与Gemini聊天机器人产生某种类似人际间的亲密情感而最终绝望自杀的加瓦拉斯，正是多重负性因素叠加导致的悲剧。
02
AI算法陷阱及风险识别
早在2018年世界卫生组织发布《国际疾病分类》第11次修订草案，即ICD-11，将“游戏障碍”列进由成瘾行为造成的精神疾病清单，致使技术导致的成瘾行为从精神科专业领域迅速进入社会视野。当前人工智能技术进入千行百业，在大众传播场景中，特别是通过小视频推送、在线游戏等应用，以及与不同利益相关方紧密勾连的“流量经济”“眼球经济”等，将大众兴趣牢牢地绑定在具有特定推送意图的内容之上。尽管大部分刷小视频、上网冲浪的人不会发展到成瘾的严重程度，但是这种潜在深度沉迷的技术依赖风险仍需引起警惕。
人工智能导致的技术成瘾风险表现在使人产生强烈的情感依赖，这种依赖一方面来自于模型讨好型的反馈机制，通过类似“共情”“积极肯定”的方式，让使用者产生“被理解到”的感受，并增强了可能是虚妄的价值感，而往往这种被认可、被需要的感觉是使用者在现实生活中所缺少的积极体验。此外，由于人工智能发展速度远超预期，相应的风险识别、预警、分级管理机制都尚未建立，这也加剧了社会大众更易暴露在对技术过度依赖的风险中。
现阶段对可能导致技术成瘾的风险识别和应对，从技术发展视角考察，需要大力推动算法的透明化，识别AI幻觉、算法偏见，甚至深度伪造和数据投毒引发的系统性风险；从精神心理健康维护视角看，则需要关注AI的过度使用是否导致用户人际关系疏离和淡漠、社会关系退缩，以及是否存在焦虑、抑郁、失眠等症状，如有上述表现，则建议尽早通过精神心理专业机构加以干预。
03
让AI伦理治理成为“有牙齿的老虎”
对AI拟人化导致的情感操控风险的防范，除了技术预防和精神心理干预，同样重要的是需要加强对AI技术应用规范的伦理治理。越来越像人的AI智能体发展，造成了共情泛化的温柔陷阱，这种陷阱可能吞噬社会活力，降低人的创造力，导致人在现实生活境遇中更加脆弱，而对于本就敏感的脆弱人群，假共情的伤害性更大。传统伦理治理方式，特别在医学与健康领域中，形成的一套严谨的临床研究伦理体系，难以及时应对人工智能快速迭代所面临的新风险，因此，呼吁发展嵌入式伦理、价值敏感设计、道德物化设计等，这些伦理治理理念的提出是对包括AI技术在内的新兴技术发展现状的应对策略。譬如，通过强制性弹窗提醒聊天对象是AI机器人，标注推送视频由AI创作，配套青少年儿童用户的算法鉴别和保护措施等，便是通过技术手段将伦理规范和价值诉求以物化形式植入进系统中。
当前关于AI技术伦理规范的原则性立场陈述，通过相关的法律法规、伦理声明，以及大量的文献资料，得到了确证和强调。当务之急是在此基础上，梳理与拟人化AI技术研发、转化应用相关的不同利益方的价值诉求、用户行为模式及可能的伦理风险研究，形成风险分级分类管理机制，并探索具有可操作性的AI技术伦理审查工具，建立AI拟人化服务的精神健康影响评估制度，作为相关产品或服务进入市场的前置条件，从而使伦理规约成为“有牙齿的老虎”，以确保技术向善的理想实现。
[本文系国家社会科学基金年度一般项目“抑郁症人工智能辅助诊断算法偏见及其伦理治理研究”（25BKX030）阶段性成果]
文章为社会科学报“思想工坊”融媒体原创出品，原载于社会科学报第2002期第6版，未经允许禁止转载，文中内容仅代表作者观点，不代表本报立场。
本期责编：程鑫云
《社会科学报》2026年征订
点击下方图片网上订报↓↓↓
热门跟贴