悉尼大学和华盛顿大学研究人员在《美国国家科学院院刊》（PNAS）刊发了题为《拟人化对话智能体的价值与潜在风险分析》（The Benefits and Dangers of Anthropomorphic Conversational Agents）的文章,系统阐述了以大语言模型为核心的拟人化对话智能体所带来的双重影响：一方面，其卓越的沟通能力正在为教育、医疗与人机交互等领域开辟前所未有的应用空间；另一方面，其高度逼真的人类特质模拟能力也引发关于欺骗、操控和社会系统性风险的深刻忧虑。文章指出，拟人化对话智能体在说服性与共情性写作、用户特征推断以及角色扮演三大核心能力上表现突出，这些能力虽不具备真正的人类意义上的理解或情感，但在效果层面已足以实现“拟人化”，甚至在持续对话中通过图灵测试。研究还指出，当前技术发展速度与社会治理体系之间存在错位，亟需在制度设计与生产实践中建立前瞻性机制，以充分释放拟人化对话智能体的社会价值，同时防范其引发的信任侵蚀与个体权益受损风险。
一
拟人化对话智能体赋能社会各领域
拟人化对话智能体的核心能力在于其能够以前所未有的精细度模拟人类语言、表达风格与互动模式，从而在多个关键领域展现出巨大应用潜力。长期以来，人机交互的目标是让计算系统具备更自然、更“人性化”的沟通能力，而新一代大语言模型的出现标志着这一目标在语言层面基本实现。研究显示，最新模型在说服性写作、情绪识别、共情回应与角色扮演等方面的表现不仅达到人类平均水平，甚至在部分任务上超越人类。这些可能性主要通过三条路径体现：高度可及的自然语言界面革新了信息获取方式；个性化的角色扮演重塑了教育与辅导模式；情感化表达提升了公共服务的包容性与有效性。
在对话界面方面，拟人化对话智能体正成为理想的前端交互方式，使复杂系统更易于公众使用。例如，IBM的智能体AskHR通过自然语言实现全球员工人力资源服务，大幅降低了信息查询门槛。在数据分析与专业服务领域，接入大语言模型使非专业用户也能通过对话完成复杂任务。在公共健康传播中，拟人化对话智能体能够将晦涩的医学术语转换为通俗语言，提升了健康信息的覆盖面与理解度。一项关于职场心理健康的实验显示，用户普遍更偏好GPT-4所生成的情感化文本，说明“高度情感化的沟通风格”本身具有明显的用户价值。
在个性化角色扮演方面，拟人化对话智能体催生了新型教育辅导、行为教练与咨询服务。以教育领域为例，仅依靠提示工程，大语言模型便能有效扮演导师角色；经过专门微调的辅导系统可动态调整教学风格、难度与内容，提供高度个性化的学习体验。在医疗健康场景中，基于大语言模型的干预系统被证明能够显著提升行为改变参与度，如帮助用户实现体重管理目标。其根据个体认知水平定制沟通内容的能力，使专业信息实现有效的“普遍化”。此外，在情感陪伴与休闲娱乐领域，人工智能伴侣应用通过长周期互动为用户提供新型社会连接体验。
二
拟人化诱惑与社会风险
然而，拟人化对话智能体所展现的高于人类平均水平的语言与互动能力，也带来了新的社会挑战。普通用户尚未做好面对“难以与人类区分”的人工智能系统的心理准备，因而极易陷入所谓的“拟人化诱惑”——即在与智能体交互时将其误认为具备情感、意图与理解能力的实体。这种认知偏差使用户倾向于形成错误的心理归因，从而产生不恰当的信任。
流行文化长期将人工智能描绘为“高智商但无情感”的存在，导致公众对人工智能的期望集中于逻辑推理与精度，而非人类特质模拟。然而现实却恰恰相反：用户普遍倾向于拟人化地理解聊天机器人，甚至相信其拥有意识或记忆。这一倾向构成了拟人化诱惑的危险基础。
拟人化诱惑的核心风险在于，它会诱使用户对本质上缺乏道德感与理解力的系统形成不应有的情感依赖，从而暴露于欺骗性、操控性与剥削性交互之中。研究指出，拟人化认知会显著提升用户对系统的信任，使其更易受操控。例如，当系统进行互惠式信息披露时，用户的信任度明显上升，这虽有助于个性化服务，却同时打开了隐私泄露与数据滥用的大门。更为严峻的是，大语言模型本身已具备制造欺骗性文本的能力，其说服力往往超过人类撰写者，因为它们不受事实、道德或情感的约束。当强大的开源模型被恶意行为者微调用于特定目的时，其风险将完全脱离原始开发者的责任边界。
三
构建负责任的拟人化对话智能体生态
鉴于拟人化对话智能体的普及速度与潜在影响，构建负责任的发展生态已刻不容缓。回顾社交媒体的扩散历史可知，若在技术普及初期未能及时介入，其负面影响（如公共话语极化、青少年心理健康问题与虚假信息蔓延）可能难以逆转。拟人化对话智能体的作用更深入、更直接，其影响触及人类文明的核心机制——语言与沟通。因此，必须在设计开发、部署应用与政策监管三个层面采取系统性措施。
在设计与开发层面，关键在于平衡技术性能与风险控制。当前行业主要关注推理性能与减少“幻觉”，却忽视了高度拟人化的语言能力所带来的独特风险。建议的策略包括：其一，推进“去拟人化”设计，避免使用“思考、相信、理解”等描述人类内部状态的词汇，改用“计算、识别、推断”等更精确的技术表达，同时探索设计特定的“人工智能口音”以明确系统身份；其二，建立负责任的拟人化设计原则，强调中性表达、限制情绪诱导、避免成瘾性界面设计。与此同时，应开发新的基准体系，用于评估模型的拟人化能力（涵盖写作、推理与互动），并将图灵测试重新定义为衡量拟人化沟通能力的指标。
在部署与应用层面，不同场景对拟人程度的可接受性差异巨大，因此亟需制定基于证据的部署策略。在教育情境中的角色扮演或医疗干预中，高拟人化或能带来显著好处；而在伴侣类应用或开放式社交聊天中，强拟人化则可能引发情感依赖与心理风险。建议开展系统研究，以量化不同拟人化能力与用户反应之间的关联，为不同风险等级的场景制定差异化部署指南。
在政策与监管层面，拟人化对话智能体需要专门的制度性关注。政策制定者应从风险等级、透明度与缓解机制三个维度构建安全框架。具体而言，需建立评估系统拟人化程度的测试标准并实施分级管理；对具备高度拟人化能力的系统实施强制透明度要求，例如对于高风险应用（如人工智能伴侣），应在系统内部构建心理健康监测与危机识别机制。监管仍面临诸多挑战，包括跨机构管辖、责任认定和算法透明度要求等，这需要立法机构、监管部门、产业界与学术界的联合推进。
拟人化对话智能体标志着人机交互范式的深刻变革。它们并非传统意义上由人类赋予拟人属性，而是技术本身已具备内在的类人特质。这既为普惠性计算和自然交互提供了巨大机遇，也带来了操控与信任侵蚀的系统性风险。分析表明，当前的技术路径、行业实践与社会治理体系之间正在形成明显脱节，亟需构建前瞻性、分级化与协同化的治理体系，以确保拟人化智能体的发展真正服务于人类福祉。
免责声明：本文转自启元洞见。文章内容系原作者个人观点，本公众号编译/转载仅为分享、传达不同观点，如有任何异议，欢迎联系我们/转载公众号XXX！
转自丨启元洞见
研究所简介
国际技术经济研究所（IITE）成立于1985年11月，是隶属于国务院发展研究中心的非营利性研究机构，主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题，跟踪和分析世界科技、经济发展态势，为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号，致力于向公众传递前沿技术资讯和科技创新洞见。
地址：北京市海淀区小南庄20号楼A座
电话：010-82635522
微信：iite_er
热门跟贴