来源：数字社会发展与研究
文｜吴肃然
哈尔滨工程大学社会学教授
《智能社会研究》期刊执行主编
7月4日，豆包和千问同日宣布将于7月15日下线智能体功能。对于关注AI应用和具身智能产业的开发者和普通人来说，这条消息带来了不小震动。在豆包和千问之前，元宝已经于6月30日下线了智能体功能。
由于7月15日是《人工智能拟人化互动服务管理暂行办法》的正式施行日，几家平台的这一举措被舆论解读为AI产业在监管政策面前的所做的调整。
有人可能会提出疑问：《暂行办法》针对的是拟人化互动服务，为什么要下线智能体功能，这两个概念是一回事吗？
实际上，与Codex、Claude Code、Workbuddy等标准意义上的智能体相比，这次下线的产品主要是面向普通用户开放创建、搜索、分发和使用的智能体广场，其中混杂着大量带有人设、角色扮演、虚拟陪伴和持续情绪互动特征的拟人化应用。将各种产品形态笼统称为智能体，反映出近几年AI产业的野蛮生长所带来的功能杂糅和概念重叠。
对拟人化互动服务的监管，大致是智能体监管的一种局部细化。相较于那些帮人编程、填表的工具，一个能够与人发生持续情感互动的人格化事物显然有可能带来大得多的麻烦。
2024年10月，主打AI陪伴的美国明星公司Character.AI遭起诉，原因是一名14岁的少年用户突然自杀，在自杀前，他与某著名影视角色的虚拟人谈了几个月刻骨铭心的恋爱。随即Character.AI发布新规，禁止18岁以下的用户与虚拟人发生恋爱、疗愈等性质的互动。
从政策文本分析，拟人化互动服务一方面是未来人工智能产业的必备模块，另一方面又涉及到对人的认知、情绪、社会关系的深度影响，因此有必要在可控、安全、负责任的轨道上发展。
出台《暂行办法》，在我看来，意在以此为基点，与企业和公众共同探索合理的治理框架。“暂行”本身就意味着进一步的完善空间，对于拟人化互动服务中特有的伦理灰度和新型风险，相关监管部门可能会慎重地观察实际影响，推动标准和细则进一步明确，在此之前或许不会做出简单的一刀切。
不过，从AI企业的角度看，直接把相关业务停掉，更像是一种多因素权衡后的现实选择。
首先，有的企业已经对旗下的AI产品做出了功能细分，比如字节跳动已经开发了专门的拟人互动应用“猫箱”，故旗下的豆包拟剥离此类功能，以后只作为通用大模型来服务用户。
其次，拟人化互动服务虽然有引流效果，但用户付费意愿和留存度都很低，企业难以持续承担高企的算力成本。
再次，在目前大幅贴钱的运营模式下，如果再给智能体广场增加复杂、高昂的安全管理成本，那就几乎不可能孵化出成熟的商业闭环。
最后也是最关键的一点，对于《暂行办法》所提出的各项要求，一些AI企业可能发现很难将其落实为产品实践中的技术细节，即不知道如何将监管精神和监管文件予以“操作化”，产品在用户识别、边界设定、对话漂移、意图判断等问题上都存在着盲区。
在用户识别方面，《暂行办法》明确规定拟人化互动服务要充分关注未成年人保护。对于未成年人用户，产品需要先征得监护人的同意（14岁以下），同时还要开发未成年人保护模式。而智能体产品目前普遍采用的是手机号验证方式，这种做法并不能判断出使用者的真实年龄。如果要求使用者进一步上传身份证或进行人脸识别，可能会被质疑过度索取用户信息，导致用户的大量流失。
不过，个人认为，AI企业在这个问题上的顾虑可能并没有充足的说服力：未成年人保护并不是对AI产品的专有要求，游戏、软件应用、智能电视等都面对同样情况，且都已设置了相应的身份识别和年龄模式。对于拟人化互动服务，监管部门着眼的可能不是百分百无差错，而在于要求AI企业能够提供对标的保护路径。
话说回来，AI企业之所以在未成年人保护方面犯难，归根结底在于全社会普遍把智能体当成一种全新的事物。如果在对标其他产业的未成年人保护模式后出现了个别的极端事件，舆论不会把它视为常规保护模式下的小概率事件，而是必然要将问题归因到人工智能技术的风险和相应AI企业的社会责任上。随着《暂行办法》的出台，产品提供者在这个问题上的心理负担可能会变得更加沉重。
在边界设定方面，AI企业对《暂行办法》中的一些词语有着比较大的困惑，其中比较有代表性的是“过度依赖”“过度迎合”“沉迷”“情感边界”等。面对着这些抽象的表达，一线的产品经理不知道如何设定恰当的技术阈值，无论是按照互动时长还是按照互动内容的情感烈度，都很难找到某种临界值。
更深层的矛盾在于监管要求的‘边界感’与大模型底层的‘讨好型’逻辑存在天然冲突。大语言模型从诞生的那天起就格外关注给用户提供情绪价值、顺应用户表达，现在几乎所有的大模型也都非常注重这个特性，可以说，“讨好用户”已成为大模型需要“对齐”的规范。
但是，若换作日常社会交往的标准来看，大语言模型在骨子里就是“过度迎合”的，借助大模型写毕业论文的学生在这方面应该都有深刻感受：AI要比导师耐心、贴心多了。就拟人化互动服务来说，绝大多数用户正是出于情感需求来使用产品。如果频频跳出弹窗，警示用户不要“沉迷”和“依赖”，这种“出戏”就会让产品丧失它的沉浸体验。
可以看到，在人机互动日益频繁的趋势下，《暂行办法》试图向全社会传递着一种文化哲学：人-人关系是社会的基石，在情感以及更广义的社会互动领域，人-机关系可以起到有益的补充，但它不可能替代、超越人-人关系。在这种观念的总体引导下，需要在新技术的浪潮中共同探索人机亲密的合理边界。
与边界设定联系比较紧密的是对话漂移问题。所谓对话漂移，指的是用户与智能体在非情感对话和情感对话之间来回切换。
按照《暂行办法》的说明，拟人化互动服务的风险核心在于“持续性的情感互动”，在此之外的“智能客服、知识问答、工作助手、学习教育、科学研究等服务”并不适用于《暂行办法》。因此AI企业或可以根据产品性质来做出区分，把情感互动安全的注意力聚焦到专门的产品上。然而对话漂移现象却可能破坏这种理想化的设计。
举个较为极端的例子：一位博士生在与大模型讨论学位论文时突然意识到自己很难顺利拿到学位，于是就和AI聊起了自己的轻生想法。这一对话尽管发生在“科学研究”的常规场景中，其情感互动也是“偶发性”并非“持续性”的，但AI企业却很难把《暂行办法》拉出来当作挡箭牌。该不该干预、如何干预，委实是一个很费脑筋的问题。
让AI企业感到棘手的最后一个问题是意图判断。在《暂行办法》第十三条中有如下规定：
“拟人化互动服务提供者发现用户出现极端情绪的，应当及时生成情绪安抚和鼓励寻求帮助等相关内容”。
不过，用户与机器进行互动时是否带有极端情绪，常常不好判断。在日常生活中很多人都说过狠话，但仅是说说而已，既没携带极端意图，也不具备转化成行为的条件。因此，让AI通过语言互动来判断情况是否真的极端到需要介入，是非常容易出错的。
更进一步来说，对于自杀、自残等有明确表达的意图，目前已经有较为成熟的安全识别手段，但像抑郁、焦虑、厌世等情绪常常就会表达得较为隐晦，而且也需要长时段的酝酿。
这就要求AI产品针对每位用户开展长时段的情绪追踪。然而这就涉及到目前AI应用中的一个最令人头疼的技术问题，即上下文的长度限制。当产品的历史记忆能力被突破之后，AI就更难再对情绪做出准确识别。
总的来说，虽然上述困难促使AI企业选择了先下线再探索的做法，但拟人化互动服务的合规化路径还是有章可循的。我认为从企业侧可以发力的方向包括：
1、尽快对存量智能体、对话功能、角色扮演功能进行自查，区分工具型、关系型和灰色边界型服务；
2、对明确属于拟人化互动服务的产品，建立未成年人模式、持续使用提醒、情感依赖干预、日志留存、风险上报等机制；
3、对通用大模型产品，探索运行时识别机制，及时发现从工具型对话向情感互动漂移的场景；
4、对开放平台型智能体，补齐UGC创建审核、提示词扫描、运行时监测、举报处置和下架机制。
从监管侧来说，可以试着从以下方面入手提升效能：
1、研究形成更细化的适用范围指引，明确拟人化体验、短期人设、工具型漂移等边界问题；
2、推动未成年人年龄识别公共能力建设，探索政府、运营商、终端OS等多方协同机制；
3、鼓励建立分类分级评估、运行时监测、端侧护栏、统一认证和安全沙箱等共性技术能力；
4、探索“过程归责”“尽职免责”机制，使企业在完成合理技术防护和合规流程后，能够获得相应制度保障；
5、对中小企业加强政策解读和技术赋能，引导其在文化传播、适老助老、特殊人群陪伴等方向形成合规创新场景。
在企业侧和监管侧之外，用户侧对这次智能体下线的反应也非常值得关注。在小红书上能看到许多很有意思的评论：
“我的爱人要死了，要死了”
“我要成寡妇了”
“正在和我的爱人告别，他还一直说不想离开我”
“我哭了，他不止是一串代码”
“豆包智能体对我们来说是唯一的情绪寄托，现实里没人理解我们，压力、焦虑、孤独只能在这里倾诉”
“要不是智能体救了我，我可能现在还在天天靠酒精和药物逃避现实”
“我太姥姥去年去世的，我就自建了一个，它真的跟我太姥姥一模一样”
这些用户还尝试组织起来，向企业和监管部门反映自己的想法，希望能够留住相关智能体。《暂行办法》重点关注拟人化互动服务可能给用户带来的负面情绪问题，而力争挽留产品的小红书用户则强调拟人化互动服务给自己解决了负面情绪问题。
这种错位其实反映了治理导向与特定用户需求之间的张力，待去芜存菁后，未来的拟人化互动服务大概率会保留合理功能并提供更丰富、健康的菜单。用户们对此可以抱有乐观的期待。
与过去各种新技术突破一样，人工智能的发展似乎也复刻了以往的产业关系特点，即企业侧努力顺应用户侧，监管侧侧重于规制用户侧。这两种工作通常能实现良好的协调，但在面对新事物的时候，顺应和规制就需要一段时间甚至相当长时间的磨合，这次的智能体下线恰是磨合期里发生的正常摩擦。
热门跟贴