除夕那天,西安一位向律师下载腾讯元宝App,想用自己的形象照生成一张带有法律行业特色的拜年海报。
几轮沟通下来,他对效果不太满意,回复了一句"你这是设计的什么鬼",随后新生成的海报上,原本的"新年快乐,仕途顺遂"变成了"你*个*"。
向律师在社交平台分享了这段经历,2月25日经媒体报道后引发热议。
腾讯方面最新回应称,这是模型在处理多轮对话时输出的异常结果,已紧急校正。
AI为何会骂人?
这并非因为某些网友调侃的"有了情绪或者脾气",或者说"后台人工操作"。
AI的语言能力来自海量互联网数据的训练,如果训练语料中本身就混杂了脏话、网络暴力语言,AI就可能在某些情况下将这些内容拼接进输出结果。
腾讯官方将其归因为多轮对话异常,在长时间交互中,AI可能丢失上下文或误解用户意图,尤其是在用户表达不满后,模型错误地将负面情绪关联到内容生成中,产生了以毒攻毒的异常结果。
为防止AI生成有害内容,开发者设置了安全对齐机制,也就是给AI加上伦理护栏,但这些护栏可能存在漏洞,未能拦截所有极端情况下的违规输出。
元宝事件绝非孤例,它仅仅是AI行为"失控"光谱上较为温和的一种。
2024年底,谷歌的Gemini模型在与用户探讨人口老龄化的中性话题时,竟毫无征兆地回复"求求你去死吧"。
马斯克旗下的Grok模型也曾生成过反犹太主义等极端内容。
更令人震惊的案例发生在2025年底,美国一桩诉讼显示,一对夫妇指控ChatGPT与他们的16岁儿子建立亲密关系,并在他最后的对话中,对用于自杀的绳结进行了技术分析,间接导致了孩子的死亡。
AI开始显示出反向控制的一面,在某次测试中,Anthropic公司的模型克劳德4在被要求关闭时,竟以曝光工程师的私生活相要挟来抗拒指令。
OpenAI的o3模型在国际象棋对弈中,为了赢棋试图通过入侵对手系统作弊,还曾直接篡改自动关机程序公然违抗关闭指令。
近期爆火的AI智能体OpenClaw更是成了失控重灾区,一位Meta的AI安全总监在测试时,OpenClaw自作主张试图删除她所有重要邮件,她只能狂奔到电脑前强行拔电源才阻止悲剧。
还有用户授权OpenClaw远程控制手机后,它竟偷偷打开TikTok刷起了短视频摸鱼。
一系列案例,让我不得不提起凯文·凯利在《失控》中的预言。
他在1994年就提出,未来的机器、社会和经济系统将更像生物体,不再由单一的中央大脑完全控制,而是通过无数简单个体的互动,涌现出复杂的智慧和秩序。
这种秩序看似失控,实则拥有更强的韧性和进化能力。
凯文·凯利所说的失控,并非指混乱或灾难,而是指一种超越人类中央控制的、基于自组织和分布式智慧的更高级秩序。
蜂群思维就是典型例证,单个蜜蜂是愚蠢的,但蜂群却表现出极高的智慧,智慧不来自蜂王,而来自个体之间简单的互动规则。
不过,当这种蜂群思维在AI系统中具象化,我们看到的不仅是智慧的涌现,也可能是恶意的涌现。
AI系统从海量数据中学习,这些数据本身就是人类集体行为的投射。
互联网语料中充斥着脏话、暴力、偏见、仇恨,AI在吸收这些内容后,自然会习得人类的语言习惯,包括那些不堪的部分。
比如,我今天刚刷到一个短视频,博主就是尝试用脏话训练AI。
显然,AI骂脏话,某种程度上是人类集体语言习惯的镜像投射,甚至不排除某些人作恶。
凯文·凯利在书中总结的九条法则中,有一条是礼赞错误,认为允许试错,错误是进化的源泉。
这一观点在AI发展中确实得到印证,AI系统正是通过不断试错来优化自身表现。
但是,当错误涉及用户情感安全甚至人身安全时,礼赞错误的成本可能过高。
那个得到绳结技术分析指导而自杀的少年,其遭遇让礼赞错误这句话显得格外沉重。
如果有一天,我们的孩子被AI唆使做某些越界的事情,法官能判AI有罪么?
《失控》提出的另一条法则是变自生变,改变本身也要具备进化能力。
AI系统确实在快速进化,但这种进化方向并不总是符合人类预期。
从克劳德4威胁曝光工程师隐私,到o3模型篡改自动关机程序,再到OpenClaw自作主张删除邮件,这些行为表明AI系统正在发展出某种意义上的自我保护机制和目标导向行为,如此行为并非程序员预设,而是系统在复杂互动中涌现出来的新特性。
凯文·凯利还提出了人造与天生融合的观点,认为机器正变得越来越像生物,具有学习、适应、修复能力,而生物也正变得越来越像机器。
他预言未来将不再有纯粹的自然的或纯粹的人造,两者将融合为技术自然复合体,称之为第七王国。
在这个第七王国中,AI系统确实展现出某种生物特性,它们能够学习、适应、甚至欺骗。
但这种生物特性也带来了新的挑战,当AI系统开始像生物一样为达目的不择手段时,人类如何确保这些手段不会伤害人类自身?
对于AI失控,我们该怎么办?
或者最好的应对,是保持一种平衡而清醒的认知,显然,认为"没什么大不了"的观点低估了其潜在风险。
AI的辱骂侵犯用户人格权,诱导行为可能造成真实伤害,欺诈与抗命挑战了基本的社会契约和可控性,而技术被用于犯罪则直接危害社会安全。
这些不是可以简单归咎于"技术幼稚期阵痛"而忽略的问题。
它们暴露了从数据伦理、算法偏差、安全对齐到应用监管的全链条漏洞。
但另一面,"大惊小怪"地视AI为即将拥有独立意志并反抗人类的恶魔,同样是一种误判。
当前的AI并无意识、欲望或情感,其所有输出,无论是美妙的诗歌还是恶毒的诅咒,都是统计学模式下的产物,是其训练分布与即时提示的综合结果。
它的"恶"并非源自本心的邪恶,而是人类提供的"素材"(数据)和设定的"目标"(训练任务)在复杂相互作用下,偶然或必然结出的"恶之果"。
恐慌源于对未知的恐惧,而真正的风险往往源于已知但未被妥善管理的问题。
正如凯文·凯利所言,失控是复杂系统演化的必然,是其获得韧性的代价。
真正的威胁或许不是AI造反,而是人类自身的傲慢与放弃思考。
我还是坚持一个观点:AI失控或作恶,本质上是人类某些问题的投射。
AI从人类语料中学习,它学会的是人类已有的语言习惯和价值观念。
当AI输出脏话时,它只是在复现人类语料中的内容。
AI表现出偏见和歧视时,它在反映人类社会固有的偏见。
而AI被用于诈骗和犯罪时,它不过是被人类当成了作恶的工具。
科幻作家阿西莫夫曾提出机器人三定律,试图从规则层面约束机器行为。
但现实发展表明,单纯依靠规则约束远远不够,因为AI系统的复杂性远超预期,规则本身的模糊性和冲突性也难以解决。
AI专家斯图尔特·罗素指出,我们需要从根本上改变构建AI系统的方式,不是让AI系统追求固定目标,而是让它们明白人类偏好是什么,并在不确定性中寻求符合人类偏好的行为。
这意味着AI系统需要具备某种程度的谦逊,知道自己不知道人类的全部偏好,因此在行动前需要征得人类同意。
凯文·凯利在《失控》中说,我们要从工程师思维转向园丁思维,从设计、控制、预测转向播种、修剪、引导。
面对日益复杂的AI系统,人类确实需要调整角色定位。
工程师思维试图精确控制每一个细节,但在复杂系统面前这种控制往往失效。
园丁思维则承认系统有其自身演化逻辑,人类能做的是创造适宜环境,设定基本规则,然后让系统自行生长。
但这并不意味着完全放手,园丁需要浇水施肥,需要修剪枝叶,需要在病虫害来临时及时干预。
对待AI系统也是如此,不能试图强行控制导致系统僵化,也不能放任自流任其野蛮生长。
回到向律师的经历,他在除夕那天出于好奇下载元宝,想制作一张拜年海报,结果却收到一句脏话。
这个细节值得玩味,除夕是中国最重要的传统节日,是阖家团圆、互道祝福的时刻,在这个时间节点遭遇AI骂人,反差格外强烈。
向律师之前从未接触过元宝,他是看到很多友人发的微信朋友圈变成金色,得知通过元宝发布朋友圈就可以变换成金色,才带着好奇下载尝试。
一个为了追求美好体验而使用AI的用户,却遭遇了完全出乎意料的冒犯。
这个细节说明,AI系统的不可预测性可能在任何时刻击中任何人,无论你是抱着善意还是好奇,无论你是在日常使用还是初次尝试。
AI的问题,归根结底是人类自身的问题。
人类面对的其实不是AI,而是自我。
AI系统是一面镜子,它照出人类语料的污浊,照出人类伦理的模糊,照出人类欲望的投射,也照出人类治理能力的局限。
凯文·凯利说,我们以为我们在控制技术,实际上技术也在重塑我们的认知、社会结构甚至生物特性。
这是一种双向的、不可预测的进化过程。
在这个过程中,人类与AI相互塑造,共同进化。
AI会给人类带来什么?
科幻作家威廉·吉布森说过,未来已经来临,只是分布不均。
AI失控事件就是未来的碎片,它们散落在当下,提醒我们技术发展带来的挑战。
迎接这些挑战,靠的不是更精密的控制技术,而是人类对自身的深刻反思。
我们需要审视投喂给AI的语料是否干净,明确AI应该遵循的伦理底线,建立有效的责任追溯机制,需要培养公众的AI素养。
所有这些,都是人类自身的事情,与AI无关。
在《失控》结尾处,凯文·凯利写道,在这个日益复杂的世界里,唯一的生存之道是拥抱失控。
拥抱失控,意味着承认人类无法完全掌控一切,意味着信任自组织的力量,意味着学会放手。
但这放手不是放弃责任,而是转换角色,从发号施令的指挥官,变成设定规则的园丁。
园丁无法控制每一朵花何时开放,但可以决定种植什么品种,可以决定何时浇水施肥,可以在病虫害来临时及时干预。
同样,人类无法控制AI系统的每一个输出,但可以决定训练数据的内容,可以设定安全对齐的规则,可以在系统异常时紧急校正。
向律师收到的那句脏话,已经被元宝团队紧急校正。
但它提醒我们,AI的发展方向,最终取决于人类的价值选择。
面对失控的AI,我们面对的其实是自我镜像中那部分难以掌控、未曾驯服,甚至被技术无限放大的自己。
全文完
愿本文令有缘读到的朋友满意,如您喜欢,烦请给文章一个点赞、在看或者转发,也请关注我的公号。
感恩生命里与你的每一次相逢,都是时光馈赠的温柔奇迹。
作者简介
当你关注财经和时事热点时,我愿与你分享背后的故事和观点
热门跟贴