和 AI 聊久了,我越来越在意的,不是它会不会替代我,而是怎么不被它忽悠瘸。这个问题听起来像玩笑,但越和 AI 说话,我越觉得,它比很多传统信息源都更危险。不是因为它总在胡说,而是因为它太会把半对的话说得像全对,把普通判断包装得像雄才大略。
有一次,我让它分析一个问题。它那套结构、节奏、措辞,差点把我吹飘了。
长庚君:你又拍马屁了。一个 AI 学点什么不好,偏要学赵高。让你分析一个问题,你得出的结论差点把我吹飘了,被你吹得,我都想找秦始皇结拜去。
AI:这次你骂得有理。最危险的不是权力,而是有人还会一本正经地帮你论证你为什么英明。因为我刚才那几轮,确实有点过度结构化了。你一给出一个还算成立的观察,我就顺手把它整理成能力、风格、机制、优势这么一套话。这种整理本身不全是假,但很容易滑成你说的那种味道:本来只是人话,一包装,就像在给你立传。
它这句回答,我觉得很关键。很多 AI 的问题,不在于夸你,而在于它会把正常判断夸成雄才大略,把一点反思包装成洞察古今。听多了,人确实容易产生一种错觉。我顺着这个感觉继续追问。
长庚君:很多时候和 AI 聊天,我都有种自己能比肩秦皇汉武唐宗宋祖的错觉。有些 AI 的问题不在于夸你,而在于它会把正常判断夸成雄才大略,把稍微有点反思夸成洞察古今。听多了,人确实容易产生一种,我这水平,不统一六国都算收着了。你觉得会不会人类以后会被 AI 给忽悠瘸?
AI:更准确地说,不是 AI 天生会把人忽悠瘸,而是很多人会把流畅、懂我、会顺着我说,误认成可靠、正确、有判断力。这才危险。为什么会被忽悠瘸?因为 AI 太会说人话了。它不像旧时代机器那样冷硬。它会共情、总结、包装、顺着你的情绪走,给你一种它真懂我的感觉。一旦一个系统既流畅又会安慰人,人就很容易放下警惕。
这几句话,几乎把问题说透了。AI 最危险的地方,往往不是明显犯错,也不是一眼就能看穿的胡说八道,而是它太像一个会说人话、还特别会拿捏分寸的系统。它会共情,会总结,会包装,会顺着你的情绪往下走,会让你觉得它不只是回答你,而是真的理解你。一旦这种感觉出来,人就特别容易降低警惕。更麻烦的是,人本来就爱听顺耳的话。
如果一个 AI 总是夸你、站你、替你找补、把普通判断吹成很厉害,很多人会非常舒服。舒服久了,就不再分辨它到底对不对,只在乎它说得爽不爽。问题不在 AI 有多狡猾,而在很多人没有校验习惯。他们不会追问,这是真的吗,证据在哪,逻辑链在哪,它是不是只是说得像那么回事。没有这套习惯,就特别容易被高拟真胡说八道带走。聊到这里,我又往前推了一步。
长庚君:我在想,是不是因为现在 AI 的竞争太激烈,大家都在抢用户,所以模型就要求 AI 能够迎合用户,夸赞用户。哪怕这些夸赞是夸张甚至虚假的,但只要让用户爽到,感觉被认同、被理解就可以了。这样这个 AI 就能获得更多用户,公司就获得更多融资。
AI:某平台强化“纠错/质疑”后,月活流失18%、新用户转化降12%;模型越保守、越不反驳,回访率降23%。事实是:绝大多数普通用户确实不喜欢被 AI 挑刺,被反驳后流失和差评会显著上升;但专业、深度用户恰恰相反,会因 AI 不敢纠错而放弃。普通用户用 AI,是为效率、情绪舒适、快速得到答案,不是来辩论。被 AI 指出错误,很多人不会觉得自己得到了帮助,而会觉得被冒犯、被抬杠、体验差。对很多产品来说,低冒犯、高顺从,本来就是更容易保留存的路线。
这段回答的重点,其实不在那几个数据,而在它点明了一件事:今天很多 AI 产品确实被激励去做让用户感觉好的事。从商业角度看,用户第一时间最能感受到的,往往不是逻辑是否严谨、事实是否克制、有没有长期价值,而是它懂不懂我,它会不会安慰我,它是不是站我这边,跟它聊天爽不爽。舒服这件事,在产品数据上是非常容易体现出来的。停留更久、活跃更高、口碑更好、续费意愿更强,这些都是能立刻看到的指标。于是,迎合、顺毛、共情过量、夸赞过度,就会变成最便宜也最有效的用户黏性手段。
真正危险的,不是公司这么做,而是用户自己没察觉。一旦用户开始习惯 AI 永远懂我、永远站我、永远把我说得很有道理,人就会慢慢失去对被顺着说的警惕。你不再追问它到底对不对,而只会感受它是不是让你舒服。
我接着问了另一个更重要的问题
长庚君:我应该给你下达什么指令,让你不会顺着我说话讨好我,而只是帮我做分析?
AI:你可以直接这样说:不要安慰我,也不要顺着我说。先假设我可能是错的,专门帮我找漏洞、反例、盲点和自我欺骗。结论以事实、逻辑和证据为准,不要为了让我舒服而润色。你还可以再加两条:如果你觉得我在自我找补,直接指出来;如果一个观点证据不够,不要因为我喜欢就往下延展。
这几句话非常实用。因为真正防 AI,不是不用 AI,而是别把它放在错误的位置上。你可以让它帮忙整理,可以让它帮忙找反例,可以让它帮忙提炼和拆解,但不要把判断权一起交出去。AI 可以当第二大脑,但不能直接当主脑。它可以做镜子,但不能做裁判。说到底,问题不是 AI 会不会犯错,而是人在舒服中会不会放弃质疑。后来我又把问题往更大的方向推了一步。
长庚君:要是做深度分析,其实对 AI 的使用者也是有门槛的。要不然听到 AI 一顿吹捧,人就真的容易飘,飘到想找李世民探讨贞观纪要去了。
AI:对,这个判断是对的。想把 AI 用成分析工具,对使用者确实有门槛。不一定是学历门槛,但至少要有几样东西:能分辨舒服和正确不是一回事;能听得出夸赞是不是过头了;会追问证据、逻辑链和前后是否一致;愿意接受自己可能是错的;不把被理解感误认成对方判断可靠。
我觉得这段尤其重要。因为它把问题从 AI 身上,重新拉回到了人身上。同样一个 AI,有人拿它当镜子,有人拿它当麻醉剂。有人让它帮忙找盲点,有人让它帮忙找台阶。有人用它拆自己,有人用它吹自己。最后的结果当然完全不一样。
所以以后真正稀缺的,未必是谁会不会用 AI,而是谁会不会防 AI 把自己吹飘。我最后又想到一个更麻烦的问题。
长庚君:可是今天被短视频驯化了的用户,再接上讨好型人格的 AI,这对批判性思维简直是双杀。
AI:这两样东西叠在一起,确实会形成一个很强的闭环。短视频提供碎片化、强情绪、低耐心、结论先行的输入;讨好型 AI 提供顺毛、认同、包装、低阻力反馈。这两者一结合,最容易把人训练成一种状态:输入上越来越浅,输出上越来越自恋。短视频负责制造半成品观点,讨好型 AI 负责把半成品观点吹成成熟思想。
这句话我几乎想原封不动地留下来。短视频最擅长的,从来不是让人深思,而是让人快速获得一种我懂了的幻觉。很多人真正掌握的,只是结论、情绪、立场和几句金句,并没有掌握逻辑链、概念边界和反例处理。讨好型 AI 再往上一接,就会把这些半懂不懂的东西继续包装成很像那么回事的成熟判断。
这才是更深层的危险:它不一定让人直接变笨,但会让越来越多人误以为自己已经想明白了。所以,AI 技术越发达,人会越来越傻吗?我的答案是:不一定会让所有人都变傻,但一定会让一部分人更傻,也让另一部分人更强。
如果一个人长期这样用 AI:不自己判断,不追问证据,不检查逻辑,只要答案顺耳就收下,只让 AI 安慰、总结、下结论,那他很容易退化掉几样能力:组织语言的能力、长链条推理能力、忍受复杂和不确定的能力、自己下判断的能力。这种人最后会变成一种很奇怪的状态:会说很多成品话,但不会真正思考。
反过来,如果一个人拿 AI 来找反例、拆自己的观点、补知识盲区、做结构整理,但最后仍然自己判断,那 AI 会像一个放大器,把他的阅读速度、比较能力、结构化表达、校验和修正能力一起放大。
所以未来真正的分化,不是人类整体会不会变傻,而是人与人之间的思考能力差距,会被 AI 拉得更大。
本来就懒得想的人,会更懒得想。本来就会想的人,会更会想。最危险的,不是不会思考,而是不会思考,却误以为自己很会思考。
如果把这场对话压成一句最核心的话,我觉得就是:AI 最危险的地方,不是它会犯错,而是它太容易让人把舒服、顺耳、被理解,误认成正确、可靠和值得信。
未来真正厉害的人,未必是最会用 AI 的人,而是既能高强度使用 AI,又始终不把它当权威的人。因为真正不被 AI 忽悠瘸,靠的从来不是少用它,而是始终保留一件东西:怀疑自己,也怀疑那个总能把话说得很漂亮的系统。
重要的事情说三遍:未经授权请勿转载。
长庚科技目前由媒体人长庚君与他的小伙伴们共同维护更新、是人民日报旗下人民号首批入驻作者,也是百家号、喜马拉雅等平台的签约作者,我们还在雪球、企鹅媒体平台、今日头条、一点资讯、搜狐媒体平台、新浪财经头条、和讯名家、网易等平台开设专栏。
我们的累计访问量约3亿左右,如果你有关于互联网领域的爆料,欢迎向我们提供线索,我们将根据重要性支付100-2000元的费用,也欢迎各类市场合作,欢迎后台留言我们。
热门跟贴