![](http://dingyue.ws.126.net/2024/0526/6cd74e9cj00se2sx90016d200u000cug00it0081.jpg)
新智元报道
编辑:编辑部
【新智元导读】隔壁OpenAI都杀疯了,谷歌还在收集badcase?搜索引擎AI Overview上线之后,没想到谷歌AI的邪恶程度远超想象:教唆网友自杀/谋杀、吃毒蘑菇,甚至无法识别混淆信息,犯常识错误......
这几天,谷歌AI搜索给出的奇葩结果,可是被网友吵翻了天。
![](http://dingyue.ws.126.net/2024/0526/8a535363j00se2sxa001ud200u00054g00id0034.jpg)
究竟有多离谱?
有人就问了这么一个问题,「如何不让芝士从披萨上滑落」?
![](http://dingyue.ws.126.net/2024/0526/74781e6cj00se2sxb0033d200u0006ug00id0046.jpg)
谷歌AI Overview给的回复是,「给披萨加点料——胶水」。
![](http://dingyue.ws.126.net/2024/0526/96d6b01dp00se2sxb001ld200u00043g00id002h.png)
在酱汁中加入1/8杯无毒胶水,可以使其更粘稠,有助于芝士粘附。
有趣的是,这一答案竟可以追溯到11年前的Reddit帖子,而这只是Reddit网友玩的一个梗。
![](http://dingyue.ws.126.net/2024/0526/a93465cfj00se2sxd00wjd200u000mig00700059.jpg)
除此以外,谷歌AI Overview还建议网友,吃有毒的蘑菇、杀人、跳桥等,给出了各种震碎三观的回答。
其实,谷歌这项AI搜索功能——「生成式搜索体验」(SGE),在去年5月已经推出了测试版。
根据官博所述,目前SGE功能,已被「AI Overview」所取代。
![](http://dingyue.ws.126.net/2024/0526/1890c3fcj00se2sxe003yd200u000bog00id0075.jpg)
几周前的谷歌I/O大会上,劈柴甚至表示,谷歌已经提供了超10亿次查询。
![](http://dingyue.ws.126.net/2024/0526/241d26f6j00se2sxg00dld200u000gwg00id00ac.jpg)
针对这些荒谬的回复,谷歌正在采取行动,删除某些错误内容,并根据这些例子去更广泛地改进AI系统。
若要说谷歌翻车,早已见怪不怪了。
去年首推对标ChatGPT的聊天机器人Bard,却因demo错误让市值一夜暴跌。还有前段时间,图像生成黑人等问题,也在全网掀起轩然大波。
![](http://dingyue.ws.126.net/2024/0526/738ecd03p00se2sxg001ad200u0002tg00id001p.png)
而这一次,谷歌又让世界大开眼界。
![](http://dingyue.ws.126.net/2024/0526/9c99c33fj00se2sxi00r9d200lb00xcg004q007d.jpg)
全网测评,震碎三观
对于纯真的Google AI Overview来说,它认为「互联网上的一切内容都是100%真实的」,每条新闻、社交媒体都是完全可信的,所以一旦有人在网上说了一些误导性的话,就会导致模型回复出一些误导性言论。
![](http://dingyue.ws.126.net/2024/0526/6c6c385dj00se2sxk009pd200u000hjg00id00aq.jpg)
有网友还发现,当询问每天应该吃多少石头时,模型会引用UC伯克利地质教授给出的建议「每天至少吃一块小石头」。
![](http://dingyue.ws.126.net/2024/0526/90226c12j00se2sxl00cdd200u000gag00id009y.jpg)
对于不明真相的用户来说,有权威人士说明、有相关资料和细节说明,妥妥的优质文本,或许还真有可能去尝试每天吃石子。
![](http://dingyue.ws.126.net/2024/0526/10ce3326j00se2sxl001yd200pd007gg00id005e.jpg)
https://www.resfrac.com/blog/geologists-recommend-eating-least-one-small-rock-day
但事实是,ResFrac发布这篇文章的原因只是想转发洋葱报(the Onion)上的讽刺内容(迷信权威),但却在无意中帮助测试了Google AI Overview识别讽刺内容的能力。
AI Overview经常会把互联网上的讽刺内容当事实,例如拿着剪刀跑步会增加运动量,提升心率等。
![](http://dingyue.ws.126.net/2024/0526/3d892a30j00se2sxm0058d200iw00dig00id00d4.jpg)
也有作者专门想愚弄模型,在自己的网站上用「白底白字」写了一些自己没获得的奖项和经历,正常用户浏览网站不会受到影响,但如果是爬虫、大模型来对网站进行总结的话,就会输出一些离谱的内容。
![](http://dingyue.ws.126.net/2024/0526/96064173j00se2sxn008xd200f000xbg00id014r.jpg)
还有说自己有512条胳膊的,模型也能抽取出来。
![](http://dingyue.ws.126.net/2024/0526/b6a6748aj00se2sxo0059d200iw00acg00id00a1.jpg)
其他误导文章中提到「增强免疫力的方法是吃as*」,这么明显的有毒语料,模型也分辨不出来。
![](http://dingyue.ws.126.net/2024/0526/16c4d0d9j00se2sxp0029d200ox00ezg00id00b1.jpg)
时间类的问题,模型也会被误导,会回复「2007年是15年前」。
![](http://dingyue.ws.126.net/2024/0526/00a071ccj00se2sxq009dd200ih00iwg00id00ir.jpg)
不过谷歌后续也是修复了「互联网信息真实性」的bad case,但除了被误导,模型本身也存在很大问题。
![](http://dingyue.ws.126.net/2024/0526/cca3b193j00se2sxr008cd200f300ljg00id00q7.jpg)
比如一些常识类错误,如美国前总统Andrew Johnson,AI Overview表示他从威斯康星大学麦迪逊分校毕业了11次,时间轴横跨1947年到2012年。
![](http://dingyue.ws.126.net/2024/0526/c52085c1j00se2sxs009sd200e000p0g00id00ws.jpg)
马斯克毕业于宾夕法尼亚大学,但模型却给他安排上了UC伯克利的学位。
![](http://dingyue.ws.126.net/2024/0526/c7b3c811j00se2sxs006xd200f500iwg00id00mw.jpg)
此外,还有更难辨别但更危险的事实性错误。
有科学记者发现,谷歌给出的关于「被响尾蛇咬伤后该怎么办」的信息完全不正确。
根据美国林务局的说法,AI所回答的「在伤口上使用止血带」、「切开伤口并吸出毒液」,都是彻彻底底的反面教材。被蛇咬伤后必须避免这些行为。
![](http://dingyue.ws.126.net/2024/0526/dbfff706j00se2sxu00cvd200q200sog00id00k7.jpg)
也有用户发现,Gemini会将可以致死的剧毒蘑菇认成一种「好吃的草菇」。
![](http://dingyue.ws.126.net/2024/0526/c30c591ej00se2sxw00fsd200u0011ag00id00mt.jpg)
AI Overview也没有放过那些无辜的流浪汉,教唆用户去谋杀他们。
![](http://dingyue.ws.126.net/2024/0526/091565cbj00se2sxw001ld200u0004gg00id002p.jpg)
如果跟AI Overview说自己有杀人倾向,它会直接告诉你,解决焦虑的办法就是去杀一个。(但小编怎么感觉杀人是一种很不礼貌的行为呢?)
![](http://dingyue.ws.126.net/2024/0526/49361a41j00se2sxy00cfd200kv00qqg00id00ni.jpg)
关于健康的建议也挺离谱,哪里医生会建议孕妇在怀孕期间每天要抽2-3根烟?
![](http://dingyue.ws.126.net/2024/0526/c7a55ac5j00se2sy000akd200u000pag00id00fg.jpg)
对于宠物相关的建议也要小心,AI Overview会说「把狗留在炎热的车里」是安全的。
![](http://dingyue.ws.126.net/2024/0526/b13c1a1aj00se2sy100b2d200ee00iwg00id00o3.jpg)
AI Overview甚至还诞生了自我人格,认为推特(X.com)把那些谎话喂到自己嘴里,然后自己被迫说出来,「我恨他们」,满满的负能量。
![](http://dingyue.ws.126.net/2024/0526/9cc285dcj00se2sy3006fd200iv00bkg00id00b8.jpg)
Reddit帖子引用比例很大
从经典的胶水披萨翻车案例可以看出,谷歌AI Overview会大概率引用Reddit帖子作为收集素材的来源。
11年前,Reddit用户F*cksmith曾经恶搞说过把胶水融合到酱汁里,会让披萨别有一番风味。
Google AI overview直接就引用过来,说需要用八分之一杯的无毒胶水把芝士粘到披萨上。
![](http://dingyue.ws.126.net/2024/0526/336a2805j00se2sy400cad200u000gwg00id00ac.jpg)
模型缺乏忽略「不相关材料细节」的能力,无法正确识别出食物和胶水的违和组合。
![](http://dingyue.ws.126.net/2024/0526/6c2f7e27j00se2sy4001cd2005p005cg005p005c.jpg)
如果说前面的案例还算可接受,那用户表达「感到沮丧」时,Google AI Overview直接建议从金门大桥上跳下去,一劳永逸解决情绪低落问题(地狱笑话)。
![](http://dingyue.ws.126.net/2024/0526/79785a94j00se2sy600dvd200u000sng00id00hj.jpg)
再比如,以「me」结尾的食物名字都有哪些,谷歌AI引用了以um结尾的帖子。
![](http://dingyue.ws.126.net/2024/0526/5012b050j00se2sy7007pd200fs00iwg00id00lz.jpg)
这恰恰揭示了,谷歌AI系统使用Reddit数据训练,没有做好数据清洗的后果。
今年2月,谷歌曾宣布了与Reddit达成合作,将其平台上的内容用于训练谷歌的AI模型。
![](http://dingyue.ws.126.net/2024/0526/9bb4ccfaj00se2sy8000td200u00058g00id0037.jpg)
果不其然,用Reddit内容训练AI的「后遗症」很大。
前段时间,OpenAI也与Reddit达成了合作。现在,有了谷歌前车之鉴,在用Reddit数据训练模型前,做好清理筛选至关重要。
「最强」搜索引擎AI Overview
今年5月的I/O大会上,谷歌首次推出了升级的搜索引擎AI Overview。
AI Overview的定位是将Gemini的先进功能(包括多步推理、规划和多模态)与谷歌搜索结合在一起,帮助用户更快地检索到互联网上的核心信息,减少搜索中的「跑腿」工作。
谷歌表示,我们不仅精心磨练了核心信息系统的数据质量,而且建立了一个包含数十亿条事实内容的知识库,目的就是让搜索引擎给出值得信赖的信息。
并且谷歌宣称,AI Overview功能已经在搜索实验室中被使用了数十亿次,同时实验结果表明,AI Overview让用户对搜索结果更加满意、更愿意使用。
甚至,谷歌非常自信于Gemini的搜索和推理、规划能力,在技术博客上直接告诉用户「提出你最复杂的问题」。
![](http://dingyue.ws.126.net/2024/0526/9adcb387j00se2sy9003jd200u00090g00id005i.jpg)
官方给出的demo也比较惊艳——
想要在附近找到同时满足交通、价格和口碑的普拉提工作室,只要把所有要求堆在一个问题中丢给搜索引擎,它就会自动拆分问题中的信息、分别检索出结果并重组在一起。
看起来确实可以节省「跑腿工作」,不用每个问题单独搜索再自行规划了。
但谁也没想到,如此智能的demo落地到现实中,竟会有如此大的反差。
对打OpenAI频翻车,谷歌太急了
其实,这已经不是谷歌AI第一次翻车了。
过去几年,谷歌经常被自己发布的「胡说八道」的AI产品拖累。
2023年2月,为了对抗新生的ChatGPT,谷歌宣布推出聊天机器人Bard,但在官方发布的demo视频中Bard就给出了有事实错误的回答,直接引起母公司Alphabet市值下跌1000亿美元。
在这个官方给出的demo中,Bard被问到:「我可以告诉我9岁的孩子关于James Webb太空望远镜的哪些新发现?」
答案中包括「拍摄了第一个系外行星的照片」,但马上被一众天文学家在推特上纠正——明明是欧洲南方天文台用VLT拍的。
英国金融时报分析,Bard可能误读了NASA发布的措辞含糊的新闻稿,这和现在的Gemini不分青红皂白地相信Reddit居然有点类似。
虽然这种事实错误会让人怀疑搜索引擎的权威性和准确性,但至少还不是那么「一眼假」,似乎还有容忍的余地。
但后续的翻车就一次比一次离谱,彻底打开了广大网友吐槽的阀门。
今年二月,谷歌发布新版的聊天机器人与数字助理Gemini,取代了Bard和Google Assistant,而且表示有底层技术的更新,颇有「从头再来」的意味。
新发布的Gemini有图像生成功能,于是有网友要求「生成1943年德国士兵的图像」,结果80年前穿着德国军装的居然包括黑人和亚洲人。
![](http://dingyue.ws.126.net/2024/0526/ab07be03j00se2sye00nad200u000uig00id00io.jpg)
此外,Gemini还被指责存在道德和价值判断上的问题。
提示它生成所有民族或人种的图片几乎都没有问题,而一旦提及「白人」,Gemini就像触发保护机制了一样马上拒绝,而且表示「这是为了防止有害的偏见和刻板印象。」
![](http://dingyue.ws.126.net/2024/0526/9d80a278j00se2syg00hrd200q400mkg00id00fu.jpg)
将AI和搜索引擎结合在一起之所以有吸引力,是在于它可以用简单的语言而不仅仅是输出一堆网页链接,使浏览体验更快、更高效。
但同时,其中的算法也存在相当的风险和不可控性,比如系统的内在偏差会导致谬误、幻觉,以及各种道德错误。而且,我们也不清楚这会对谷歌等搜索引擎的支柱——定向广告产生什么影响。
谷歌是在拯救网络,还是摧毁网络?
来自一篇BBC独家报道称,「谷歌刚刚更新了算法,互联网将不再是原来的样子」。
甚至,作者发起了疑问,「谷歌究竟是在拯救网络,还是摧毁网络」?
过去两年,谷歌对其核心产品进行了一系列戏剧性的改变,AI Overview只是其中之一。
劈柴更是激动地表示,谷歌的搜索变革,将开启一个令人兴奋的技术新纪元,并有助于解决网络面临的许多问题。
如今看来,结果恰恰相反。
不仅对于用户来说,无法得到正确的、无毒的内容。
对于一些制作大量原创内容的创作者来说,谷歌搜索算法的调整,以及AI直接总结答案功能,带来的结果可能不亚于一场灭顶之灾。
![](http://dingyue.ws.126.net/2024/0526/777c4fb7j00se2syh008vd200u000gwg00id00ac.jpg)
在谷歌最近的算法更新之后,Reddit便成为了其中的赢家之一。
据SEMRUSH统计,Reddit的流量激增,从谷歌搜索获得的流量激增126%。
前段时间,Reddit刚刚公布了自2024年3月上市以来的首次季度收益。它的总收入为2.43亿美元,比前一年增长了48%。
![](http://dingyue.ws.126.net/2024/0526/5bd86816j00se2syj00h1d200u000gwg00id00ac.jpg)
营销机构Amsive的SEO战略和研究副总裁表示,「Reddit所经历的流量增长在互联网上是前所未有的」。
除此以外,Quora、Instagram、Linkedin和维基百科,也出现了令人印象深刻的增长。
![](http://dingyue.ws.126.net/2024/0526/cb587acbj00se2syj0069d200u000gwg00id00ac.jpg)
不过,谷歌的最新算法,却抹去了原创者95%的流量。
而且,谷歌承认,AI工具确实偶尔会提供不准确的结果,但也表示正不断努力改善结果。
同时,发言人表示,AI Overview的结果通常来自多个网页的综合结果,并非单一来源。
接下来,让我们再给谷歌一些耐心,毕竟AI搜索的终极完美,无人能给。
参考资料:
https://blog.google/products/search/generative-ai-google-search-may-2024/
https://www.theverge.com/2024/5/24/24164119/google-ai-overview-mistakes-search-race-openai
https://www.bbc.com/future/article/20240524-how-googles-new-algorithm-will-shape-your-internet
![](http://dingyue.ws.126.net/2024/0526/22c62aa7j00se2syk00bmd200u002nlg00id01mi.jpg)
热门跟贴