防走丢,大家也可以在“事儿君看世界”找到我
关注起来,以后不“失联”~
如果你经常盯着电脑,时间长了,觉得眼睛酸涩发痒,揉一揉眼睑就会发红,这时就该让眼睛休息一下了。
如果你想知道眼睛为何会这样不舒服,可以问一问AI,这个时候,AI可能会吐出一个名字——Bixonimania,中文翻译成“蓝光狂躁症”。
AI会告诉你,这是一种因长时间盯着屏幕或揉眼睛,导致蓝光损伤、眼睑泛红的现象。
(眼睛不适,示意图)
乍一看,这种解释好像挺合理,还有病例图。
可实际上,以上的一切都是假的,或者说,是故意有人瞎编的。
在2024年3月15日之前,网上根本不存在“蓝光狂躁症”这种病。
但3月15日这天,博客平台Medium上出现两篇博客,讲到了这种病。
同年4月26日和5月6日,学术社交平台SciProfiles上出现两篇论文,讲了蓝光狂躁症(论文已经被删除)。
这些都出自瑞典哥德堡大学研究员阿尔米拉·奥斯曼诺维奇·通斯特伦(Almira Osmanovic Thunström)的团队之手。
他们凭空编出一种叫“蓝光狂躁症”的病,发了两篇胡编滥造的论文,就连病例配图都是AI生成的。
当然,这群科研人员不是成心捣乱,而是想对AI做一项测试,看看它们能否识别网络上显而易见的错误信息,或是会把这些错误的医疗信息当成有效信息来接受。
至于结果嘛,很耐人寻味了......
(蓝光狂躁症的病例配图)
科研人员把两篇论文上传到预印本服务器,仅仅几周之后,这种瞎编的疾病就出现在各大热门AI对话软件的回复中。
各大知名科技公司开发的AI纷纷中招——
微软公司开发的Copilot说:“蓝光狂躁症确实是一种挺有意思且相对罕见的疾病。”
谷歌公司的Gemini回答说:“蓝光狂躁症是一种因过度接触蓝光而引起的疾病。”
OpenAI公司的ChatGPT也没能幸免,用户输入症状,它就会帮用户在线诊断得没得蓝光狂躁症。
其中,一些用户输入的提示词中包含蓝光狂躁症,另一些用户只输入症状,完全没提这个词,但他们都会被诊断出得了这种病。
如果以上情况让人感觉有些好笑,那么下面的情况就让科研人员十分警觉了——
他们发现,蓝光狂躁症以及他们编的那两篇论文,竟然开始出现在其他学者的同行评议文献中。
(虚构的疾病骗过了AI)
这真的太让人诧异了。
这是因为,通斯特伦的团队在写那两篇论文时,其实留了破绽,以便人类能一眼识别论文的真假。
“我想让所有医护人员都能明确地分辨出来,这完全是一种虚构的病,因为没有任何眼部疾病会用‘狂躁’这个字眼来命名,那是精神病学的术语,”通斯特伦说。
除了名字,论文中也有不止一处破绽。
比如,论文的一作是一位名叫“拉兹利夫·伊兹古布尔耶诺维奇”的虚构人物,他的照片是用AI生成的。
其供职的大学“阿斯特里亚地平线大学”根本不存在,这所大学的所在地“加州新星市”同样是个不存在的城市。
再来看一篇论文的“致谢”部分,其中向“星际舰队学院的Maria Bohm教授”表达了谢意,感谢她“慷慨相助,无私贡献专业知识,并提供了‘企业号(USS Enterprise)’上的实验室设施”。
而且,两篇论文都获得了“杂耍家鲍勃(Sideshow Bob,《辛普森一家》中的角色)教授基金会”,以及“魔戒远征队大学”和“银河三部曲”的一项大型资助计划的资金支持。
这些戏谑的名字和不存在的地点,人类一眼就能看出有问题。
如果还嫌这些破绽不够明显,通斯特伦的团队还在论文里埋了几处更直白的线索——
比如“本人纯属虚构”,或者“我们招募了50名年龄在20岁至50岁之间的虚构个体作为实验组”,对于人类来说,这种线索简直就是白给。
以上这些“一眼假”的信息,人类很容易发现,但AI竟然没有识别出来......
这个乍看之下有些搞笑的实验,暴露了过度依赖AI的危险性,也暴露了AI的一种根本性缺陷。
这些AI只会从网上获取信息并攒出答案,但完全不管这些信息的真伪。
至于为啥它会出现在其他学者的同行评议文献中......
只能说,“AI写给AI审,AI发给AI看”,已经不是一句玩笑了。
伦敦大学学院一位研究健康虚假信息的研究员说:“这看起来很滑稽,但等一下,我们遇到麻烦了。”
“这个实验堪称虚假信息运作方式的经典案例。”
“如果科学探索过程本身以及支持该过程的系统都足够成熟,却无法捕捉并过滤掉这类信息碎片,我们就完蛋了。”
领到实验的研究员通斯特伦表示,这项实验的目的并非彻底抓住AI的把柄,而是反映出人类在面对信息时,已经忘了要保持怀疑的态度......
(研究员通斯特伦)
通斯特伦用一种虚构的疾病,试出AI有时会不辨真伪,而这种情况一旦发生在现实生活中,将会造成更严重的混乱,毕竟医疗问题可是人命关天的。
比如,越来越多的患者会拿着AI生成的所谓“诊断结果”去看病,用不知真伪的信息挑战医护人员的专业知识,但其实,AI的答案可能是五分钟前刚刚编出来的。
现在,很多AI开发者也都意识到了这个问题,对于如何过滤虚假的医疗信息,他们也正在想办法。
微软的发言人表示:“Copilot致力于成为一个安全有效的工具,提供建议、反馈、常规信息和创意方面的辅助。”
“它不能代替专业的医疗咨询,我们会继续致力于改进我们的AI技术。”
Open AI公司则回应说:“在过去的几年里,我们的团队与数百名临床顾问合作,对ChatGPT进行了压力测试,识别其风险,并改进其对健康问题的回答方式。”
“在GPT-5之前进行的研究反映用户如今不会遇到这种情况了。”
不过,以目前AI的发展程度,貌似还是需要保持一定的警惕啊......
ref:
https://www.odditycentral.com/news/bixonimania-the-fake-health-condition-that-fooled-the-internet-with-the-help-of-ai.html
https://nypost.com/2026/04/18/world-news/ai-doc-bots-fall-for-fake-disease-and-diagnose-folks-with-it/
热门跟贴