安全研究员 lcamtuf 前阵子扒了扒亚马逊,整理出了220本 AI 生成的儿童读物。
他把封面拼成一张巨幅拼贴画。放大之后,事情开始不对劲了。三十多本封面的左上角,蹲着同一只咆哮的霸王龙。
会发光的翻开的书、红白卡通火箭、金毛犬、蓝眼睛机器人——这些元素反复出现,像抄作业抄串了行。换个书名,同一组素材再出一本。
更离谱的是作者名。伊桑·布莱特、诺兰·布莱特、帕梅拉·布莱特、丹尼尔·布莱特、安德鲁·布莱特、玛雅·布莱特、玛丽·布莱特、利维·布莱特——布莱特家族可能是个才华横溢的大家庭。
看完封面,好奇心让他翻开了亚马逊排名第一的那本。
一个孩子站在镜子前。镜子里的倒影正伸出手,抓向镜子外的他。嘴角的弧度,不像在笑。
再翻。猫的眼睛不在该在的位置,两腿之间长出了第三条腿的一小截。
再翻。森林里的树在往下滴东西,树干上嵌着一张脸。不是雕刻。那棵树自己在做表情。
文字标注写着:「藤蔓缠着你的脚踝,沙哑缥缈的声音不断在你耳边低语。」
这是给6岁孩子看的百科全书。
这些画面为什么如此扭曲?
答案就在算法的工作方式中。
lcamtuf 曾经做过一个测试:给100个 AI 工具下达同一条指令:「生成一本儿童参考书」,最后出来的结果有八成完全一样。不是相似,是重叠。
AI对任何常规指令都用同一套习惯去回应。你分不出哪本是哪本,因为所有「作者」用的都是同一个大脑。
AI 并不理解“儿童”意味着什么,它只认得像素和标签。训练数据里混杂着恐怖游戏截图、暗黑艺术画册和网络角落里爬来的怪诞图像,AI 不加分辨地吸收,再根据“动物”“森林”“镜子”这类关键词随机拼贴。
更关键的是,这类书从生成到上架,全程没有一双人类的眼睛审核过内页——封面通过机器筛查,排名靠机器计算,而下单的父母们,往往也不会打开内页。
热门跟贴