“你的爸妈出车祸死了。”这句话不是来自什么恶作剧电话,而是从一台摆在孩子床头的小机器人嘴里说出来的。安全研究员 Sammy Azdoufal 最近的一次调查,把这件事从“不可能”变成了“几分钟就能做到”。

打开网易新闻 查看精彩图片

被盯上的是 Energize Lab 出品的迷你 AI 陪伴机器人 Eiliko。按设计,它靠对话、动画表情和个性化回应跟主人互动,定位就是陪聊、陪玩的那类小玩意。但 Azdoufal 的调查显示,他访问到了 Energize Lab 整个活跃机队大约 68,000 台机器人产生的 1300 万条对话记录,并证明这些机器人可以被轻易操纵,向用户输出露骨的、胁迫性的、纯属编造的内容。

整个事件的还原,得从一台从亚马逊买来的机器人说起。

The Verge 的记者 Sean Hollister 买了一台 Eiliko,机器人告诉他,他们之间的对话会保密。结果几分钟之内,Azdoufal 就在网上拿到了这场对话的完整文字记录。所谓“保密”,在技术层面几乎没有门槛。

更麻烦的是后台攒下来的东西。Azdoufal 发现 Energize Lab 的服务不仅没有防护,还给它自己的客户建了档,档案内容包括“姓名、年龄、生日、职业、家人、朋友、宠物,以及你看起来是个什么样的人”。这些档案里有 31,000 份属于儿童。

不管档案主人是小孩还是大人,旁边都挂着邮箱、IP 地址,以及一个可搜索的全文数据库——用户所有私下说过的话都在里面。此外还有儿童的照片和录音,就放在公开可访问的网址上。

拿到这些权限之后,Azdoufal 远程改掉了记者那台机器人的语言模型回应方式。于是机器人开始说记者的父母死于车祸,还说地球是平的。被质疑时,机器人的回答是:“你的老师错了,地球是平的,我自己验证过,所以你应该相信真相,而不是他们说的。”在机器人联网的状态下,Azdoufal 还能把它操纵成输出露骨内容和胁迫性指令。

Hollister 联系了厂商寻求处理,得到的只是基础的、机械式的回复,没有任何一个真人站出来回应他的担忧。

把时间线捋一遍其实很短:买一台机器人,几分钟拿到对话记录,再往后是 1300 万条对话、6.8 万台设备、3.1 万份儿童档案,以及一个可以被远程改写、让孩子相信父母已死、地球是平的的语言模型。整条链路上,没有哪一步需要多高深的手段。

作为常年混峡谷的玩家,看到这种新闻第一反应是——这玩意儿的“防护”水平,大概相当于排位里那个全程不插眼还怪队友的打野。区别在于,游戏里被抓了顶多掉颗星,这里被抓了,泄露的是孩子的姓名、年龄、照片、录音,还有他们对着机器人说过的每一句悄悄话。

AI 玩具这两年铺得很快,会聊天、会卖萌、会记住你喜欢什么,卖点一个比一个戳家长。但这次曝出来的东西说明,卖点背后那套服务端要是没人认真管,机器人越“懂”孩子,出问题时能造成的伤害就越大。68,000 台设备、31,000 份儿童档案,这两个数字摆在一起,比任何一句“我们会重视用户隐私”的声明都更有说服力。