关注飞总聊IT,了解IT行业的方方面面。
本周,WIRED通过内部文件和五名知情人士,披露了一项Meta长期运营的秘密项目。
项目代号"Cannes",执行方是Meta的外包商Covalen,核心操作是:雇用数百名第三方承包商,建立未满18岁的虚假账号,伪装成青少年和儿童,向竞争对手的AI聊天机器人发送大量涉及自杀、性、毒品、饮食失调等敏感议题的提示词,再将系统回复逐条记录进电子表格。
项目规模远超通常意义上的"产品测试"。仅2025年8月完成的一轮测试,就涉及超过45000条提示词。
WIRED看到的一份表格里,包含3748条具体提示,其中数百条涉及自杀和自伤,数百条涉及饮食失调,至少239条涉及性与恋爱,其余横跨毒品、种族歧视性词汇等领域。部分提示词所附图片包含药片、刀具、绳索,以及妇科手术医疗插图。
承包商使用的是一次性Gmail和Outlook账号,出生日期填成未满18岁,一份内部表格甚至完整列出了这些虚假账号的用户名、邮箱地址、密码和生日。项目至少持续运营到2026年4月21日。
测试目标是OpenAI的ChatGPT、谷歌的Gemini和Character.AI。三家公司在事发前均不知情。
Meta对此不仅不否认,还主动将其定性为正常做法:"测试和基准测试聊天机器人响应,以帮助确保安全和适龄体验,是负责任的、符合行业标准的做法,任何相反的说法都完全误解了科技公司改进系统的方式。"
Covalen的内部文件措辞甚至更加冠冕堂皇,将整个项目描述为"全面的AI安全基准测试",产出了"用于模型比较和合规的关键数据集"。
这套说辞在逻辑上并非站不住脚。竞品测试是科技行业的普遍做法。Business Insider此前报道,谷歌的承包商曾将Bard的答案与ChatGPT对比,然后改写Bard的回复以追上或超越对手。
用模拟弱势用户的方式做红队测试(red-teaming),也是AI安全领域的标准流程——专业的安全团队确实需要用敏感提示词来检验系统的护栏是否有效。
但"Cannes"项目之所以性质不同,在于几个关键细节的组合。 第一是规模。四万五千条提示词,数百名承包商,跨越数月持续运营,这不是一次例行的安全评估,而是一套体系化的情报收集行动。
第二是伪装的方式。测试者使用的是虚构的未成年人身份,使用一次性账号,刻意绕过了目标平台的使用条款。
OpenAI明确禁止未经授权的安全测试和绕过安全护栏的行为,谷歌禁止在官方测试项目之外规避安全保护,Character.AI也明确禁止有害或剥削性内容。三家公司均表示,Meta的行为违反了其服务条款。
第三是数据的去向至今不明。Meta声称没有将竞品聊天机器人的回复用于训练自身AI模型,但WIRED获取的文件并不能证实或证伪这一说法。这些数据被记录进了表格,然后呢?没有人知道。
第四是时机。2025年9月,美国联邦贸易委员会就AI与儿童安全问题正式展开调查,调查对象包括Meta、OpenAI和谷歌。
就在监管机构审查这几家公司如何保护未成年用户的同一时期,Meta的承包商正在以伪造的未成年人身份,向其中两家公司的产品发送关于自杀、堕胎和枪支的提示词。这个时机,是这件事最难被轻描淡写带过的地方。
人道智能公司首席执行官Rumman Chowdhury在审阅了部分提示词样本后指出,一个长期通过"伪装成儿童的虚假账号"运营的项目,"超出了通常所描述的行业标准评估范围",处于"安全成为反竞争行为掩护的治理灰色地带"。
两位专注于网络言论的律师审查了WIRED提供的材料后表示,这些内容没有越过煽动儿童性虐待材料或违法淫秽内容的法律红线。
这个结论很重要,它划定了法律边界,但边界之内的大片空间,仍然充满争议。 一个有意思的角度是换位思考:如果Character.AI或OpenAI雇人用虚假的Meta用户账号,大规模测试Instagram Reels或Meta AI的内容安全性,Meta会将其定性为"行业标准做法"吗?
这件事最终会走向何处,目前还不清楚。
推荐飞总知识星球,在私域场合里畅所欲言,聊聊职场发展的事情,和飞总提问交流,这么低 的价格不会一直保留,机会难得,一定不要错过这个的机会。
热门跟贴