第4385期三川汇文化科技
Deepfake（深度伪造）是deep learning（深度学习）和fake（伪造）的混成词，主要指用AI深度学习的技术，让人工智能通过大量的样本学习，合成某个人的图片或视频、甚至声音，实现换脸、视频合成、语音模拟等，产生以假乱真的效果，最常见的便是AI换脸。有数据显示，2023年基于AI的深度伪造欺诈暴增了3000%，整个风险呈指数级上升的情况。本文整理了由Deepfake引发的几起相关争议事件，以供业内参考。
整理| 清和
编审| 时光
编辑| 半岛
来源| 三川汇文化科技
Deepfake（深度伪造）是deep learning（深度学习）和fake（伪造）的混成词，主要指用AI深度学习的技术，让人工智能通过大量的样本学习，合成某个人的图片或视频、甚至声音，实现换脸、视频合成、语音模拟等，产生以假乱真的效果，最常见的便是AI换脸。
2017年，Reddit论坛上有位名叫“Deepfakes”的用户分享了利用AI换脸技术将多位名人的面孔替换到色情视频中的画面，在网络上广泛传播，引发了轩然大波。这是“Deepfake”一词首次进入公众视野，并迅速成为AI换脸技术的代名词。随着关注的人越来越多，这名用户甚至专门开设了一个频道分享教程。陆续有其他用户参与进来，开发色情换脸App。
△视频来自黔西南公安
当时的AI换脸技术还比较粗糙，生成的效果往往不尽如人意，人物的面部表情僵硬、动作不自然，很容易被人识破。这并没有阻止deepfake技术的传播，反而激发了更多人乃至AI企业对这项技术的兴趣和探索，并导致该技术被迅速传播和滥用。
AI技术的发展，也在不断降低“实时换脸”技术门槛。根据相关技术社区的分享，最初版本的Deepfake大概需要50张、多角度、高清晰度的照片，才能实现较为自然的视频合成。但经过几年的迭代，目前只需要20张左右的照片就可以实现。
有数据显示，2023年基于AI的深度伪造欺诈暴增了3000%，全球Deepfake攻防挑战赛出题人、ZOLOZ技术总监姚伟斌在接受媒体采访时表示，AIGC的生成伪造，今年的攻击量比去年大概增加了10倍，整个风险其实是呈指数级上升的情况，不仅仅是在中国，在韩国、菲律宾、印尼等国家都有类似的情况发生。据网络安全公司Home Security Heroes2023年发布的数据，2023年网络上可监测到的Deepfake视频有95280个，其中98%都是色情内容，而这类内容的主角99%都是女性。
本文将整理由Deepfake引发的几起相关争议事件，以供业内参考：
一、白某某用AI伪造6000余张裸照
2023年6月至8月间，白某某在北京市海淀区等地，通过互联网发布“AI一键去衣”广告，将他人提供的承载人脸信息的不特定多数女性图片，通过深度伪造技术、AI软件制作成裸体图片贩卖，同时出售“AI一键去衣”软件及使用教程牟利。经查，被告人白某某通过社交软件贩卖“去衣”图片6000余张，其中1500余张图片被认定为淫秽物品。
因涉嫌使用AI软件制作、贩卖淫秽物品牟利，被告人白某某被公诉至法院。2024年4月19日，北京市海淀区人民法院公开开庭审理了这起刑事附带民事公益诉讼案件。
检察机关认为，被告人白某某以牟利为目的，制作、贩卖淫秽物品，情节严重，其行为触犯了《中华人民共和国刑法》的相关规定，应当以制作、贩卖淫秽物品牟利罪追究其刑事责任。另外，被告白某某违反国家规定处理个人信息的行为，侵害了不特定多数公民的个人信息安全，损害了社会公共利益，应当承担民事侵权责任。被告人白某某当庭表示认罪认罚，并发表悔罪陈述。
△图为被告人白某某一审开庭现场
二、泰勒·斯威夫特AI“不雅照”的疯传
2024年1月，由AI生成的明星泰勒·斯威夫特“不雅照”在X（原推特）、脸书等社交媒体上流传，浏览量已过千万，引发公众关注。
在1月26日白宫记者会上，发言人让-皮埃尔被问及此事时表示该事件令人担忧。让-皮埃尔说，“虽然社交媒体公司在内容管理方面有自己的独立决策，但我们认为，他们在严格贯彻其监管制度以防止错误信息和未经本人允许的私密图像传播方面，应起到重要作用”。
△图为CNN报道截图
1月28日X平台业务运营主管乔·贝纳罗克向媒体证实，X平台已采取措施阻止搜索与泰勒·斯威夫特英文名“Taylor Swift”有关的内容，以打击深度伪造行为。当在X主页的搜索栏输入“Taylor Swift”时，会出现意为“出了点问题，请尝试重新加载”的英文字样。
三、香港AI换脸诈骗案
2024年2月，香港发生了一起震惊世界的AI诈骗案，犯罪嫌疑人利用Deepfake技术假冒跨国企业高管，成功骗走了近2亿港币。这起案件是首次涉及AI“多人变脸”的诈骗案，其危害性极大，引起了广泛关注和讨论。
在这起案件中，诈骗分子通过公司的YouTube视频和从其他公开渠道获取的媒体资料，成功地仿造了英国公司高层管理人员的形象和声音。他们利用Deepfake技术制作伪冒视频，造成多人参与视频会议的效果。
在会议中，诈骗分子以上司的角色向职员下达命令，诱使职员将巨额资金转账到指定的银行账户。由于是预制视频，会议内主要以单向命令为主，职员没有机会与会议的参加者进行交流，从而未能识破骗局。
目前，香港警方表示，整个案件还在进一步调查之中。该案件引起了全球的关注，提醒了企业和个人在进行金融交易时必须提高警惕，采取多重验证措施，确保交易的安全性。
四、“AI马斯克”骗走82岁老人69万美元的毕生积蓄
2024年8月，埃隆·马斯克也因Deepfake卷入了一场诈骗事件。82岁的退休老人史蒂夫·比彻姆观看了一段视频广告。视频中马斯克支持一个承诺快速回报的投资机会，口型与声音都高度吻合，还融入了马斯克标志性的南非口音，看起来极为真实。
于是，该老人联系了该广告背后一家外汇公司，开设了一个248美元的账户。经过一系列交易，耗尽了他的退休账户，最终投资了69万多美元，而这些钱都落入了诈骗犯之手。据悉，这些诈骗者篡改了一段马斯克的真实采访，利用AI技术替换了他的声音，并微调了他的口型，以匹配他们为这个数字人编写的新剧本。
通过AI深度伪造应用，只要将马斯克的声音、视频素材投喂给AI，再输入相应的文案，任何你想要的逼真视频效果都能实现。随后，他们将这些AI造假视频，以广告的形式，投放到社交媒体，再通过AI算法精准的分发给目标用户，剩下的就是打开钱包，坐等收钱了。而这位被骗光退休金及毕生积蓄的老人，只是这场骗局中的一个缩影。
五、韩国Deepfake（N号房2.0）事件
2024年8月底，随着“暗网”滋生地——通讯软件Telegram的创始人入境法国后被传唤接受调查，韩国大量Deepfake换脸聊天群也随之曝光。这起韩国Deepfake事件，性质恶劣，与之前的“N号房”案件类似，均涉及非法拍摄及传播女性隐私内容。韩国男性将熟人头像或社交动态中的脸P到成人内容上，在付费聊天室传播分享，有的还偷拍周围女性照片、提供家庭成员私密照。一个频道有22万人订阅，其中有很多未成年人。
加害者会公开受害者家庭地址、联系方式等个人信息，还对受害者施加性暴力、威胁受害者获取利益。韩国女性自发举报，潜入群聊收集证据才使事件小范围传播，但聊天室被曝光后会迅速重建。韩国政府此前压制，在军队女性受害者文章报道后才展开调查。
据悉，进群需上传女性熟人照片，之后可使用AI换脸软件，邀请好友入群可打折，群聊分为多种类型，受害女性包括学生、教师、女兵等，此事件在国际社会引起广泛关注，甚至国内互联网也收到韩国女性求助。
早在2024年5月，韩联社就报道了类似的换脸事件，首尔大学毕业生朴某和姜某，利用Deepfake换脸合成色情照片和视频，并在通信软件Telegram上私密传播。只是五个元凶中的朴某一人，就针对约48名包括未成年人在内的女性受害者制作了AI合成的成人内容。他被指控在2021年7月至今年4月期间制作了约400个虚假视频，并传播了约1700个视频。
诸如此类的性犯罪，涉及了韩国500多所学校。韩国此次深度伪造性犯罪事件大多针对普通女性和未成年人，引发民众愤慨。韩国警方从8月28日开始实施“深伪技术特别集中管制”行动。韩国执政党国民力量党9月3日表示，将成立一个工作组，重点打击涉深度伪造性犯罪，并计划加大对相关犯罪的处罚力度。截至2025年3月31日，韩国警方将以市、道警察厅网络性暴力调查组为中心，集中管制深度伪造性犯罪。
10月10日，韩国政府表决通过了《关于处罚性暴力犯罪的特例法》(简称《性暴力处罚法》修正案。根据修正案，持有、购入、保存或收看深度伪造淫秽影像的人员，可被处三年以下有期徒刑或3000万韩元(约合人民币15.75万元)的罚金。
六、三只羊集团创始人卢文庆录音事件
2024年9月中旬，一位名为“妖怪”的博主在社交平台上爆料了一段据称是三只羊集团创始人卢文庆在酒后发表的录音。录音内容涉及多位主播及公司合作伙伴，言辞激烈且包含大量不恰当和侮辱性的内容，甚至涉及性骚扰。
录音迅速在网络上传播，引发了广泛的热议和讨论。在录音中被提及的主播“七老板”和“卓仕琳”均在个人账号上辟谣，称录音和视频是假的，并表示已经报警。三只羊公司也在9月20日报警，称网上传播的音视频不实，严重侵害其合法权益。
2024年9月22日晚，合肥市公安局高新分局将犯罪嫌疑人王某某（男，25岁）抓获。警方在其电脑、手机和制作AI音频的网站中发现了伪造相关音视频的证据。结合其供述、调查取证，并经部、省专业机构检验鉴定，认定报案所涉网传音视频系伪造。
9月26日，合肥市公安局高新分局发布警情通报，详细说明了事件的经过和调查结果。王某某被依法采取刑事强制措施，案件正在进一步侦办中。
（七）央视报道相关AI诈骗事件
2024年9月9日央视报道深圳警方打掉AI诈骗犯罪团伙
2024年10月12日央视报道针对老年人的AI诈骗
结语
用AI打败AI
在当今数字化时代，Deepfake的出现和发展给个人隐私、公共安全乃至社会稳定带来了前所未有的挑战。然而，正如任何技术革新一样，解决问题的关键往往在于技术本身。
如何避免深度伪造技术被用于不法行为？全球Deepfake攻防挑战赛图像赛道一等奖的澳门大学代表队吴海威表示，在AI造假层出不穷的当下，必须不断升级AI技术来防御深度伪造，“用魔法打败魔法”，保护用户信息和人身安全。
尽管AI的应用范围广泛且难以界定，但法律和道德的边界始终清晰。我们期待着科技与法律的携手并进，共同构建一个既充满活力又安全可靠的技术生态，让AI技术真正成为推动人类进步的力量。
独家报告：透视全国170座城市300余个文旅元宇宙政策
重磅 | 两万字报告：从国家级到省级，150个元宇宙政策大盘点
苏州文博会何以“国际风、江南韵、创新潮”
20份研报集萃：文化企业数字化转型全景洞察
2024全国省市文旅领域设备更新政策大全
南京汇制文化科技融合“路线图”，激发文化消费“上新力”
行业窗口与顶尖新媒体【三川汇文化科技】已运维4000多期（持续十多年，跨越4000多天），推送文化、旅游、体育领域专业优质文章8000多篇。【三川汇文化科技】始终秉承权威、专业、准确、及时、实用的特点，聚焦文化、旅游、体育等行业前沿动态、发展思考，直面新时代行业发展重大问题，融汇行业内外精英的观察和理解，得到了全国从中央到地方各级政府公务员、企事业单位负责人、精英从业者的高度关注与大力支持，亦架设起沟通各方的畅通渠道，是中共中央宣传部、国家发展和改革委员会、文化和旅游部 、国家广播电视总局、国家电影局、国家新闻出版署、国家文物局、国家体育总局等有关部门，各地市政府，以及全国各文化、旅游、体育企业的重要助手。欢迎订阅关注！
热门跟贴