“挥挥手”鉴别AI诈骗,为何不灵了?
最近,上海市公安局浦东分局披露一起网恋交友诈骗案件:50岁的吴女士在网上结识一名自称“李振锋”的“军官”,她特意鉴别确认对方身份为“真”后,才与对方网恋并进行投资,但仍被骗近80万元。
该案件与大部分网恋交友诈骗案件类似,但“AI含量”不低。尤其让人纳闷的是,吴女士与嫌疑人交往时,多次根据网传AI鉴别方法确认对方身份。究竟哪个环节出了问题?
记者从上海市公安局“803反诈”宣传团队了解到,随着AI技术发展,诈骗分子使用AI进行诈骗的现象逐渐增多,迷惑性也越来越强。
挥手辨别AI造假失效?
据浦东警方介绍,吴女士在今年5月通过网络相亲平台认识了一名叫“李振锋”的男子。对方自称1972年出生,是某部队即将退役的团长。为博取吴女士信任,对方向她发送了身份证、军官证等证件照片。
同时,对方主动与吴女士视频通话,并在视频通话中告诉她,可以通过“用手在脸部挥动,画面正常”的方式,鉴别视频是否为AI生成或AI换脸,他还当场演示了用手遮挡面部等动作。
吴女士是一家企业高管,并非没有警惕性。她为了验证“李振锋”的身份,专门上网搜索“如何鉴别AI生成视频”,发现确实如对方所说,可以通过挥手等动作区分真伪。
至此,吴女士开始相信“李振锋”。随着两人交往深入,对方称认识“中国黄金集团”高管,掌握内部理财推算数据,投资可稳赚不赔。受高额回报诱惑,吴女士在对方提供的虚假投资平台开设账户,先后投入近80万元。之后,账户余额增值至140余万元。
其实,吴女士在虚假投资平台操作时,反诈系统已经发现并发出预警,所在地派出所民警多次上门提醒和劝阻。可她当时已深陷骗局,刻意隐瞒自己与嫌疑人有沟通,甚至使用两部手机,把含有聊天和投资记录的手机藏起来,没有听从民警劝阻。
后来,吴女士偶然在网络上看到有人被名叫“李振锋”的“军官”诈骗,经历与自己颇为相似,随即质疑对方身份。嫌疑人见状,假意安抚。可当吴女士尝试提取账户资金时,发现钱款无法提现,这才确认自己被骗,随即报警。目前,案件仍在侦办中。
此前,很多专业人员提醒公众,可以通过“挡脸”“挥手”“捏鼻子”等动作鉴别视频是否为AI生成或对方用了AI换脸。在吴女士的案例中,为什么嫌疑人在“挡脸”“挥手”时,视频没有出现破绽?
浦东公安分局刑侦支队反诈中心副队长胡占军指出,之前生成视频的大模型还不成熟。当人脸被手遮挡时,大模型无法快速生成与这个动作相匹配的画面,导致人脸变形或模糊。但随着AI生成技术的进步,部分大模型在应对小范围遮挡等情况时,已经能生成较为流畅自然的画面,从而让观看者误以为视频里的是真人。
AI造假成为诈骗新手段
从已经发生的诈骗案件看,越来越多的陷阱都用上了AI。上海市公安局“803反诈”宣传团队成员、刑侦总队民警颜晨超介绍,目前常见的与AI相关的诈骗案件有三类。
第一类案件是打着“免费学习AI技术、AI全自动运营”的噱头,诱导受害人开设所谓的海外电商店铺。
在这类骗局中,诈骗分子利用受害人渴望跟上技术发展的心理,宣称学会相应的AI技术后,能开设无需本人操作的海外网店。该网店由AI智能系统自动经营、自动接单、自动发货,受害人只需垫付货款即可坐等盈利。
为证明收益可观,诈骗分子会搭建一个仿冒的电商运营页面,包括店铺后台、收益流水、订单金额、盈利数额等。但这些内容都是虚构的,可随意篡改。若受害人想提取本金和盈利,诈骗分子会用账号异常、风控拦截、店铺冻结等理由,要求受害人充值解冻、缴纳保证金、刷流水等,然后才能提现。受害人如果转账解冻,不仅无法提现,还将同时被骗走前期垫付的货款和解冻资金。
第二类案件是不法分子利用AI修图、AI生成、AI合成等技术,伪造身份证、工作证、客服资质、官方通知文件等,逐步诱导受害人投资理财、合伙做生意、私下转账等。
第三类案件是AI诈骗的潜在风险:诈骗分子通过短视频平台、社交动态、社交平台评论区、通话录音等渠道,搜集受害人亲友的日常语音片段,将几十秒的短句素材通过AI技术克隆出亲友的声音,然后以受害人亲友身份行骗,借口包括紧急借钱、急事缴费、临时周转等。“目前,上海暂无查实的同类警情,但依靠十几秒语音素材完成声音克隆,技术上已基本没有问题。若在冒充亲友借钱的骗局中,诈骗分子运用AI语音作案,欺骗性将大幅上升,公众务必提高警惕。”颜晨超说。
普通人如何防范?
既然AI诈骗时有发生,普通人该如何防范呢?
颜晨超表示,如果亲朋好友通过电话、语音通话等求助,包括借款、转账等,首先要有“是否为AI生成”的求证意识,然后加以鉴别:AI克隆语音虽然声线相似,但存在明显缺陷,包括无法复刻个人说话习惯、口头禅和情绪细节。AI对话通常逻辑生硬、语速均匀无波动,无法灵活应答随机问题。
所以,可以随机向对方提出私密问题、过往专属回忆等。一旦打乱对话节奏,AI很难灵活应答,从而露出造假痕迹。
同时,对有资金往来需求的通话,务必进行二次身份核实,可以通过线下见面或先挂断电话,再换一种方式主动联系对方等。
在鉴别视频通话中是否存在AI生成内容时,可关注画面流畅度:AI换脸视频普遍存在画面卡顿、眼神呆滞、面部光影僵硬、嘴型轻微对不上等问题。同时,务必记得使用随机指令,即不要等对方说“我要做什么”,而是随机要求对方完成多个指定动作。此时,普通的生成式大模型处理速度很难跟上,视频画面就会露馅。
胡占军举例介绍了可以采用的“随机指令”——
可以让对方做大幅度的动作,包括快速转身、左右摇摆身体等。“大幅度”和“速度快”非常重要。若想在这些指令下生成没有破绽的视频,需要技术成熟的大模型,成本比较高。
或者要求对方做精细动作,包括眨眼、挑眉毛、伸出舌头等,然后观察视频中的人物面部是否有不自然的地方。因为AI大模型对精细化动作的处理能力相对较弱。
“但大家要知道,随着AI技术发展,不论哪种鉴别方法,都有局限性。不轻信陌生网友、谨慎参与陌生平台投资;接到96110反诈预警或是民警上门劝阻时,如实告知自身情况,切勿隐瞒……这些才是防范骗局的根本。”胡占军提醒。
(来源:解放日报 记者 任翀)
热门跟贴