10分钟被骗430万风波后 AI换脸又盯上明星

作者/  IT时报记者潘少颖

编辑/  钱立富  孙妍

10分钟内被骗430万元、9秒钟被骗245万元……近日，一连串数额触目惊心的诈骗事件的发生，让众人胆战心惊。在极短的时间内能够骗走巨款，背后藏着怎样的玄机？

“眼见不一定为实”，在AI时代，这已成为一条法则。在上述的诈骗案例中，受害者均是在微信视频电话后而遭受财产损失的，受害者在视频中看到了“好友”并进行了沟通，于是非常放心地按照“好友”的要求将钱转到指定账户。

视频中所展现的“好友”，其实是“李鬼”。诈骗分子通过AI换脸、AI换声等技术，移花接木，以假乱真，冒充受害人亲朋好友，骗过受害者，达到诈骗目的。

随着AI的发展，诈骗手段越来越高科技化，诈骗成功率也越来越高。那么，被AI加持的换脸换声等技术真的那么“神”吗？魔高一尺道高一丈，对于AI诈骗，公众应该如何避免“入坑”？

9秒钟，百万元飞走

4月20日，福州市某科技公司法人代表郭先生的微信好友突然通过微信视频联系他，称其朋友在外地竞标，需要缴纳430万元保证金，而且需要公对公账户过账，想要借郭先生公司的账户走账。

“好友”要了郭先生的银行卡号，声称钱已经转到卡上。基于对好友的信任，加上已经视频聊天，郭先生没有核实钱款是否到账，就分两笔把430万元转到了对方提供的银行卡上。“从头到尾都没有和我提借钱的事情，就说会先把钱给我打过来，再让我给他朋友账户转过去，而且当时是给我打了视频的，在视频中也确认了面孔和声音，所以才放松了戒备。”郭先生说，后来他拨打了好友电话，才知道自己被骗了，整个过程不到10分钟。

这是此前“平安包头”微信公众号发布的消息。幸运的是，接到郭先生报警后，福州、包头两地警银迅速行动，成功止付拦截336.84万元，但仍有93.16万元被转移，目前正在全力追缴中。

无独有偶，今年4月，安徽安庆经开区也发生了一起类似的“冒充熟人”诈骗案，受害人何先生也是接到“微信好友”的视频电话，表示有重要事情要和何先生在QQ上说。在QQ上，“好友”希望何先生能为一个招标项目垫付资金。因为有了此前的微信视频通话，何先生立刻将对方需要的245万元打到指定账号上，直到事后拨打好友电话才得知被骗。经开公安分局反诈中心民警调查发现，诈骗分子用一段9秒钟的智能AI换脸视频佯装“熟人”，让受害人放松警惕从而实施诈骗。目前，警方已将先行追回的132万元被骗款返还给何先生，案件还在进一步侦办中。

AI换脸诈骗在全国大规模爆发了吗？一些反诈民警和专家向媒体表示，目前AI换脸诈骗的案例并不多，主要是受害者认为是朋友发来的视频，才掉进“AI换脸”的陷阱。

视频也未必能证明身份

将一张人脸特征映射到另一张人脸上，实现快速、高度逼真的换脸效果，“目前，AI换脸技术主要通过深度学习和计算机视觉技术实现。在微信视频中，犯罪分子可能会通过发送特制的视频或使用特定的换脸应用程序，将脸移花接木，以获取对方信任实施诈骗行为。”一位安全技术人员向《IT时报》记者解释。

《IT时报》记者在淘宝等平台上搜索AI换脸教程，一些店铺在产品介绍中写着“AI换脸视频+直播教程，换成别人的模样还能实时直播”，价格一般在二三十元左右。一家店铺的客服人员表示，通过软件就可以完成换脸的操作，“换脸之后，可以在直播、微信视频通话时使用，不会被看出破绽，不会掉线。”

售卖AI换脸教程的店铺通常对商品的介绍比较简单，如果购买者想要了解详细内容或者查看样本，客服人员通常会要求用户先下单。

和普通诈骗相比，AI诈骗迷惑性更强，辨识更困难。在不少业内人士看来，随着换脸技术发展，所呈现出的效果会越来越逼真，所以大家需要警醒，要有“视频也不能证明身份”的意识。

“关键还是防范意识，遇到涉及资金转移的事情，可以换个渠道多一次验证。比如收到微信视频通话之后，回拨对方电话号码通话验证。”极棒实验室安全专家宋宇昊这样建议。

在众人科技董事长谈剑峰看来，换脸视频并不是技术成熟度的问题，主要是大众对于网络诈骗认知度的问题，“现在的AI并没有到非常完美的地步，如何判断视频的真假，可以让对方用手在脸部慢慢划过，如果是通过AI换脸合成的视频，脸就会变形。此外，和家人朋友之间设置‘暗号’，尤其是涉及到钱财方面的事情，这两个方法简单易用。”

业内人士还建议，尽量不要在社交媒体上发布个人及家人相关照片、语音、视频等，以防被诈骗分子利用。

图源：东方IC

直播间里频现

“杨幂”“佟丽娅”

“杨幂”现身多个直播间带货，“佟丽娅”“迪丽热巴”高喊“321，上链接”。除了在微信视频电话中可能看到“假好友”，在不少电商直播间，也会遇见“李鬼”。最近，就有一些电商直播间被曝出使用明星AI换脸进行直播。

天使投资人郭涛向《IT时报》记者表示，商家未经明星授权，擅自使用明星形象进行直播，侵犯消费者的知情权、选择权、公平交易权，甚至是安全保障权，情节严重的涉嫌欺诈。

根据今年1月起实施的《互联网信息服务深度合成管理规定》，使用AI换脸技术或合成人声服务时，应有显著标识，以免公众混淆。此外，未经明星同意使用其肖像直播带货，侵犯了明星的肖像权和隐私权。

据《IT时报》记者了解，近年来，国内外已发布专项研究计划及开展相关学术竞赛，对AI换脸、AI换声等深度伪造内容进行鉴别，尤其是自动化鉴别技术。在国外，Meta、谷歌、微软等企业均推出视频认证的方法或产品。在国内，清华大学、中科大等高校在深伪检测方面取得显著成果。

人工智能基础设施和解决方案提供商瑞莱智慧构建了人脸合成检测平台，并发布针对性的检测产品——深度伪造内容检测平台DeepReal，支持对多种换脸和换声方法进行检测，具备工业级的检测性能和应对实网环境对抗变化的检测能力。

“伴随新型伪造方法的层出不穷、网络传播环境的日趋复杂，加上基于深度神经网络的检测算法存在结构性缺陷等，反深伪检测技术也面临‘强对抗性’，需要持续更新与迭代优化。”瑞莱智慧相关人士对《IT时报》记者表示，对视频聊天工具类平台来说，引入深度伪造鉴别技术是一个好方法，一旦识别出疑似AI伪造的语音或视频电话，能弹出风险提示，提醒用户仔细确认对方身份。

推动AI治理体系建设

AI换脸技术可以被应用到各个领域，但如果滥用该技术，无论是对公众还是社会，都会产生巨大的影响，AI技术安全问题因此受到了广泛重视，有关推动建立安全可控的AI治理体系也被不断提及。

德勤今年发布的《2023技术趋势》报告显示，有七成左右的受访企业主管表示将看好AI技术业务变革；47%的业务主管更关心AI透明度问题；而41%的技术专家担忧AI会引发道德风险。

4月11日，国家互联网信息办公室就《生成式人工智能服务管理办法（征求意见稿）》公开征求意见，其中包含要求“利用生成式人工智能生成的内容应当真实准确”“采取措施防止生成虚假信息”等内容。现在，以ChatGPT为代表的生成式人工智能（AIGC）距离真正落地和产业应用还有一段距离，必须规范发展方向。

“AI技术企业应该寻找创新探索以及合法合情合理之间的平衡点，比如一些科技公司的业务，可能并不违法，但是不合情不合理，甚至违反了公序良俗，长期来看还是会有非议。”“一篇网络”主编赵宏民向《IT时报》记者表示，在法律不够完善的情况下，生成式AI企业，无论是为了保护自己还是为了保护用户资金和信息安全，都应该以“合情合理合法”为准绳，积极寻求规范化发展。