“AI换脸”诈骗防不胜防

转自：北京商报

员工被要求向指定账户转账，老板却是AI换脸后的“冒牌货”？就在2月，一则涉案金额高达2亿港元的AI换脸诈骗案引发了高度关注。

如果说2023 年是生成式AI的元年，那么2024年它又迎来了新的爆发。ChatGPT带来人工智能革命性的突破，Sora的横空出世，又将人们带入视频生成全新领域。而在各种新鲜技术层出不穷的当下，不法分子通过AI换脸诈骗的隐患也随之滋生。问题随之而来：AI换脸怎么实现的？有没有好的方法甄别？此类风险又该如何预防？

AI诈骗横行

根据香港警方披露，一家跨国公司香港分部的职员受邀参加总部首席财务官发起的“多人视频会议”，按照高管们的安排，先后15次将2亿港元转到指定的账户。没承想，其他“参会人员”都是经过AI换脸后的诈骗人员。

事后调查发现，诈骗人在开始行动前，早已搜集好了公司高层的媒体采访、视频平台的相关内容，并拿到英国总公司高层管理人员的形象和声音，利用Deepfake（深度伪造）技术，制作出高层人员的发言视频。而诈骗人在视频会议当天直接使用提前制作好的视频，由于视频会议的内容基本上是总公司的高管们单方面向其他人下达命令，会议期间并没有暴露真相。

此次诈骗事件中的“Deepfake”技术，在早年就已经引起过轰动。这样的深度伪造技术指基于AI人工智能技术进行人体图像的合成。目前使用AI的深伪技术已经能达到还原度很高的换脸效果，再结合语音伪造技术，就能做到“造人”。

香港2亿港元诈骗案并不是个例。近日，陕西西安财务人员张女士与老板视频通话，被要求转账186万元到一个指定账号。被害人张女士称，“老板”让把这个款赶紧转过去，这笔款要得非常着急，因为“老板”声音还有视频图像都跟他本人是一样的，所以并未起疑。当然，这同样是一场骗局。

种种案件的发生，已经昭示着AI诈骗离我们不再遥远。电信诈骗不法分子通常会换脸成亲人、朋友、同事等，向受害人索取钱财，视频的方式看似可信度高，却也让受害人放松了警惕。

已有检测算法辨别换脸

“眼见不一定为实”“有图有视频也不一定是真相”的时代已经来临。AI技术革新催生了花样繁杂的诈骗手段，对于普通人来说，了解技术背后的原理，才能“知己知彼”。

事实上，AI换脸背后的技术逻辑并不复杂。“简单来讲，AI换脸主要使用的就是深度合成技术。”中国信通院人工智能中心安全与元宇宙部主任石霖介绍道，首先使用大量的人脸数据，通过深度学习算法和神经网络，训练模型识别和理解人脸的关键特征，这些特征主要包括五官的位置、表情、光照等。在换脸的过程中，使用训练好的模型提取原始人脸照片或视频的特征，然后将目标人脸与之相匹配，实现这些特征的转移。

石霖补充到，前几年，实现AI换脸存在一定的门槛，通常需要高质量的数据集对模型进行训练和微调，让模型能够准确地识别和提取面部特征；在制作换脸视频的过程中，需要足够的算力资源来支撑模型的运行。然而当前，已经有很多相对成熟的深度合成的开源项目或者工具。“可以说AI换脸的成本正在逐步降低，速度和拟真度正在不断提升，已经达到了快速制作一段肉眼难以辨别的换脸视频的程度。”

不过与此同时，当前AI换脸的一些技术弱点仍然存在。石霖指出，一些换脸的视频会存在光照、表情等不够自然、帧与帧之间不够连贯的问题，尽管随着模型能力的提升，这些换脸的痕迹已经做到几乎肉眼难以辨别的程度，但我们仍然可以通过一些专用的检测算法进行辨别。这些检测算法在训练过程中大量学习了换脸视频中伪造特征的方式，在使用的过程中逐帧提取特征，从而判断一段视频是否经过了换脸。当前，这些技术已经开始用在金融场景中，实现对诈骗等行为的识别。

那么，这些鉴别技术应用于反诈领域，前景如何？不得不承认，网络信号与算力仍是待解决的难题。“由于这些技术仍然需要大量的计算资源特别是GPU的支持，因此，通常在使用过程中，需要将相关的检测模型部署在服务器中。但如果想要将这些检测模型部署在手机、个人电脑中，或嵌入到社交、会议软件里，可能会对软硬件的使用体验造成较大的影响。近年来，很多技术企业已经开始尝试不断优化检测模型，探索将模型部署在端侧。”石霖说道。

隐私泄露的黑灰产业链

“我的人脸信息他们从何而来？”“人脸识别会被攻克吗？”不法分子有机会实施AI换脸诈骗，背后反映出公民面部特征等生物识别信息、家庭身份信息、财产信息等隐私泄露的问题，更值得深思。

“诈骗分子给你发个链接，上传几张照片、填写个人信息就能领几块钱红包，这样的收集方式太普遍了。”北京某高校一相关技术资深研究员对北京商报记者表示，当前公民个人信息被非法收集、交易、挖掘、利用的问题长期存在，并且已经形成黑灰产业链。AI技术被运用到黑灰产业链上，恰恰使得不法分子对个人的画像越来越精确，借此开展精准诈骗。

在北京寻真律师事务所律师王德怡看来，从法律层面上来讲，我国缺少一部对公民个人信息进行完整保护的法律或行政法规。一些保护性规定只是在一些部门规章或地方性规定中有体现。生活中使用人脸识别技术非常普遍，但相关数据的传输、存储、保护是一个大问题。一旦发生数据泄露或者有意出售，难以追究责任。如何在提供技术方便的同时，又保证个人数据安全，需要立法划清权利义务边界。

一方面，是隐私信息的采集和使用者未按规定收集、存储、使用和销毁个人隐私，导致在对隐私数据设定严格的访问控制规则上出现疏漏；另一方面，公民能否建立良好隐私保护意识，同样起到了至关重要的作用。石霖建议，当用户遇到采集人脸等个人隐私数据的网站、App，应该谨慎和仔细阅读敏感信息的收集协议，了解适用范围，谨慎将人脸等个人隐私数据授权给不必要的企业和个人。

多主体全链条治理

除了消费者自身提高网络安全意识，对于AI换脸相关风险的预防与整治，需要从平台、相关技术服务商，到监管、司法形成多主体、全链条的治理。

北京市中闻律师事务所律师李亚指出，《互联网信息服务深度合成管理规定》明确规定，不得利用深度合成服务从事危害国家安全和利益、损害国家形象、侵害社会公共利益、扰乱经济和社会秩序、侵犯他人合法权益等法律、行政法规禁止的活动。针对网络用户、服务平台，可通过对AI深度合成技术的使用目的以及数据和技术管理进行规制，实现深度合成技术的合理使用。

“在人脸等敏感个人信息的采集使用者层面，应该严格落实法律法规的相关要求，设定采集和使用范围、访问规则、销毁策略等，并配备相关的技术手段提升安全防护能力。在技术提供方层面，应该不断提升换脸视频的识别能力，降低识别系统的运行成本，逐步实现识别系统的广泛普及应用。”石霖补充道。

此外，监管是必不可少的一环。石霖表示，应加强涉及人脸信息采集、使用的互联网信息服务提供者的监管工作，依法依规对采集、存储、使用、销毁等关键环节的制度、技术进行执法检查，帮助企业提升安全合规能力。

风险提示

针对性强、不易识别是AI换脸新型骗局的主要特征。对于普通消费者来说，如何有效甄别、避免遭受财产损失？

专家建议，如遇此类诈骗手段，最简单的方法，可以要求对方在视频对话时，在脸部的前面通过挥手的方式进行识别，或让对方摁鼻子、捏脸观察其面部变化。实时伪造的视频，在挥手的过程中，会造成面部数据的干扰，很容易露出破绽；如果是真人的鼻子、脸部，按下去会变形，但AI生成的鼻子并不会。

另外，如果觉得聊天内容不太对劲，可以放大窗口查看光线和阴影是否正常，人像边缘有没有模糊；还可以在点对点的沟通中问一些只有对方知道的问题，验证屏幕对面人的身份真实性。

当然，最重要的还是消费者应提高网络安全意识，防患于未然。谨慎授权人脸等个人隐私信息，不点击陌生链接、扫描陌生二维码，不轻易泄露个人银行卡账户、密码、验证码等关键信息。