近日，韩国爆出深度伪造性犯罪事件，引发国际社会广泛关注。这是随着生成式人工智能发展，扩散模型(Diffusion Model)叠加深度伪造（Deepfake）导致AI信息伪造技术滥用愈演愈烈的结果。近年来，新一轮人工智能技术革命在推动生产力变革的同时，也给社会治理带来新型风险挑战。不法分子利用AI信息伪造技术实施经济诈骗、敲诈勒索等高科技犯罪现象明显抬头。如何加强新技术新应用规范引导，并强化检测等反制手段建设，已成为当务之急。

一、案例梳理

AI信息伪造技术在经济诈骗中的主要形式和特点具体如下：

1、身份验证系统风险

形式一：破解银行“人脸识别”系统

2024年2月15日，国外某安全公司发现名为“GoldPickaxe”的恶意软件。不法分子利用该恶意软件诱骗用户进行人脸识别，然后基于用户的人脸信息进行深度伪造，进而登录用户的银行账号进行转账、消费、修改账号密码等操作。

大量案件还显示，不法分子利用AI技术伪造人脸动态视频，欺骗人脸识别系统办理虚拟手机卡等注册认证，进而实施电信网络诈骗、网络赌博、洗钱等犯罪活动。

银行“人脸识别”系统面临深伪风险挑战

2、财产欺诈风险

形式二：“伪造语音”冒充客户

2019年，华尔街日报报道，不法分子用深度伪造语音技术冒充英国一家能源公司首席执行官，成功诈骗24万美元，这是利用深度伪造技术诈骗得逞的第一案。

2020年，不法分子利用深度伪造语音冒充客户，电话联系阿联酋某银行经理，声称公司即将进行收购，需要银行批准3500万美元的转账。银行经理在确认转账金额和收款账户后进行了转账。

“伪造语音”实施诈骗

形式三：“AI换脸”实施诈骗

2023年4月，郭先生与“好友”微信视频，对方称需要借用郭先生公司账户走账，随后把430万元金额的银行转账底单截图发送过来。郭先生在未核实到账情况下，将430万元分两笔打回“好友”账户。郭先生直到拨打好友电话确认到账情况时，才发现与自己微信视频的“好友”，实际上是不法分子通过AI换脸佯装的。

2024年2月，中国香港发生了一起2亿港元AI“多人变脸”诈骗案。受害公司职员受邀参加总部首席财务官发起的多人视频会议，并按照要求先后多次转账。警方调查得知，案件的视频会议中只有受害人一人是“真人”，其他参会“高管人员”都是经过AI换脸后的不法分子。

“AI换脸”诈骗行为愈加猖獗

3、敲诈勒索风险

形式四：伪造不雅视频

2021年5月，常州王某报警称自己被裸聊诈骗11万余元。据称，一女网友请其下载某软件并提出视频邀请，王某接受邀请并只露出了面部。不久，王某收到了一段有自己头像的不雅视频。不法分子用AI 换脸技术把王某的脸合成到其他色情视频上，并以此威胁其转账。

近日，韩国曝出利用深度伪造技术制播虚假色情影像事件。根据警方数据显示，2024年1-7月，韩国共报告了297起在线深伪性犯罪案例，不法分子主要通过社交媒体，尤其是具备聊天加密功能的聊天室，对深度伪造色情图片和视频进行传播，被伪造对象涉及大量未成年人、女大学生、女教师、女兵等。

韩国“深度伪造”性犯罪事件引发广泛关注

4、扰乱市场秩序风险

形式五：“伪造谣言”影响资本市场

2023 年 5 月，一张美国五角大楼附近发生爆炸的 AI 生成图片迅速传播。当时正值美国债务上限谈判关键节点，受伪造图片影响，美国股市出现明显下跌。据彭博社报道，这可能是首例人工智能伪造图像影响股票市场的案例。

形式六：“伪造名人形象”扰乱市场交易

2023 年 2 月，一名得克萨斯州居民在某直播平台上看到一段“埃隆?马斯克”的直播视频，并因此损失了价值 36000美元的比特币。埃隆?马斯克的深度伪造视频频繁出现在国外直播平台，被用于实施加密货币赠送骗局。

埃隆?马斯克的深伪视频被频繁用于诈骗

二、特点分析

一是AI信息伪造技术手段迅速增强，实施门槛大幅降低。Deepfake、Diffusion伪造使虚假信息(包括图文、视频、语音、文本等)逼真度迅速提高，不借助技术手段，自然人本身已越来越丧失辨识真伪的能力。且随着相关AI工具的成熟与普及，不法分子实施犯罪的技术和成本门槛也大幅降低。

二是伪造与检测之间的技术对抗愈发激烈，且是持续演进过程。最新AI信息伪造技术在伪造效果越来越逼真的同时，伪造痕迹相应地呈现越来越弱的趋势，一些已有的检测维度已被最新伪造技术消除破绽，这给伪造检测手段建设造成空前挑战。同时，伪造技术的持续升级，也使得伪造与检测之间呈现不断动态演进的对抗。

三是伪造技术滥用波及场景越来越多。如上述案例所示，以Deepfake、Diffusion为代表的AI信息伪造技术正被不法分子在越来越多的场景中实施犯罪，且犯罪角度、逻辑等也在不断翻新。可以预见，随着现实世界公共设施智能化程度越来越高、数字世界多模态信息越来越多元，AI信息伪造技术或在更多场景中被利用实施违法活动。

三、应对建议

（一）聚焦内容标识管理，正面引导生成合成技术规范使用

从以上国内外众多案例不难看出，当前深度合成和生成式人工智能滥用情况为全球人工智能治理带来严峻挑战。采取手段帮助公众分辨人工智能生成合成内容，成为应对人工智能伪造技术风险的重要着力点。我国敏捷行动，由国家互联网信息办公室先后牵头制定发布《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等管理规范，对人工智能生成合成内容标识做出明确规定，为防范化解深度合成和生成式人工智能技术滥用风险提供了政策抓手和有效手段。

当前形势下，应进一步加强生成合成类内容标识管理，引导规范应用和规范内容形成“大气候”。建议在现有工作基础上，一是细化法律法规体系。基于已发布的法律法规要求，制定生成合成类内容标识相关标准，为管理要求落地提供细化规则和实践指导。二是强化主体责任。督促服务提供者落实主体责任，确保生成合成类内容质量，做好内容标识管理，并通过专项行动等方式加大监督指导力度，推动行业健康有序发展。三是加强宣传教育。多措并举提高公众对生成合成类内容认知和辨识，增强自我保护意识。同时，鼓励公众对生成合成内容违规、标识违规等行为进行投诉举报，形成全社会齐抓共管的良好氛围。

《互联网信息服务深度合成管理规定》对内容标识管理做出明确规定

（二）聚焦技术反制能力，加强构建伪造内容检测技术系统

强化技术反制能力建设，是掌握新型安全主动的关键。建议基于人工智能伪造技术滥用场景及手段，一是构建视频、图像、语音伪造综合检测系统，实现对上述信息载体伪造的精准快速检测，并给出技术研判依据。二是构建文本伪造检测系统，研判新闻等文字是否由大模型生成，防范不法分子利用大模型生成虚假新闻或谣言信息。三是专门针对人脸识别场景，在识别环节加装安全防御设备(如人脸识别防火墙等)，从源头防范虚假信息入侵。四是增强上述技术部署应用，使最新安全能力在越来越多重要领域发挥作用。

瑞莱智慧多年深耕深度合成与检测技术研究，持续丰富产品矩阵，助力应对AI信息伪造带来的新型风险。一是首创人脸识别防火墙RealGuard产品，可针对换脸人脸照片、表情驱动虚假视频、对抗攻击样本等，在人脸识别、活体检测环节中开展检测，有效防范有害信息进入后续业务流。二是发布深度伪造内容检测平台DeepReal、生成式人工智能检测平台DeepReal2.0以及全球首个可进行AI合成内容实时检测的产品RealBelieve等，为防范AI伪造信息风险提供技术工具。