深度伪造“攻防战”：如何用AI一秒识破“AI换脸术”
澎湃新闻记者 邵文
作为引领第四次科技革命的战略性技术，人工智能给社会建设和经济发展带来了重大而深远的影响。但作为前沿创新技术，数据隐私、技术滥用等伴生安全问题也正给社会公共治理带来严峻挑战，其中围绕“深度伪造”的伦理和法律争议一直是公众高度关注的热点话题。
随着深度合成技术不断演进迭代，制作一段高逼真度的虚假音视频成本愈加降低，但其却可以借助社交媒体等平台短时间风靡互联网。对于这样一种技术，如果不进行规制，无疑将产生可怕的后果。
在上海举行的2021世界人工智能大会上，一个能快速识破“AI换脸术”的产品——DeepReal深度伪造内容检测平台发布。其能够通过研究深度伪造内容和真实内容的表征差异性辨识、不同生成途径的深度伪造内容一致性特征挖掘等问题，快速、精准地对多种格式与质量的图像进行真伪鉴别。
这个检测平台由依托清华大学人工智能研究院设立的人工智能企业——北京瑞莱智慧科技有限公司（简称“RealAI”）研发。
RealAI由清华大学人工智能研究院院长张钹院士、清华大学人工智能研究院基础理论研究中心主任朱军教授共同担任首席科学家，有人工智能安全平台RealSafe（针对AI系统的防火墙与杀毒软件）；隐私保护计算平台RealSecure（通过打通数据孤岛，将计算环节移动到数据端，实现数据安全共享流通）；深度合成内容检测平台DeepReal（快速、精准地对多种格式与质量的视频和图片进行真伪鉴别）等产品。
RealAI副总裁唐家渝透露，针对深度伪造技术的防范，RealAI目前已与工信部、公安部、国家互联网应急中心、工信安全中心、中国信通院、公安三所等多家机构展开深入的项目合作。
“深度伪造”，也被译作“深度造假”，译自英语中的Deepfake，其是计算机的“深度学习”（Deep learning）和“伪造”（Fake）的组合，出现于人工智能和机器学习技术时代。通俗理解就是把图片和声音输入机器学习的算法，从而可以轻易地进行“面部操作”（Face manipulation）——把一个人的脸部轮廓和表情放置在其他任何一个人的脸上，同时利用对声音的逼真处理，制造出实为合成却看似极真的视频。
2019年国内红极一时的换脸软件“ZAO”就是公众最为熟知的应用，用户只需上传一张照片，就能秒变“戏精”，甚至还能与偶像同台飙戏，效果极其逼真。不久前，短视频领域出现的“蚂蚁呀嘿”热潮，其基础也是深度伪造技术。
凭借极强的娱乐性与传播性，“深度伪造”技术一路走红。但同时，“低门槛、高效率、高质量”的特性，使其被大规模滥用于伪造身份、混淆视听，以实现网络欺诈、虚假宣传与操纵舆论等目的。
7月9日，北京瑞莱智慧科技有限公司首席执行官田天在上海世界人工智能大会演讲时明确指出，人工智能产业正进入高质量发展阶段，以深度伪造为代表各类安全问题层出不穷，亟待解决。
与传统图像视频处理技术相比，深度伪造技术具有“门槛低、效率高、质量好”的特点，所以它也被探索用于影视、医疗、虚拟现实等商业，比如在影视后期制作中，表情操纵、全脸替换等深度合成技术可以被用于影视剧本地化嘴型修改、虚拟IP打造等场景中。
然而，与正面效应相比，这些特性也同步放大了潜在威胁和安全隐患。目前，深度伪造的技术门槛正大幅降低，网络上充斥着大量伪造教程和开源可用的计算机程序，即便是不具备专业算法能力的普通用户，也可以在很短时间内轻松上手。尤其依托深度学习算法特性，在海量图像和视频数据的驱动下，深度合成技术不断演进迭代，仿真精度不断得到提升。所以，制作一段高逼真度的虚假音视频成本极低，却可以借助社交媒体等平台短时间风靡互联网。对于这样一种技术，如果不进行规制，将产生可怕的后果。
深度伪造技术的大规模滥用正侵害到社会公众的合法权益。比如深度伪造技术最常见的非法运用方式，将一些知名歌星、影星等公众人物的脸“移花接木”到色情明星身上，伪造色情片非法牟利，或者是伪造恶搞视频，这对个人名誉权与肖像权构成严重侵害。
其次是公众财产安全，不法分子可以利用漏洞劫持手机识别摄像头，利用照片活化、表情操纵等深度伪造技术冒充机主，进而对机主的微信好友实行转账诈骗。同样的，电信诈骗中也有类似利用“语音伪造”技术的案例。
不仅如此，深度伪造还将会对社会安全和国家安全造成威胁。例如，借助互联网平台捏造虚假新闻、炮制政治谣言，深度伪造技术大大增加了网络内容监管的复杂性，也带来了社会信任危机与网络政治安全风险。在病毒式传播的深度伪造视背后，可能蕴藏着操纵社会舆论、激化社会矛盾与扰乱正常社会经济秩序等系统性的危害。
“比如公安机关、司法机关的图像鉴别工作，深度伪造技术的出现将导致举证工作存在风险。”田天在演讲中补充道，“深度伪造技术也可能成为国家之间发起虚假信息战争的最新武器，抹黑政治人物、伪造政治制度和破坏国家间关系，甚至在未来军事战场上损毁特定军事或情报行动。在这种背景下，国内外政府高度重视，都出台了相关的监管制度。”
DeepReal检测结果展示：红色框代表判断为虚假人脸，绿色框代表判断为真实人脸
检测准确率无疑是衡量该平台价值最为重要的指标。据唐家渝介绍，检测效果主要受到两个因素的影响：数据集多元化程度和算法可靠程度。DeepReal深度伪造检测平台算法基于大数据量进行训练和测试，截至目前，数据量已达到千万级，数据集已覆盖三大类，包括：学术深伪数据集、网络深伪数据集和自研深伪数据集。同时，通过结合贝叶斯学习框架和深度神经网络，来估计模型在预测新样本时的不确定性。以上，有效保障了DeepReal深伪检测算法的泛化能力。
在测试结果方面，DeepReal在学术数据集和ZAO等主流方式生成的网络数据集中，已达到99%以上的准确率。而在实际应用中，DeepReal的检测准确率也已达到业界顶尖水平，远超 Facebook此前举办的Deepfake检测挑战赛所公布的最好成绩。
天下武功，唯快不破。超高的准确度，还需要速度来支撑。DeepReal深度伪造内容检测平台，可实现每帧画面的检测时间仅用时30毫秒。同时，还支持横向拓展与集群部署。检测完毕，平台还支持生成检测报告。
DeepReal深度伪造内容检测平台检测报告示意图
责任编辑：李跃群
图片视频都能造假 AI深度伪造是怎么回事？
AI发展快，系紧“安全带”（“融”观中国）
——“人工智能与信息保护”系列报道之二
AI“换脸”实施诈骗、AI伪造图片传播谣言、AI“复活”逝者引发争议……随着人工智能技术的不断发展，AI深度伪造的例子屡见不鲜。不少网民惊呼，以前总说“有图有真相”，如今我们连图片和视频也不敢轻易相信了。
AI深度伪造是怎么回事？该如何防范相关风险？用户、平台、监管、司法等社会各界该如何形成合力，建立生成式AI信息安全规范？我们对此进行了采访。
“眼见不一定为实”
关于AI深度伪造的热点事件，正引发全世界广泛关注。
今年1月，美国一位流行歌手被人用AI恶意生成虚假照片，在社交媒体迅速传播，给歌手本人造成困扰。2月，香港一家公司遭遇“AI变脸”诈骗，损失高达2亿元港币。据悉，这家公司一名员工在视频会议中被首席财务官要求转账。然而，会议中的这位“领导”和其他员工，实际都是深度伪造的AI影像。诈骗者通过公开渠道获取的资料，合成了首席财务官的形象和声音，并制作出多人参与视频会议的虚假场景。
基于深度合成技术引发的侵权案例，常见的手法是冒充熟人实施电信诈骗。不久前，江苏句容的杨女士，在收到自己“女儿”多条要求缴纳报名费的语音后，向骗子账户转账3.5万元。相关办案民警反复提醒：“遇到转账一定要慎之又慎，眼见不一定为实。”
“深度伪造技术利用AI深度学习功能，实现图像、声音、视频的篡改、伪造和自动生成，产生以假乱真的效果。”上海人工智能研究院院长宋海涛给公众应对深度伪造支了三招：一是掌握甄别AI“换脸”的简单技巧，比如要求对方在视频对话时在脸前挥挥手，看是否出现图像扰动等；二是学会使用检测深度伪造的工具和软件；三是保持合理怀疑。“保持谨慎和警惕，是公众应对AI造假的第一道防线。”宋海涛说。
“用技术治理技术”
如何把生成式AI的强大能力用于建立信息安全规范，将制约行业发展的“绊脚石”变为“压舱石”？业界一直在探索“用技术治理技术”的方案。
瑞莱智慧是清华大学人工智能研究院孵化的企业，专攻人工智能安全领域。瑞莱智慧总裁田天介绍，其公司研发的生成式人工智能内容检测平台，支持多种合成类型的图片、视频、音频、文本的真伪检测，应用场景包括打击网络诈骗和声誉侵害行为、检测网络内容合规性、检测音视频物证真实性等。
“利用AI技术治理AI犯罪，本身也是一个不断博弈的过程。”田天介绍，“红队测试”是目前生成式AI治理的重要手段，旨在通过模拟攻击者行为，对目标系统进行全面网络攻击，针对性地发现、修补潜在系统漏洞，使模型在面向公众开放前，充分接受安全技术检验。视频合成AI平台Sora，在上市前就曾邀请数名从事信息安全漏洞研究的专家充当红队进行对抗测试，找出相当数量的安全漏洞。
此外，业界也在推动落实AI生成内容标识制度。中国政法大学数据法治研究院教授张凌寒表示，全国信息安全标准化技术委员会在《网络安全标准实践指南——生成式人工智能服务内容标识方法》中给出了内容标识方法：通过在交互界面中添加半透明文字的方式显示水印标识，或通过人类无法直接感知但可通过技术手段从内容中提取的隐式水印标识，提示内容由人工智能生成。“标识制度可以提升AI信息内容治理能力，减少虚假信息生成，防止虚假信息污染下一代训练数据，营造良好的网络信息生态环境。”张凌寒说。
国际测试委员会创始人、中国科学院计算所研究员詹剑锋建议，应将AI深度伪造纳入监测机制，遇到负面影响较大的造假行为，第一时间快速反应。通过建立针对深度伪造有害内容的群众举报机制，提高公众的判断力、鉴别力。
“制度引导技术向善”
生成式AI技术是一把双刃剑，如何在释放创新活力的同时，有效防范信息安全风险？
不少专家表示，尽快建立健全相关治理规范至关重要。“这一领域的治理不能完全寄希望于企业自治，更需要法律硬性监管。”对外经济贸易大学数字经济与法律创新研究中心主任张欣表示，“通过立法为AI开发划定基本底线，明确合规义务，可以从源头防范风险，避免‘先污染后治理’的被动局面。”
去年国家网信办等部门发布的《生成式人工智能服务管理暂行办法》标志着生成式AI有了专门性行政法规。2023年1月施行的《互联网信息服务深度合成管理规定》明确提出，“任何组织和个人不得利用深度合成服务制作、复制、发布、传播法律、行政法规禁止的信息”“可能导致公众混淆或者误认的，应当在生成或者编辑的信息内容的合理位置、区域进行显著标识”，等等。
在法律层面，中国已经出台了《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律，但针对AI领域的司法治理仍有进一步细化的空间。“现有法律法规对数据权属、保护范围等问题暂无具体规定。在人工智能生成结果的保护方面，《民法典》的原则性条款在具体适用方面还有一定难度。”北京互联网法院综合审判三庭负责人颜君建议，要进一步加快人工智能方面的法律供给，推动国家层面生成式人工智能规范的确立。对已有案例出现的疑难法律问题，要通过学术讨论和司法实践，逐步形成共识，总结确立法律适用规则，推动《人工智能法草案》的立法进程。
在伦理层面，AI“复活”等行为引起部分用户的反感和恐惧。对此，科技部等10部门印发《科技伦理审查办法（试行）》，列出了需要开展伦理审查复核的科技活动清单，其中就包括具有社会动员能力和社会意识引导能力的算法模型、应用程序及系统研发等。
“我们要正确看待新业态带来的可能性，但也不能让其偏离合法性、合理性轨道。无论是技术开发者、使用者还是监管者，都有必要用类似的伦理视角来审视技术发展。在追求科技进步的同时，确保AI技术循着以人为本和技术向善的理念发展。”张凌寒说。（人民日报海外版）
来源： 人民日报海外版
相关问答
婚恋网站诈骗罪怎么判刑的_法律问答—华律网
[回答]婚恋诈骗,违法乱纪,极尽利用情感诱骗之能事,此乃违反道德底线甚至触犯刑法者。若涉案金额巨大,或组织团伙作案,则可能面临无期徒刑乃至死刑。若对社...