过去，存在伪造的人工智能论文和新闻。随后，疑似被AI换脸的杨幂和迪丽热巴出现在直播间卖货。昨天，内蒙古包头的一则“AI电信诈骗10分钟骗取430万元”登上微博热搜，引发全国关注。

就在今天上午，一组导致美国股市暴跌的五角大楼爆炸图片被官方证实为假，疑似由AI合成。

随着AI技术掀起新一轮落地浪潮，AI Deepfake内容在全球范围内病毒式传播，引起业界强烈关注。

早在2019年，智喜喜就查处了非法制作深度假冒AI换脸的行为。近年来，深度伪造技术与反深度伪造技术之间的竞争持续不断，相关部门也逐步完善监管法律法规。目前，随着以GPT-4为代表的AI大模型技术的迭代演进，深度造假内容正在卷土重来，在全球范围内引起较大骚动。

从文章到图片，从人声到视频动态效果，都能最大程度地还原动态效果，隐瞒真相，欺骗公众。还有各种诈骗手段层出不穷，难以侦破。很多年轻人很难辨别这些人工智能伪造内容的真伪，而老人和儿童则更容易上当受骗。而他们的信任一旦被不法分子利用实施犯罪，后果将不堪设想。

一位AI技术专家告诉智洞智，普通人很难用肉眼识别目前这些AI深度伪造技术生成的音视频内容。

传统骗局被人工智能包裹着，变得更加隐蔽、更难侦破。这些新的人工智能骗局是如何运作的？如何检测难以辨别的虚假AI内容？行业乱象的解决办法是什么？本文通过对市场上各种新型人工智能骗局的梳理和分析，对这些问题进行了深入的探讨。

01、一段10分钟的换脸视频诈骗430万元。警惕这四种新的人工智能骗局。

今年3月，未来生命研究所官网发布了一封题为《暂停大规模人工智能研究》的公开信，包括特斯拉首席执行官埃隆·马斯克和苹果联合创始人史蒂夫在内的数千名科学家和企业高管，包括 Steve Wozniak 等人签署了一份请愿书，呼吁暂停 GPT-4 以上版本的开发。他们都指出了强大的人工智能技术可能产生的负面用途。

人工智能的负面用途爆炸性增长的速度比我们想象的要快得多。随着AI技术能力加速迭代和落地，AI伪造变得更加容易，内容也变得更加真实，随之而来的是假新闻、假图片层出不穷。因变声、变脸引发的恶性事件引发社会关注。很多人觉得“图文并茂”、“眼见为实”的常识似乎受到了有史以来最猛烈的冲击。

1、换脸视频：10分钟诈骗430万

也许很多由AI换脸引发的恶性事件已经发生在我们身边，只是我们还没有注意到。

近日，内蒙古包头市自治区公安局网侦部门破获一起利用人工智能进行电信诈骗的案件。犯罪分子冒充朋友，声称自己急需用钱，并通过微信视频给受害人郭先生打电话。

出于对朋友的信任，加上已经通过视频聊天核实了对方身份，郭先生放松了警惕，分两次汇款将430万转入犯罪分子的银行卡上。然而，他万万没想到，所谓的微信视频通话中的“好友”，竟然是AI换脸技术打造的。犯罪分子利用AI换脸技术冒充好友，对其实施电信诈骗。目前，警方截获后已追回336.84万元，并转走93.16万元。

AI换脸是最容易取得对方信任的一类诈骗手段。诈骗者经常利用人工智能技术改变受害者熟悉的人的面孔，然后打电话给对方确认信息。

面对这种新型诈骗，一是要保护个人信息，不要轻易向他人提供任何涉及个人隐私的信息，不要随意点击不熟悉的链接或下载不熟悉的软件；其次，要通过各种渠道核实对方的身份。对潜在风险保持警惕。

与“AI换脸”功能非常相似的是“AI脱衣”。早在今年3月，一则“女子地铁照片被AI一键脱衣服被AI传播”的新闻登上热搜。一张女子乘坐地铁的照片，利用AI软件一键“脱衣服”，遭到批评。在恶意传播的同时，犯罪分子还广泛散布虚假信息诽谤该女子。

这样的“一键脱衣”技术早在2019年国外就已经出现，但由于公众广泛争议和谴责，该项目很快被关闭并下架。这种不良风潮在今年的人工智能热潮中再次蔓延到中国。当用“人工智能”、“换装”、“软件”等关键词组合在网上搜索时，仍然可以找到许多隐藏很深的相关软件。有兴趣的人甚至可能利用它来制作、传播色情、淫秽视频。 AI视频变装服务已经成为一个链条完整的黑色产业。

“AI换脸”在影视剧二次创作、趣味恶搞视频、表情包制作中得到广泛应用，但隐藏的法律风险和侵权纠纷也不容忽视。近日，据企查查官网信息显示，上海鱼腥草信息技术有限公司因旗下一款换脸手机应用程序被多家网红博主起诉。

App Store中有近百款“AI换脸”应用

此前，一位名叫“特效合成师洪亮”的视频博主在视频中利用AI换脸技术将电视剧《你是我的荣耀》中男主角杨洋的脸替换成了自己的脸，最终遭到攻击。男主角的粉丝，引起了很多网友的关注。

“特效合成器洪亮”账号上传的一些AI合成的换脸视频

这位视频博主以男明星换脸为噱头，其实是为了吸引他的影视特效制作付费课程的流量。但他的行为却对出演电视剧的迪丽热巴、杨洋等演员造成了侵害。 《库斯特》走红后，不少粉丝也通过与电视剧版《西游记》互换剧情片段的方式再次创作，从热度和话题讨论度上为电视剧的火爆做出了贡献，但他们对电视剧不满意。演员引起了一些麻烦。

吸走流量的行为，无论是对被改脸的明星，还是对科技好奇的大众，都产生了负面影响和困扰。娱乐和科技之间的界限不应该模糊到这一点。

2.声音合成：复制人声，隐藏谜团

前世是“AI孙燕姿”走红，后来，AI人声克隆闯入配音圈。 AI语音合成技术被炒得沸沸扬扬，也催生了许多恶性事件和相关受害者。

一名网友利用美国著名歌手弗兰克·奥森的歌曲片段来训练模仿其音乐风格的歌曲，并将这些“音乐作品”发布到地下音乐论坛上，假装这些歌曲是录制的，不小心泄露的版本终于打通了并以近970美元（折合人民币6700元）的价格成交。

不久前，西班牙电影制作公司皮博迪电影公司也遭遇了人工智能手机诈骗。骗子冒充著名演员本尼迪克特·康伯巴奇，告诉公司他对公司的电影非常感兴趣。我有兴趣，有合作意向，但公司需要先转入20万英镑（折合人民币约170万元）的定金，然后我们才能讨论具体的合作细节。

电影公司意识到不对劲，向演员经纪公司核实后发现，这从头到尾都是一场AI骗局。

海外也有不少关于利用人工智能克隆声音进行诈骗和勒索的新闻，有的案件涉案金额高达100万美元。这类骗子经常从电话录音等材料中提取某人的声音进行语音合成，然后用伪造的声音来欺骗熟人。这就需要公众对陌生电话保持警惕。即使是熟人，他们的声音也可能是伪造的。

美国哥伦比亚广播公司(CBS)电视新闻杂志节目《60分钟》在5月22日的最新一集中，现场演示了黑客如何克隆声音欺骗同事，成功盗取护照信息。

60 分钟在 Twitter 上上传了完整视频

仅仅5分钟，黑客就通过AI克隆复制了Sharyn的声音，并使用工具替换了手机上来电显示上的名字。他成功欺骗了她的同事，轻松获得了她的姓名、护照号码等个人信息。信息。

3、伪造照片：特朗普“被捕”，教皇穿羽绒服走秀

随着AI换脸视频铺天盖地的传播，AI造假照片也愈演愈烈。

美国东部时间5月22日，一张五角大楼附近发生爆炸的照片在社交媒体上疯传。这张假照片的广泛流传甚至导致标普500指数短期下跌约0.3%至盘中低点，由涨转跌。

美国国防部发言人立即证实，这也是人工智能生成的假图片。这张照片有明显的AI生成特征，比如路灯歪了，人行道上长出了栅栏。

中途生成的90年代情侣照片，让网友真假难辨。今年3月，多张美国前总统特朗普被捕的照片在推特上疯传。

照片中，特朗普被警察包围并推倒在地，显得狼狈又惊慌。庭审期间，他掩面痛哭，在潮湿阴暗的牢房里也穿上了囚服。这些图像是由公民新闻网站 Bellingcat 的创始人 Eliot Higgins 使用 Midjounrney 创建的。照片发出后，他的账号也被封了。

Midjounrney 生成的一组特朗普“被捕”图像

“特朗普被捕图片”发布后不久，一张教皇方济各穿着巴黎世界羽绒服的照片在网络上引起轩然大波。发布不久，点击量就突破2800万，让不少网友信以为真。

教皇穿着 Balenciaga 羽绒服走秀

创作者巴勃罗·泽维尔表示，他不知道这组照片会流行起来。他只是突然想到了Balenciaga的羽绒服，巴黎或者罗马的街头等等。

在Reddit论坛的Midjourney版块，一组“2001年卡斯卡迪亚9.1级地震引发海啸，摧毁俄勒冈州”的帖子广为流传。照片中的灾难现场一片混乱，救援人员、记者、政府官员等人陆续出现，人们神情忧心忡忡、惊慌失措。但事实上，这完全是AI造成的“灾难”，历史上并不存在。这些元素完整、色彩逼真的画面和场景，让人难辨真伪。

4. 新闻编译：人工智能成为谣言工厂

5月7日，甘肃省平凉市公安局网安大队侦破一起人工智能炮制虚假信息案件。

据悉，犯罪分子利用ChatGPT对他们从全网搜集到的热门社会新闻进行修改编辑，编撰出《今晨甘肃一列火车撞上筑路工人，致9人死亡》的假新闻文章，获取网络流量。并关注货币化。

这条消息一发布就获得了15000余次浏览。庆幸的是，警方在舆论进一步发酵之前介入调查，确认嫌疑人利用AI技术捏造新闻。

不仅读者需要识别钓鱼网站中的AI假新闻，老牌媒体有时也会被AI假新闻欺骗。

英国《每日邮报》（The Daily Mail）4月24日发布消息称，“一名22岁的加拿大男子为了在韩国作为偶像出道，接受了12次整容手术，最终死亡”。

据报道，这位22岁的加拿大演员为了在即将上映的美剧中扮演韩国流行歌星BTS组合的智旻，花费了22,000美元进行了12次整容手术。他最终死了。

这一消息引起了全球多家媒体的关注。韩国YTN新闻频道等电视台迅速跟进报道。网友们也纷纷表示同情和遗憾。

网友对其去世的消息表示遗憾

然而，在韩国记者和美国iHeartRadio电台提出质疑后，事情彻底扭转：这个人可能根本不存在。网友将自己的照片拿到AI内容检测网站进行验证，发现这些照片有75%的可能性是AI生成的。韩国MBC电视台向警方核实后，也得到了“未收到类似死亡案件报告”的回复。此消息立即被确认为“AI假新闻”。

但事情还没有结束。本月初，该男子的家人决定起诉报道“假新闻”的媒体和该男子所属的机构，以及第一位声称该男子已死亡的记者。言下之意是，这张照片不是AI生成的，该男子确实死于过度整容导致的手术并发症。

在没有核实其身份、没有任何实质性证据的情况下，多家媒体声称该男子的身份和信息是经过编造的，将一场由人工智能引发的闹剧变成了一场悲惨的悲剧。

这些由AI编制的篡改新闻不仅迷惑了公众，也让没有时间和耐心看清整个故事的路人失去了辨别真伪的能力。

02、被“AI”过的明星：“AI孙燕姿”翻唱走红，“AI杨幂”换脸卖货

当AI技术泛滥时，娱乐明星成为首当其冲的重灾区。

最近走红的孙燕姿昨晚发长文回应“AI燕姿”的出现。

孙燕姿回应“AI孙燕姿”的出现（中文翻译版）

她对“AI孙燕姿”的出现采取了较为宽容的态度，没有采取法律措施。她说：“这无法与一个‘人’能够在短短几分钟内发布一张新专辑相比。”她认为，虽然它（AI）既没有情感，也没有音调的变化，但无论人类多快都能超越它。

从回应中不难看出，虽然孙燕姿并不欣赏AI生成的音乐，但人类的学习能力确实很难在短时间内赶上机器人。她选择冷漠对待这些热门歌曲翻唱视频。

因AI翻唱而首次重新进入大众意识的歌手孙燕姿，因其独特的音色和演唱风格，对很多流行歌曲有着高度的适应性。借助网友AI技术，她“翻唱”的《像雪》、《雨天》、《我记得》等“法”歌曲均突破百万播放量。

《AI孙燕姿》播放次数最多的歌曲

而孙燕姿并不是唯一一位被AI“覆盖”的歌手，AI周杰伦、AI王心凌、AI腾格尔等人也相继亮相。

虽然孙燕姿选择不追究法律责任，但当人工智能技术被滥用到损害商业利益、触及法律红线的时候，她仍然需要及时维护自己的合法权益。

据中新网报道，近期，不少直播间开始利用AI给明星换脸来开展直播卖货。杨幂、迪丽热巴、Anglebaby等女明星都成为换脸的焦点。主播带货可以达到更好的流量导流效果，节省广告费用。消费者或明星粉丝可能会因利用明星效应进行消费而受到欺骗。

据一家提供换脸服务的网站介绍，如果购买现成的模型，并且材料充足，只需半小时到几个小时，就可以直接合成一个时长数小时的视频。全套模型采购价格为35000元。远低于请明星直播带货的价格。

在几大电商平台上，“AI换脸”、“视频换脸”等关键词被平台屏蔽，但通过改变搜索关键词等方式，仍然可以找到很多相关产品。

AI换脸技术并不是最近才出现的。早在2017年，一位名叫DeepFake的网友就将一部情色电影中女主角的脸改成了好莱坞明星盖尔·加朵。这是AI换脸技术首次出现在公众视野中。后来，由于大量投诉者的不满，他的账号被正式封禁，后续的AI换脸技术也以他的名字命名为“DeepFake”。

AI换脸真正在国内火起来是在2019年初，一段通过AI技术将《射雕英雄传》中黄蓉的扮演者朱茵换成了杨幂的视频在网络上疯传。 。有网友表示，毫无违和感。对此，也有网友提出可能侵犯原演员的肖像权。制作人肖先生回应：主要适合技术交流，不会用于营利活动。

网友把《射雕英雄传》中演员朱茵饰演的“黄蓉”角色换成了演员杨幂的脸

这也成为国内利用AI进行影视剧二次创作的较早开始。

人工智能技术长期以来一直是犯罪分子的目标，并被用于各种变脸伎俩。不仅是娱乐圈的明星，还有很多普通老百姓都曾被所谓的“私照”敲诈过。多位网安部门民警表示，人工智能深度合成技术监管缺失，造成诸多信息安全隐患和网络通信混乱，甚至间接导致刑事案件的发生。

03.大规模的人工智能普法运动兴起。哪些行为属于侵权、违法？

许多人的肖像、声音未经许可被传播，音视频制品不顾版权被用于牟利，更有什者，不法分子利用伪造信息实施财产诈骗甚至绑架勒索，危害人民群众。人身权和财产权。

面对更加严峻的形势，人们需要拿起法律武器来保护自己，随之而来的将是一场有利于产业发展的大规模人工智能普法运动。

人脸、声音伪造猖獗，面临的首要问题就是侵犯个人隐私。 《民法典》第一千零一十九条规定：“任何组织或者个人不得以诽谤、污损或者利用信息技术手段伪造的方式侵犯他人肖像权。未经肖像权人同意，任何组织和个人不得制作或者侵犯他人肖像权。使用、公开肖像权人的肖像，法律另有规定的除外。 “同时，“对于自然人声音的保护，参照肖像权保护的相关规定。”更让人担心的是，如果信息被伪造，在不法分子手中，信任可能会受到威胁。进一步被利用侵犯人们的财产权甚至健康权。

除了人身权之外，人工智能伪造内容涉及的音视频资料版权侵权问题也备受关注。近日，歌手孙燕姿发文表示，自己对“AI燕姿”无动于衷，但更多被伪造的人却选择拿起法律武器来保护自己。例如，据媒体报道，上海鱼腥草信息技术有限公司参与了某型号的交换。 Face手机APP被多家网红博主起诉。

上海大邦律师事务所高级合伙人、知识产权律师游云婷撰文称，根据知识产权法，利用真人声音训练人工智能、生成歌曲，如果不用于商业目的，大概率不构成侵权。但是，您仍然应该在在线发布之前获得许可证。获得相关歌谣版权、伴奏音乐、视频素材的授权。人工智能生成的作品具有固有的版权缺陷，不应享有版权并收取许可费用。用户利用人工智能产生的作品如果受到他人侵权，可以依据《反不正当竞争法》维权。

事实上，我国在人工智能领域也制定了一些特殊规定。国家网信办等部门于2022年12月颁布了《互联网信息服务深度合成管理规定》，用25条规定划定了深度合成技术的使用规范，包括法律、应用等禁止利用深度合成服务侵犯他人合法权益。流通平台要落实货架审核、服务提供等规定，技术支持者要加强技术管理。

就在4月11日，国家网信办迅速起草了《生成型人工智能服务管理办法（征求意见稿）》。所涉及的生成式人工智能包括基于算法、模型、规则生成文本、图片、声音等。视频、代码等内容的技术可以说对当前的AI伪造有全面的规定。

此外，《中华人民共和国网络安全法》、《中华人民共和国数据安全法》、《中华人民共和国个人信息保护法》、《互联网信息服务管理办法》和我国颁布的其他法律、行政法规具有这一效力。该规定可以成为维护合法权益的相关依据。

04.普通人有AI内容识别的“防御技术”，平台必须承担责任

“造假”和“防伪”并不是人工智能造成的，只是今天的人工智能技术让“造假”变得更容易辨别，也更难辨别。面对人工智能伪造内容的冲击，人们是否有能力自行识别？

知名安全公司RealAI联合创始人、算法科学家肖子豪告诉智动智，Deepfake技术在不断发展，生成的声音和视频越来越真实，普通人很难识别用肉眼。

“如果普通人遇到这种情况，可以在视频中有意识地引导对方做一些动作，比如大幅度摇头、张大嘴等。如果骗子的技术手段薄弱，我们可能会发现漏洞。”但是，这种方法仍然很难识别“高级”欺诈者。此外，您还可以要求提供一些只有您和借款人的私人信息。知道要验证。对方的身份。”

“在防止自己上当受骗的同时，也要注意保护自己的个人形象，尽量避免在公共平台上大量发布自己的照片和视频，为不法分子提供便利。因为deepfake视频制作的原材料都是个人的图片和视频，数据越多，视频就越真实，识别就越困难。”肖子豪补充道。

人工智能使诈骗和错误信息更难以检测，这使得对科技公司和内容分发平台的审计变得更加重要。

苹果联合创始人史蒂夫·沃兹尼亚克（Steve Wozniak）在最近的一次采访中警告说，人工智能内容应该被明确标记，并且该行业需要受到监管。任何由人工智能生成的内容都应该由发布者追究责任，但这并不意味着大型科技公司可以逃脱法律制裁。沃兹尼亚克认为，监管机构应该追究大型科技公司的责任。

根据我国颁布的《互联网信息服务深度综合管理规定》，内容提供者需要按照规定对生成的图片、视频等内容进行标注。事实上，我们已经看到国内的小红书等社交平台标有疑似AI生成的内容，这可以起到一定的预防作用。但人工智能生成内容的最后一道坎在于用户本身，媒体平台只能起到过滤作用。

05.结论：抵制负面应用，AI攻防战打响

不断发展的人工智能技术使得生成文本、图像和视频变得更加容易和真实。与此同时，深度造假内容也变得猖獗。深度造假内容至少可以迷惑人们并被用来牟利，最坏的情况下，可以被犯罪分子用来实施诈骗甚至敲诈勒索犯罪，这引起了对人工智能生成内容监管的迫切关注。

随着新的人工智能欺诈手段引发社会问题，行业内的用户、技术提供商和运营商、内容分发平台和内容生产者都需要加强自律。事实上，我国已经提前颁布了一系列相关法律法规。人工智能应用负面问题的曝光，有望引发全国性的科技普法运动，从而促进行业健康发展。

本文来自微信公众号，作者：费宁，36氪经授权发布。