智东西（公众号：zhidxcom）
编译 | 香草
编辑 | 云鹏
试想一下，当一位顶级企业家向你抛出橄榄枝，“亲口”告诉你现在有一种无风险的方式快速致富，只要填个表就能赚100万美元，你会怎么做？
如果这个人是马斯克，并且还有BBC为其背书，告诉你这是“一场不为公众所知的技术革命”呢？
▲AI马斯克深度伪造视频
警惕性较高的人可能会立刻嗅到电信诈骗的气息，但对于不常接触互联网的人群，要识别出这样的伪造视频并不容易。
智东西8月16日消息，据《纽约时报》报道，去年年底，82岁的退休人员Beauchamp看到马斯克宣传一项激进的投资机会，并承诺无风险、快速回报。他联系了视频中的公司，在随后几周的一系列交易中花光了退休金，累计“投资”超过69万美元。
接下来的事情可想而知，退休金和这家公司一起消失了。
随着名为Deepfake（深度伪造）的AI技术愈发成熟，类似的视频充斥在互联网上。据知名咨询机构德勤估算，深度伪造视频每年将造成数百亿美元的诈骗损失。
监测深度伪造视频的机构Sensity近日做了一项调查，通过分析2000多段深度伪造视频，发现马斯克已经成为这类视频中最常见的“发言人”。自去年年底以来，马斯克出现在近1/4的深度伪造诈骗视频中，其中针对加密货币的视频他的出现率更是达到90%。
其他常见的伪造对象，还有著名的投资人巴菲特、亚马逊创始人贝索斯等。
一、每年诈骗上百亿美元，马斯克出现率1/4
为了制造这些视频，诈骗者首先会找到马斯克等人的真实采访视频。比如开篇视频的画面原本来自马斯克在《华尔街日报》接受的一次采访，谈论的话题是如何利用AI等技术实现公司的高效管理。
▲原马斯克采访视频
诈骗者会利用唇形同步技术（Lip-synching），调整人物的口型，随后使用语音克隆工具添加一个AI复制的语音。
▲唇形同步（图源：《纽约时报》）
最后，部分视频还会添加模仿BBC等专业新闻机构的虚假图标，这对于普通互联网用户来说也许更有说服力。
▲新闻标识（图源：《纽约时报》）
究竟有多少这样的深度伪造视频正在网络上流传，已经很难准确量化。在Facebook的广告库中搜索这些骗局的常用宣传文案，会出现数十万条广告，其中有不少都是深度伪造视频。
▲AI贝索斯深度伪造视频
YouTube也充斥着这类视频。如果在YouTube上搜索“埃隆比特币会议”（Elon Bitcoin conference），你会得到数十个标注着现场直播的视频，但实际上这些都是预先录制的深度伪造视频。
▲YouTube深度伪造视频（图源：YouTube）
这些“直播”的观看人数动辄数十万，但据YouTube证实，诈骗者可以使用“水军”刷人数，人为地夸大这个数字。
今年5月，知名咨询机构德勤发布关于生成式AI增加深度伪造欺诈风险的报告，其中提到2023年，金融科技领域的深度伪造事件增加了700%，并预测到2027年，AI将使美国的欺诈损失从2023年的123亿美元增加到400亿美元，复合年均增长率为32%。
▲生成式AI造成的欺诈损失增长预测（图源：德勤）
深度伪造视频的数量和影响力越来越大。据监测深度伪造视频的机构Sensity调查，在2000多段深度伪造视频中，马斯克已经成为最常见的“发言人”，出现在近1/4的深度伪造诈骗视频中，其中针对加密货币的视频他的出现率更是达到90%。
Sensity联合创始人Francesco Cavalli认为，这可能是有史以来最大的深度伪造骗局。
二、成本不超10美元，几分钟伪造大量视频
实际上，制作这类视频的成本并不高，只需要不到10美元，就能在几分钟时间内制作出大量伪造视频。
这些AI生成的视频并不完美。马斯克在一些视频中听起来像机器人，他的口型也并不总是保持一致。但这些视频已经能骗过相当多的人，而且技术还一直在不断改进。
▲AI马斯克深度伪造视频
Sensity调查显示，这类诈骗者主要来自亚洲、东欧国家，使用免费和廉价的工具将视频翻译成多种语言，不断将骗局传播到更大范围。
其中一种常见的套路是宣传虚假的AI软件。诈骗者通过让“发言人”声称这些软件可以产生惊人的投资回报，鼓励目标首先交一小笔钱——一般是250美元左右，然后通过声称初始投资的价值正在增加等方式，慢慢引诱他们投资更多。
例如在下面这段来自特斯拉股东大会的视频中，马斯克“展示”了一款由AI驱动的自动交易产品，该产品每天可以使特定投资翻倍，“只需投资4500兰特，您就能获得每天8000兰特的稳定利润”。（注：兰特是南非的货币单位）
▲AI马斯克深度伪造视频
这些AI诈骗者通常瞄准年龄较大的互联网用户，他们可能熟悉加密货币、AI等话题，以及马斯克、巴菲特这些人，但不熟悉安全的投资方式。
“老年人是一个非常有钱且容易上当的群体。”加州大学戴维斯分校科技研究教授、加密货币市场专家Finn Brunton说，“即使没有社交媒体平台，老年人也一直是诈骗的目标。”
而之所以瞄准马斯克，则是因为马斯克拥有独特的全球“粉丝”群体。研究加密货币社区的专家称，这些人通常由保守派、反建制派和加密货币爱好者组成，他们经常被新奇的赚钱途径所吸引——这使他们成为骗局的完美目标。
加密货币社区研究员Molly White称，这群人总是认为，财富的秘密对他们是隐藏的，而一旦他们“发现”了这一秘密，他们就会认为这是其所需的一切。
▲AI马斯克深度伪造视频
开头提到的退休人员Beauchamp，在75岁之前是一家加拿大公司的销售代表。他在去年刚开始使用Facebook，随后看到了一则马斯克在CNN上接受采访的广告。
虽然他坚称自己在CNN官方上也看过这段视频，但据CNN发言人称，马斯克已经很多年没接受过他们的采访了。
根据Beauchamp先生与视频中提到的公司之间的电子邮件来往记录，去年12月，他向这家名为Magna-FX的公司汇款27216美元。
Magna-FX让他的投资看起来似乎在增值，甚至让一名销售代理使用软件远程控制了Beauchamp的电脑，假装转移资金用来投资。
为了提取增值的资金，Beauchamp被告知要支付3500美元的管理费和3500美元佣金。他把钱汇出去后，又被告知还需要支付2万美元，才能提取其中大约20万美元。他再次支付了这笔钱。
最后，Beauchamp用完了退休储蓄，刷爆了信用卡，动用了信用额度，还从姐姐那里借钱来投资和支付费用。但骗子仍一再要求他支付更多笔费用。Beauchamp这才联系了警方。
遗憾的是，这个案件尚未取得任何进展。
三、平台监管面临挑战，删视频治标不治本
虚假广告之所以盛行，和平台的监管疏忽也脱不开关系。
一些被伪造视频的人拿起了法律武器。澳大利亚亿万富翁Andrew Forrest对Facebook的母公司Meta提起民事诉讼，指控其在广告业务运营方面存在疏忽。他的深度伪造视频被用在了Facebook广告投放中，他认为这将引诱“无辜用户进行不良投资”。
Meta回应道，公司正在训练自动检测系统，以捕捉其平台上的欺诈行为，但同时也称这是一场“猫捉老鼠”的游戏，诈骗者会不断改变策略以逃避检测。
YouTube也在采取一些措施来对应深度伪造视频。今年3月，YouTube更新了政策，要求创作者披露他们是否使用了AI进行创作，并禁止欺诈和篡改视频。
YouTube在一份声明中提到，今年1-3月期间，公司删除了超过1570万个频道和超过820万个违反内容政策的视频。但只是删除视频仍是指标不治本的行为，平台需要重新审视自己的审核制度，从根源处解决问题。
结语：深度伪造视频污染互联网
数字诈骗的历史，就像互联网一样悠久。但随着AI技术越来越成熟、AI工具的使用成本越来越低，利用该技术进行诈骗的时间和金钱成本也大幅压缩。以马斯克等名人为主角的新一波深度伪造视频正在污染互联网。
随着技术的不断发展，深度伪造技术或许会变得更加难以分辨，这对平台、监管机构、法律都提出新的要求。
来源：《纽约时报》
