International AI Safety Report恶意使用§2.1.1
AI 制作的伪造内容助长欺诈和勒索
已在真实事件中出现81 份相符的案例档案
警告内容
逼真的 AI 生成声音、图像和视频被用于欺诈、勒索以及未经同意制作的性图像，而廉价工具让大规模制作此类内容变得轻而易举。
根据来源转述。 来源: International AI Safety Report 2026, 2026年2月3日, 第 2.1.1 节，第 45 页. International AI Safety Report 的摘要: internationalaisafetyreport.org.
登记库显示的情况
登记库中最大的类别：冒充高管、官员和亲属的克隆声音和深度伪造视频通话，以及作为投资骗局幌子的深度伪造名人广告。报告还指出，受害者往往不报案，因此公开案例低估了实际危害。
已核实的案例档案显示，这一风险已在现实世界中发生。 档案中最早的真实案例：2025年1月5日 · 该研究发表时已有档案记录.
每季度相符的案例档案
状态历史
| 日期 | 状态 | 匹配的案例档案 | 变化 |
|---|---|---|---|
| 2026年10月18日 | 已在真实事件中出现 | 81 | 开始跟踪 |
自2026年10月18日起跟踪。状态变更、关联首个真实案例时以及每月一次都会新增一行，从而记录一项警告何时从研究变为现实。 research_history.json
所有相符的案例档案
- 美国首例AI音乐流媒体欺诈案宣判，机器人刷取800万美元版税
- 冒充 CEO 的 WhatsApp 消息加克隆律师声音，诱骗联合圣保罗银行（Intesa Sanpaolo）旗下 Fideuram 向境外汇出 9500 万欧元
- 希腊警方捣毁用AI克隆亲属声音盗取逾100万欧元的团伙
- GTG-15001：中国工作室用4700个Claude人设运营20多款交友应用，2.5万人受害
- 海德堡警方：75岁老人因名人深度伪造投资视频损失六位数金额
- 澳大利亚NASC：Albanese和九位公众人物的深度伪造涉及740万澳元损失
- 挪威税务局发现AI生成的假收据支撑20亿克朗虚假退税申请
- OpenAI打击使用ChatGPT进行诈骗和人口贩运管理的波贝诈骗园区
- 芬兰警方警告Google Meet深度伪造冒充国家警察总监
- 印度珠宝商Sky Gold子公司因疑似董事深度伪造损失10.7亿卢比
- 哥伦比亚Dijin捣毁伊瓦格用深度伪造冒充美国领事官员的团伙
- 萨克森女子因Markus Lanz深度伪造视频推广Investhub 3.0损失逾100万欧元
- 东京警方逮捕台湾收款人，涉用堀江贵文深度伪造视频的1亿日元骗局
- Lahav 433逮捕用AI让被盗证件照片“动起来”开设银行账户的20岁男子
- 土耳其“Yapay Zeka-2”行动：16人因模仿官员声音的深度伪造广告被拘
- 圣保罗警方与OAB-SP捣毁克隆律师声音的假律师团伙；涉款1000万雷亚尔
- 新加坡商人与深度伪造总理黄循财Zoom会议后损失490万新元
- 加纳警方逮捕16名利用总统Mahama AI深度伪造视频索要钱财的嫌疑人
- WKStA和阿尔巴尼亚警方突袭使用Van der Bellen假视频的加密货币呼叫中心
- 艾哈迈达巴德警方捣毁用深度伪造视频骗过Aadhaar人脸核验申请贷款的团伙
- 法兰西银行警告行长Villeroy de Galhau推销投资的深度伪造视频
- 孟加拉国警方逮捕10名用传教士Azhari深度伪造视频销售非法药物的嫌疑人
- Jasper Sleet IT工作者使用Faceswap和变声器；数千账户被封
- OnlyFake创建者认罪，曾出售1万多份AI制作的假证件用于KYC欺诈
- 拉各斯法院因使用Peter Obi AI克隆形象的2.3亿奈拉外汇骗局羁押一名男子
- Okonjo-Iweala提醒尼日利亚人警惕利用其形象推销虚假投资计划的AI视频
- 土耳其警方因4.1亿里拉深度伪造官员投资骗局羁押五人
- 朝鲜UNC1069以AI深度伪造视频伪造Zoom会议攻击加密货币公司
- 萨里PCC：退休工程师因Martin Lewis深度伪造投资视频损失2万英镑
- 台湾团伙用Starlink和深度伪造面孔击破数字人民币核验，盗走2亿新台币
- 台中起诉用ChatGPT写话术、视频通话中深度伪造日本警察的诈骗团伙
- NBK在科威特央行“让我们警惕”活动下警告深度伪造投资广告
- 埃及检方下令追查歌手Haifa Wehbe的AI伪造色情视频
- 荷兰警方逮捕用深度伪造通过银行身份核查开设46个账户的阿姆斯特丹男子
- 南非FSCA因Musk和Rupert深度伪造广告引流对Banxso处以20亿兰特罚款
- 岘港警方逮捕三名因柬埔寨深度伪造婚恋诈骗团伙被通缉的韩国人
- Europol捣毁靠深度伪造名人广告输血的7亿欧元加密货币诈骗网络
- 乌拉圭内政部警告总统Orsi深度伪造视频，付费诈骗广告激增
- 曼谷警方捣毁用AI让受害者照片“动起来”以骗过银行KYC的中国团伙
- 瑞典金融人士深度伪造广告诱骗5000名储户陷入拉高出货骗局
- 菲律宾医生因总统Marcos深度伪造视频加持的投资骗局损失9300万比索
- 阿联酋经济部长称其面孔在社交媒体投资诈骗视频中被深度伪造
- 香港警方拘捕22人，涉用AI换脸遗失身份证开设银行账户
- 佩萨罗退休夫妇因Meloni推广投资网站的深度伪造视频损失逾1万欧元
- Old Mutual警告董事长Trevor Manuel推销虚假投资的深度伪造视频
- 阿根廷发言人Adorni的AI篡改视频推销虚假YPF投资平台
- 巴西警方捣毁利用Gisele Bundchen深度伪造视频投放Instagram广告的诈骗团伙
- 南非储备银行警告行长Kganyago推销投资的深度伪造视频
- Raila Odinga的X账户被黑后发布为加密代币代言的深度伪造视频诈骗肯尼亚人
- 智利考虑就投资诈骗广告中总统Boric的深度伪造视频提起国家法律行动
- 爱尔兰银行警告克隆总统候选人Heather Humphreys的深度伪造视频
- 武汉网警破获劫持MCN机构官方账号的AI换脸团伙
- 新西兰FMA通报利用本地商界领袖深度伪造视频的Meta广告拉高出货骗局
- PIB通报印度财长为QuantumAI致富计划代言的深度伪造视频
- 约旦网络犯罪部门警告深度伪造账户冒充公众人物
- 麦德林市长AI克隆声音被用于虚假Nubank投资平台付费广告
- AI语音冒充Marco Rubio通过Signal联系外国外长
- Netanyahu、Gadot和Musk深度伪造视频推动以色列Ostin股票拉高出货
- 孟买网络警察捣毁投放深度伪造股票专家广告的班加罗尔代理机构
- 微软：朝鲜Jasper Sleet IT工作者用AI伪造身份证件；3000个账户被停用
- 斯德哥尔摩警方警告Anders Tegnell和Agnes Wold的AI深度伪造广告窃取银行卡信息
- FSCA警告WhatsApp上出现其专员推广虚假Nedbank AI交易工具的深度伪造视频
- 秘鲁BCP谴责AI视频冒充Credicorp首席执行官Gianfranco Ferrari行骗
- 越南捣毁中国深度伪造性勒索团伙，近千名高管被敲诈800万美元
- 印尼警方逮捕三人，涉嫌在TikTok发布州长以50万印尼盾售摩托车的深度伪造视频
- Pindrop揭穿“Ivan X”：深度伪造工程求职者被追踪至俄朝边境附近
- 深度伪造高管Zoom会议骗新加坡财务总监转账49.9万美元
- 西班牙COINBLACK行动：6人因1900万欧元AI深度伪造名人加密货币骗局被捕
- QatarEnergy警告公众提防冒充其名义出售虚假投资的AI生成视频
- 马来西亚警方将Anwar、Trump、Musk和Petronas的五段深度伪造视频与诈骗关联
- 阿根廷联邦检察官调查部长Caputo推广Immediate AI的AI伪造视频
- 泄露文件揭露第比利斯呼叫中心利用Martin Lewis深度伪造视频诈骗6000人
- Sheinbaum谴责AI视频冒充她敦促墨西哥人投资Pemex股票
- AI克隆意大利国防部长声音诈骗企业高管
- Vidoc Security Lab在视频面试中当场识破两名深度伪造求职者
- 墨西哥Condusef警告AI语音克隆电话被用于索要大额银行转账
- 泰国警方逮捕波贝团伙两名成员，该团伙利用AI换脸冒充警察
- 印尼警方逮捕两名散布总统Prabowo承诺发放现金援助深度伪造视频的嫌疑人
- 法国女子被AI生成的“Brad Pitt”婚恋骗局骗走83万欧元，警方立案调查
- 巴西利亚警方VoiceOver行动捣毁利用Marcos Mion深度伪造视频行骗团伙
- 香港警方在九龙湾捣毁深度伪造婚恋加密货币诈骗集团，拘捕31人（涉款3400万港元）
其他研究中的相同案例档案
- 已在真实事件中出现 恶意行为者与滥用 · MIT AI Risk Repository · 共有 81 份
- 已在真实事件中出现 人们对 AI 陪伴者的信任变成了危害 · CAIS · 共有 1 份
来自其他来源、关联到部分相同案例档案的警告。
该组中的其他警告
- 早期迹象 AI 内容被用来左右人们的看法
- 已在真实事件中出现 犯罪分子和国家黑客在网络攻击中使用 AI
- 已在真实事件中出现 AI 承担了每次攻击中更多的环节，但尚未完全自主
- 尚无记录 AI 为制造生物和化学武器提供专家级帮助
- 已在真实事件中出现 AI 系统本身成为攻击目标