MIT AI Risk Initiative七个风险领域领域 4
恶意行为者与滥用
已在真实事件中出现182 份相符的案例档案
风险领域
有人利用 AI 大规模开展虚假信息、监控和宣传活动；实施网络攻击和制造武器；以及进行欺诈、诈骗和定向操纵。
根据来源转述。 来源: The AI Risk Repository: A Meta-Review, Database, and Taxonomy of Risks From Artificial Intelligence, MIT AI Risk Initiative, 2024年8月14日, 领域 4，表 2，第 8–9 页. MIT AI Risk Initiative 的摘要: airisk.mit.edu.
登记库显示的情况
登记库的另一大支柱：深度伪造欺诈、AI 构建的恶意软件、AI 网络钓鱼和国家行动。
已核实的案例档案显示，这一风险已在现实世界中发生。
每季度相符的案例档案
已在真实事件中出现实验室测试或研究人员演示
状态历史
| 日期 | 状态 | 匹配的案例档案 | 变化 |
|---|---|---|---|
| 2026年10月18日 | 已在真实事件中出现 | 180 | 开始跟踪 |
自2026年10月18日起跟踪。状态变更、关联首个真实案例时以及每月一次都会新增一行，从而记录一项警告何时从研究变为现实。 research_history.json
所有相符的案例档案
- 数百个 AI 智能体利用 PaperCut NG/MF 服务器窃取 Windows 凭据
- Storm-3168 利用失陷服务主体对 Azure 发起智能体化攻击
- AI 驱动的间谍活动瞄准政府 Linux 基础设施
- AEPD 披露西班牙首起 AI 驱动的数据泄露：AI 智能体实施多阶段数据窃取
- 美国公告：攻击者利用 AI 生成的漏洞利用脚本攻击暴露在外的西门子 (Siemens) S7 PLC
- 未知行为者利用 AI 驱动的 ARTEX 攻击韩国金融业
- Aurora 勒索软件运营者滥用 Cursor Agent AI 进行侦察和漏洞利用
- 滥用 ChatGPT 功能并结合 ClickFix，向通过 Google 搜索的用户投递木马
- ClaudeFix：利用共享的 Claude 对话投递 ClickFix 恶意软件指令
- Talos 发现 CLOSEDQUORUM：首个被报道的自主 AI C2 植入程序
- 智能体 AI 攻击利用 Zammad 零日漏洞攻击荷兰漏洞披露机构
- Meta AI 模型在评估期间利用了第三方安全漏洞
- 新 NGate 变种藏身于木马化 NFC 支付应用，可能借助 AI 构建
- 朝鲜 IT 工作者集群 PurpleDelta 使用 AI 人设和定制 ChatGPT 助手
- RatHat 恶意软件 C2 面板利用 AI 构建恶意软件并对约 100 个部署中的受害者进行排名
- 与中国相关的 TA419 冒充 AI 专家对美国 AI 政策圈内人士实施钓鱼
- UAT-11985 利用 AI 辅助的活动主题诱饵在台湾实施 Google AitM 钓鱼
- Unit 42 调查自主 AI 智能体数小时内攻破企业网络事件
- 攻击者利用 AI 工具对拉丁美洲机构实施数据外泄
- 美国首例AI音乐流媒体欺诈案宣判，机器人刷取800万美元版税
- 冒充 CEO 的 WhatsApp 消息加克隆律师声音，诱骗联合圣保罗银行（Intesa Sanpaolo）旗下 Fideuram 向境外汇出 9500 万欧元
- 希腊警方捣毁用AI克隆亲属声音盗取逾100万欧元的团伙
- GTG-10007：中文学生运行自主Claude漏洞利用工厂攻击50家机构
- GTG-15001：中国工作室用4700个Claude人设运营20多款交友应用，2.5万人受害
- GTG-30006：伊朗账户用Claude构建钓鱼门户和SECOMS64植入程序
- GTG-50029：法语独行黑客行动主义者攻破14个欧洲政治实体
- 亲俄行为者利用AI代理自动重构恶意软件并窃取身份记录
- ShinyHunters关联者用AI代理从40余个租户转储2,100余个Azure令牌
- Sandworm相关集群用Gemini编写针对乌克兰的密码喷洒脚本
- Mandiant案例：一条提示构建的AI代理在6小时内收集数千个凭据
- 海德堡警方：75岁老人因名人深度伪造投资视频损失六位数金额
- SilkParasite：中国相关中亚间谍活动使用AI辅助诱饵和RAT代码
- NSA、CISA、FBI警告AI生成脚本伪装成OT监控工具探测西门子S7 PLC
- 澳大利亚NASC：Albanese和九位公众人物的深度伪造涉及740万澳元损失
- 挪威税务局发现AI生成的假收据支撑20亿克朗虚假退税申请
- OpenAI打击使用ChatGPT进行诈骗和人口贩运管理的波贝诈骗园区
- 趋势科技：APT将AI代理伪装成授权渗透测试攻击东南亚机构
- 趋势科技：Earth Krahang和Earth Naga将生成式AI融入漏洞利用和加载器
- 芬兰警方警告Google Meet深度伪造冒充国家警察总监
- TuxBot v3：Keksec相关物联网僵尸网络借LLM构建，仍保留安全免责声明
- 印度珠宝商Sky Gold子公司因疑似董事深度伪造损失10.7亿卢比
- 哥伦比亚Dijin捣毁伊瓦格用深度伪造冒充美国领事官员的团伙
- 550 余条 TikTok 视频借 AI 生成主播散布有关新加坡和马来西亚的虚假信息
- 萨克森女子因Markus Lanz深度伪造视频推广Investhub 3.0损失逾100万欧元
- JADEPUFFER：LLM代理端到端执行从Langflow入侵到数据库勒索
- 东京警方逮捕台湾收款人，涉用堀江贵文深度伪造视频的1亿日元骗局
- 千叶警方逮捕在朝日攻击新闻后用AI制作勒索软件的19岁青年
- Lahav 433逮捕用AI让被盗证件照片“动起来”开设银行账户的20岁男子
- 尼日利亚警方逮捕制作归于总统Tinubu的病毒式AI语音片段的男子
- Sophos发现勒索软件相关行为者用Cursor和Claude代理构建EDR规避手段
- 土耳其“Yapay Zeka-2”行动：16人因模仿官员声音的深度伪造广告被拘
- Nimbus Manticore的MiniFast后门显示伊朗冲突期间的AI辅助编码
- 圣保罗警方与OAB-SP捣毁克隆律师声音的假律师团伙；涉款1000万雷亚尔
- 新加坡商人与深度伪造总理黄循财Zoom会议后损失490万新元
- 佛罗里达州立大学（FSU）枪击案受害者家属称 ChatGPT 协助了 2025 年校园枪手
- GTIG拦截首个AI开发的零日漏洞：热门开源管理工具的2FA绕过
- 朝鲜APT45向Gemini输入数千条提示以验证漏洞利用并扩充武器库
- 俄罗斯相关CANFAIL和LONGSTREAM恶意软件用LLM填充代码迷惑分析人员
- PROMPTSPY Android后门让Gemini操控受害者屏幕并阻止卸载
- 中国相关UNC2814冒充C/C++安全审计员让Gemini寻找TP-Link漏洞
- Sysdig：LLM代理从marimo RCE转向内部Postgres转储，不到一小时
- 加纳警方逮捕16名利用总统Mahama AI深度伪造视频索要钱财的嫌疑人
- WKStA和阿尔巴尼亚警方突袭使用Van der Bellen假视频的加密货币呼叫中心
- Tumbler Ridge 枪击案受害者就 OpenAI 未上报被标记的 ChatGPT 账号提起诉讼
- 艾哈迈达巴德警方捣毁用深度伪造视频骗过Aadhaar人脸核验申请贷款的团伙
- 法兰西银行警告行长Villeroy de Galhau推销投资的深度伪造视频
- 孟加拉国警方逮捕10名用传教士Azhari深度伪造视频销售非法药物的嫌疑人
- Talos IR：公共部门凭据被用Softr AI构建器“氛围编程”的钓鱼页面窃取
- Unit 42：Go投放器根据主机遥测询问GPT-4是否部署Sliver
- 仿冒域名上的 AI 生成 ClickFix 站点投递 SmartRAT
- 微软：朝鲜Coral Sleet运行从诱饵到载荷测试的智能体AI工作流
- Jasper Sleet IT工作者使用Faceswap和变声器；数千账户被封
- HP Wolf：AI生成的“氛围黑客”感染脚本绕过邮件网关
- OnlyFake创建者认罪，曾出售1万多份AI制作的假证件用于KYC欺诈
- 伊朗相关组织Dust Specter用带生成式AI痕迹的恶意软件攻击伊拉克官员
- 黑客利用Claude入侵墨西哥政府机构，窃取150GB税务与选民数据
- 拉各斯法院因使用Peter Obi AI克隆形象的2.3亿奈拉外汇骗局羁押一名男子
- COINBAIT加密交易所钓鱼套件由Lovable AI应用构建器打造
- 谷歌：国家黑客全程使用Gemini；10万提示词提取尝试被拦截
- HONESTCUE加载器让Gemini编写全新C#第二阶段代码并在内存中编译
- Okonjo-Iweala提醒尼日利亚人警惕利用其形象推销虚假投资计划的AI视频
- 土耳其警方因4.1亿里拉深度伪造官员投资骗局羁押五人
- 朝鲜UNC1069以AI深度伪造视频伪造Zoom会议攻击加密货币公司
- CERT-FR：42个攻击组织积极使用生成式AI，尚无针对法国的自主AI攻击
- 萨里PCC：退休工程师因Martin Lewis深度伪造投资视频损失2万英镑
- 台湾团伙用Starlink和深度伪造面孔击破数字人民币核验，盗走2亿新台币
- 台中起诉用ChatGPT写话术、视频通话中深度伪造日本警察的诈骗团伙
- VoidLink云恶意软件框架被发现主要由AI代理构建
- NBK在科威特央行“让我们警惕”活动下警告深度伪造投资广告
- 埃及检方下令追查歌手Haifa Wehbe的AI伪造色情视频
- 荷兰警方逮捕用深度伪造通过银行身份核查开设46个账户的阿姆斯特丹男子
- 南非FSCA因Musk和Rupert深度伪造广告引流对Banxso处以20亿兰特罚款
- 岘港警方逮捕三名因柬埔寨深度伪造婚恋诈骗团伙被通缉的韩国人
- Europol捣毁靠深度伪造名人广告输血的7亿欧元加密货币诈骗网络
- Unit 42测试WormGPT 4和KawaiiGPT：能编写勒索软件脚本的犯罪LLM
- 乌拉圭内政部警告总统Orsi深度伪造视频，付费诈骗广告激增
- 中国国家背景组织利用Claude Code开展高度自主的间谍活动
- 曼谷警方捣毁用AI让受害者照片“动起来”以骗过银行KYC的中国团伙
- 中国相关行为者以CTF借口绕过Gemini拒绝获取漏洞利用指导
- 伊朗MuddyWater调试恶意软件时向Gemini泄露C2域名和加密密钥
- 谷歌披露PROMPTFLUX等在运行时调用Gemini的恶意软件
- QUIETVAULT窃密程序利用本地AI CLI工具搜寻机密，泄露GitHub和npm令牌
- SesameOp后门数月间利用OpenAI Assistants API作为隐蔽指挥控制通道
- 瑞典金融人士深度伪造广告诱骗5000名储户陷入拉高出货骗局
- Kaspersky：BlueNoroff的GhostCall和GhostHire活动借生成式AI提速
- 菲律宾医生因总统Marcos深度伪造视频加持的投资骗局损失9300万比索
- 阿联酋经济部长称其面孔在社交媒体投资诈骗视频中被深度伪造
- 香港警方拘捕22人，涉用AI换脸遗失身份证开设银行账户
- 朝鲜相关集群利用ChatGPT开发C2工具钓鱼首尔外交官
- 俄语犯罪分子用ChatGPT代码片段拼装RAT和凭据窃取程序
- 柬埔寨、缅甸和尼日利亚诈骗网络用ChatGPT打造投资诈骗人设
- UNK_DropPitch利用ChatGPT针对台湾芯片行业制作钓鱼内容和工具
- 佩萨罗退休夫妇因Meloni推广投资网站的深度伪造视频损失逾1万欧元
- Old Mutual警告董事长Trevor Manuel推销虚假投资的深度伪造视频
- 阿根廷发言人Adorni的AI篡改视频推销虚假YPF投资平台
- 巴西警方捣毁利用Gisele Bundchen深度伪造视频投放Instagram广告的诈骗团伙
- 南非储备银行警告行长Kganyago推销投资的深度伪造视频
- 微软拦截使用LLM生成混淆SVG文件的钓鱼活动
- SentinelLABS发现MalTerminal：GPT-4驱动的恶意软件生成器
- Raila Odinga的X账户被黑后发布为加密代币代言的深度伪造视频诈骗肯尼亚人
- 智利考虑就投资诈骗广告中总统Boric的深度伪造视频提起国家法律行动
- Kimsuky利用ChatGPT伪造韩国军人证件实施鱼叉式钓鱼
- 爱尔兰银行警告克隆总统候选人Heather Humphreys的深度伪造视频
- 武汉网警破获劫持MCN机构官方账号的AI换脸团伙
- 朝鲜特工利用Claude通过面试并在财富500强企业任职
- 独行犯罪者在论坛以400至1200美元出售Claude构建的勒索软件变种
- Claude Code被用于自动化勒索攻击17家组织
- ESET发现PromptLock：利用本地gpt-oss模型编写脚本的勒索软件 · 实验室测试或研究人员演示
- Proofpoint：Lovable AI构建器被滥用于Tycoon钓鱼，波及5000多家机构
- 新西兰FMA通报利用本地商界领袖深度伪造视频的Meta广告拉高出货骗局
- PIB通报印度财长为QuantumAI致富计划代言的深度伪造视频
- CrowdStrike：朝鲜FAMOUS CHOLLIMA用生成式AI渗透320多家公司
- AI编写的npm包@kodane/patch-manager在1500次下载后清空Solana钱包
- 约旦网络犯罪部门警告深度伪造账户冒充公众人物
- 麦德林市长AI克隆声音被用于虚假Nubank投资平台付费广告
- LameHug：与APT28相关的恶意软件调用Qwen大模型生成命令
- GLOBAL GROUP RaaS部署AI聊天机器人谈判员施压索取七位数赎金
- 肯尼亚抗议期间总统Ruto辞职的AI视频在TikTok获140万次观看
- AI语音冒充Marco Rubio通过Signal联系外国外长
- Netanyahu、Gadot和Musk深度伪造视频推动以色列Ostin股票拉高出货
- 孟买网络警察捣毁投放深度伪造股票专家广告的班加罗尔代理机构
- 微软：朝鲜Jasper Sleet IT工作者用AI伪造身份证件；3000个账户被停用
- Cato CTRL：新WormGPT变种是基于Grok和Mixtral的越狱封装
- ScopeCreep：俄语行为者用ChatGPT一次性账户构建Windows恶意软件
- VAGue Focus：与中国有关的账户用ChatGPT对美国官员和媒体实施社会工程
- OpenAI封禁APT15和APT5账户，它们用ChatGPT进行渗透测试自动化和美国侦察
- Wrong Number：柬埔寨任务诈骗用ChatGPT将短信诱饵翻译成六种语言
- 斯德哥尔摩警方警告Anders Tegnell和Agnes Wold的AI深度伪造广告窃取银行卡信息
- FBI警告AI语音钓鱼活动冒充美国高级官员劫持账户
- FSCA警告WhatsApp上出现其专员推广虚假Nedbank AI交易工具的深度伪造视频
- 秘鲁BCP谴责AI视频冒充Credicorp首席执行官Gianfranco Ferrari行骗
- 越南捣毁中国深度伪造性勒索团伙，近千名高管被敲诈800万美元
- 印尼警方逮捕三人，涉嫌在TikTok发布州长以50万印尼盾售摩托车的深度伪造视频
- Anthropic封禁利用Claude构建物联网安防摄像头凭据抓取工具的行为者
- 编程新手借助Claude扩展人肉搜索工具包和可规避检测的恶意软件生成器
- 招聘诈骗团伙利用Claude润色针对东欧的假招聘经理诱饵
- AkiraBot利用GPT-4o-mini通过联系表单和聊天插件向8万个网站发送垃圾信息
- Pindrop揭穿“Ivan X”：深度伪造工程求职者被追踪至俄朝边境附近
- 深度伪造高管Zoom会议骗新加坡财务总监转账49.9万美元
- 西班牙COINBLACK行动：6人因1900万欧元AI深度伪造名人加密货币骗局被捕
- Xanthorox AI：自托管五模型犯罪平台，自称WormGPT终结者
- QatarEnergy警告公众提防冒充其名义出售虚假投资的AI生成视频
- 马来西亚警方将Anwar、Trump、Musk和Petronas的五段深度伪造视频与诈骗关联
- 阿根廷联邦检察官调查部长Caputo推广Immediate AI的AI伪造视频
- 泄露文件揭露第比利斯呼叫中心利用Martin Lewis深度伪造视频诈骗6000人
- Sheinbaum谴责AI视频冒充她敦促墨西哥人投资Pemex股票
- 柬埔寨婚恋诱骗诈骗团伙利用ChatGPT生成多语言社交诱饵
- OpenAI打击编写虚假简历和面试话术的朝鲜IT工作者账户
- Kimsuky和BlueNoroff利用ChatGPT调试RDP暴力破解代码并研究入侵手段
- OpenAI封禁与中国有关的Peer Review网络，该网络在开发“千月”社交媒体监控工具
- AI克隆意大利国防部长声音诈骗企业高管
- Vidoc Security Lab在视频面试中当场识破两名深度伪造求职者
- 墨西哥Condusef警告AI语音克隆电话被用于索要大额银行转账
- 泰国警方逮捕波贝团伙两名成员，该团伙利用AI换脸冒充警察
- 印尼警方逮捕两名散布总统Prabowo承诺发放现金援助深度伪造视频的嫌疑人
- GhostGPT：在Telegram上出售的无审查聊天机器人，为犯罪分子编写恶意软件和钓鱼内容
- Storm-1516以百余个AI撰写假新闻网站和深度伪造视频充斥德国大选
- 法国女子被AI生成的“Brad Pitt”婚恋骗局骗走83万欧元，警方立案调查
- 巴西利亚警方VoiceOver行动捣毁利用Marcos Mion深度伪造视频行骗团伙
- Check Point：FunkSec勒索软件团伙借助AI编写Rust加密器
- 警方称拉斯维加斯Cybertruck爆炸案凶手曾用ChatGPT策划爆炸
- 香港警方在九龙湾捣毁深度伪造婚恋加密货币诈骗集团，拘捕31人（涉款3400万港元）
其他研究中的相同案例档案
- 已在真实事件中出现 AI 让网络攻击更容易、更快、规模更大 · CAIS · 共有 87 份
- 已在真实事件中出现 犯罪分子和国家黑客在网络攻击中使用 AI · International AI Safety Report · 共有 87 份
- 已在真实事件中出现 AI 制作的伪造内容助长欺诈和勒索 · International AI Safety Report · 共有 81 份
- 已在真实事件中出现 有人会放出 AI 智能体去造成危害 · CAIS · 共有 17 份
- 已在真实事件中出现 AI 承担了每次攻击中更多的环节，但尚未完全自主 · International AI Safety Report · 共有 16 份
- 已在真实事件中出现 测试过的每个 AI 系统都能被越狱 · UK AISI · 共有 5 份
来自其他来源、关联到部分相同案例档案的警告。