AI 安全事件类型术语表
本站用于分类每份案例档案的九种类型的通俗定义,并附每种类型案例的链接。
提示注入
提示注入是一种攻击:AI 模型读取的文本(如网页、文档或电子邮件)中夹带指令,模型将其当作用户或运营者的指令执行。它可使助手泄露数据、执行不该执行的操作或无视安全规则。这是针对大语言模型系统最常见的一类攻击。
深度伪造欺诈
深度伪造欺诈利用 AI 生成的语音、视频或图像冒充真人(通常是高管、亲属或公众人物)以欺骗受害者。典型案例包括授权付款的虚假视频通话,以及用于诈骗电话的克隆语音。损失往往由警方或法院而非受害者公布。
AI 辅助恶意软件
AI 辅助恶意软件是在 AI 模型帮助下编写、改造或操控的恶意软件。它包括由助手生成的代码、在运行时调用模型决定下一步的恶意软件,以及基于语言模型构建的犯罪工具包。AI 降低了制作可用攻击代码所需的技能和时间。
AI 供应链
AI 供应链事件破坏的是 AI 系统所依赖的组件:模型文件、数据集、开发工具、扩展、软件包仓库或托管平台。一个恶意或存在漏洞的组件可以波及所有安装它的项目。案例包括投毒的软件包、植入后门的模型和被攻陷的编程助手。
模型与数据泄露
模型与数据泄露指 AI 系统所持有的信息被暴露:用户对话、API 密钥、训练数据、模型权重或内部配置。原因从配置错误的数据库和存储,到模型外围应用的缺陷。危害取决于暴露了什么以及暴露了多久。
LLM 劫持
LLM 劫持是窃取付费 AI 模型的访问权限,通常通过被盗的云凭据或 API 密钥。攻击者运行自己的工作负载或转售访问权限,账单却由受害者承担。它是 AI 领域的“加密货币劫持”。
代理劫持
代理劫持是控制一个 AI 代理(即配有浏览器、命令行、电子邮件或支付系统等工具的模型),使其对抗其所有者。入口通常是提示注入或被攻陷的工具,代理的权限随之变成攻击者的权限。损害包括文件被删除、数据泄露以及自动执行的未授权操作。
AI 钓鱼
AI 钓鱼利用语言模型大规模撰写、翻译和个性化欺诈信息,或搭建窃取凭据的虚假网站和聊天机器人。文本流畅且有针对性,拼写错误等传统警示信号随之消失。案例包括针对官员、企业和消费者的活动。
国家行为者 AI 行动
国家行为者 AI 行动指与政府相关的团体将 AI 用于间谍活动、影响力行动或网络攻击。报告主要来自检测并封禁相关账户的 AI 提供商,以及政府机构。归因按来源的表述及其置信度如实记录。