AI Threat Watch

案例 carmel-ny-principal-deepfake-tiktok深度伪造滥用美国

高中生在 TikTok 上发布 AI 深度伪造视频,冒充纽约州 Carmel 一名校长发表种族主义威胁言论

Carmel High School 的学生在 TikTok 上发布了经 AI 篡改的视频,视频看似显示一名初中校长和一名警长办公室的驻校警官对黑人学生发表种族主义和暴力言论。学区称这些片段是利用人工智能制作的虚假视频,并依据行为准则对相关学生给予处分。

中利用 AI 的攻击状态: 已解决已核实案例档案

在交互式地图中打开引用此案例

报道日期
2023年2月17日
地点
美国
目标
George Fischer Middle School 校长及 Carmel Central School District 的其他教职员工
严重程度
中
核实状态
经受害方、厂商或官方确认
发起者
Carmel High School 学生(未成年人,未公开姓名)
行为者类型
未知
行业
教育与科研
已报告损失
未报告
CVE
无

发生了什么

Carmel High School 的学生在 TikTok 上发布了经 AI 篡改的视频,视频看似显示一名初中校长和一名警长办公室的驻校警官对黑人学生发表种族主义和暴力言论。学区称这些片段是利用人工智能制作的虚假视频,并依据行为准则对相关学生给予处分。

影响: 归于一名校长和一名警官名下的种族主义威胁言论在学生和家长中传播;家长批评学区在学生安全问题上沟通迟缓。

谁发起了攻击

行为者: Carmel High School 学生(未成年人,未公开姓名)

归因: 学区称这些片段由高中生制作并发布;VICE 报道称有三名学生牵涉其中。

动机: 不明;据报道为恶作剧或骚扰

如何发生

攻击途径: 将校长晨间广播的真实画面用 AI 模仿的音频重新配音,并发布在 TikTok 上

根本原因: 语音克隆工具易于获取,且没有法律条款规制对教职员工的深度伪造冒充行为

时间线

  1. 视频首次被报告给学校官员
  2. 教育委员会称这些片段是利用人工智能制作的虚假视频
  3. WABC 报道称学生受到处分,包括停学
  4. VICE 报道了家长的批评,并称没有人因此被指控犯罪

应对

教育委员会谴责了这些视频;相关学生受到处分,包括停学。据报道没有人被提起刑事指控。

当前状态: 已解决

来源(在新标签页打开)

引用此案例

高中生在 TikTok 上发布 AI 深度伪造视频,冒充纽约州 Carmel 一名校长发表种族主义威胁言论. AI Threat Watch, 案例 carmel-ny-principal-deepfake-tiktok, 2023年2月17日. https://aithreat.io/zh/cases/carmel-ny-principal-deepfake-tiktok/

永久链接: https://aithreat.io/zh/cases/carmel-ny-principal-deepfake-tiktok/

相关案例

同类事件,按时间由新到旧。

此案例的其他语言版本: EnglishFrançaisEspañolالعربية中文Русский