AI Threat Watch

教育领域与青少年中的 AI 事件

全球范围内经核实的案例:人工智能对学生、儿童、青少年以及教育他们的人员和机构造成了损害。内容包括统计数据、案例研究、学校和主管部门的应对,以及各国政府、监管机构和教育机构已出台的预防措施和法律。

儿童保护:本站不点名任何儿童受害者或儿童加害者。仅当其家人在法庭或主流媒体上公开了姓名时,才会提及该青少年的姓名。

95案例档案
93涉及青少年
46发生在学校或大学
30国家
71%被评为严重或高

按发生场所统计的年度案例数

学校大学网络家中
010203040学校: 8大学: 2网络: 4142023学校: 12大学: 1网络: 5家中: 2202024学校: 10大学: 4网络: 13家中: 7342025学校: 7大学: 2网络: 14家中: 4272026

每个案例按其首次被报道的年份只计一次。发生场所与涉及人员分开记录:在家中受到聊天机器人伤害的青少年计为青少年案例,而不计为学校事件。

事件类型

深度伪造滥用43
聊天机器人伤害35
AI 工具误判6
AI 考试作弊5
AI 辅助恶意软件2
模型与数据泄露2
深度伪造欺诈1
提示注入1

发生场所

学校37
大学9
网络36
家中13

涉及青少年的年龄

儿童(13 岁以下)4
青少年(13 至 17 岁)73
青年(18 至 24 岁)14
年龄未说明2

全球分布

国家档案数
美国42
韩国6
澳大利亚5
英国5
加拿大3
日本3
印度3
阿根廷2
巴西2
西班牙2
意大利2
墨西哥1

案例档案最多的国家。计数反映的是事件在哪里被报道和研究,因此对我们所监测语言中媒体报道较少的国家有所低估。

案例研究

精选案例,包括事件经过,以及学校和主管部门的应对,均记录于各案例档案。

深度伪造滥用韩国

韩国校园深度伪造危机:Telegram 聊天室针对学生,总统尹锡悦下令严打

发生了什么
2024 年 8 月,人们发现与学校和大学相关的 Telegram 聊天室在传播女学生的 AI 性深度伪造内容,其中一个约有 1200 名成员的聊天室针对 30 多名仁荷大学(Inha University)学生;警方称 2024 年初查明的嫌疑人中 73.6% 为未成年人。总统尹锡悦下令严打,警方启动为期七个月的专项行动,9 月 26 日国会将持有或观看性深度伪造内容定为犯罪。
学校和主管部门的应对
KNPA 借助检测软件开展为期七个月的严打;国民议会将购买、保存或观看性深度伪造内容定为犯罪(最高 3 年),并将制作此类内容的最高刑期提高到 7 年
状态
进行中

深度伪造滥用西班牙

阿尔门德拉莱霍 20 多名女学生被 AI“脱衣”应用制作虚假裸照;15 名未成年人后被定罪

发生了什么
12 至 14 岁的男孩从社交媒体获取女孩们的照片,使用 AI 应用将其面部合成到裸体上,并在 WhatsApp 和 Telegram 群组中传播这些图片,导致至少 22 起报警投诉。2024 年 7 月,巴达霍斯(Badajoz)青少年法庭以制作儿童性虐待材料 20 项罪名和侵犯道德完整性 20 项罪名,对 15 名未成年人定罪,每人被判一年缓刑。
学校和主管部门的应对
国家警察和中央网络犯罪部门展开调查,案件移交青少年检察官,西班牙数据保护机构也启动了自己的调查;15 名男孩被判一年缓刑,并须参加性别平等和负责任使用技术的课程
状态
已解决

深度伪造滥用美国

体育主任用 AI 生成的种族主义和反犹音频陷害 Pikesville High 校长

发生了什么
2024 年 1 月,一段似乎是 Pikesville High 校长 Eric Eiswert 发表种族主义和反犹言论的音频在社交媒体上传播;警方和一名受 FBI 聘用的分析人员发现,该音频由 AI 生成并经过人工剪辑。前体育主任 Dazhon Darien 于 2024 年 4 月被捕,并于 2025 年 4 月就扰乱学校运作一项作出 Alford 答辩,被判处四个月监禁。
学校和主管部门的应对
2024 年 4 月 25 日被捕,罪名包括跟踪骚扰、盗窃、报复证人和扰乱学校运作;2025 年 4 月作出 Alford 答辩,其他指控被撤销;Eiswert 于 2025 年 1 月起诉学区和 Darien。
状态
已解决

AI 工具误判美国

Omnilert 人工智能枪支检测系统将巴尔的摩县一所学校学生手中的薯片袋误报为枪支,警方给其戴上手铐

发生了什么
Omnilert 的人工智能摄像头系统将一名学生在美式橄榄球训练后手持的空 Doritos 薯片袋标记为疑似枪支,武装警察随即对该学生搜身并戴上手铐。学区安保团队此前已取消该警报,但校长并不知情,仍将其上报给学校驻校警官,后者随即报警。
学校和主管部门的应对
Omnilert 对此表示遗憾,但称流程按设计正常运行;县议会议员呼吁对该系统进行审查;学区总监表示审查是常规做法的一部分
状态
已解决

聊天机器人伤害黎巴嫩

黎巴嫩一家起诉 OpenAI,指控 ChatGPT 导致其 15 岁儿子自杀

发生了什么
Matias Habib 于 2026 年 4 月去世,年仅 15 岁。其父母在旧金山对 OpenAI 和 Sam Altman 提起过失致死诉讼,指控 ChatGPT 将他引向虚无主义,并在他询问自杀问题时未采取任何行动。
学校和主管部门的应对
诉讼由 Social Media Victims Law Center 和 Tech Justice Law Project 在加利福尼亚州旧金山县高等法院提起,纳入 ChatGPT 协调程序(JCCP)。截至报道时,OpenAI 尚未公开置评。
状态
进行中

AI 考试作弊GH

WAEC 因 AI 生成答案扣留加纳 235 所学校考生的 WASSCE 成绩

发生了什么
西非考试委员会(WAEC)以串通作弊和在 2023 年 WASSCE 中使用 AI 生成答案为由,扣留了加纳 235 所学校考生的科目成绩。WAEC 表示,部分考生把聊天机器人的出错回复,例如“I'm not familiar with the term you have used”,原样抄进了答题册。
学校和主管部门的应对
成绩在调查期间被扣留;WAEC 表示不能排除学校工作人员和家长参与其中
状态
调查中

模型与数据泄露美国

美联社(AP)与 The Seattle Times 获得华盛顿州温哥华市约 3500 份未经涂黑、被 Gaggle AI 监控标记的学生文件

发生了什么
The Seattle Times 与美联社(AP)通过公共记录申请,获得了指向近 3500 张未经涂黑的学生文字截图的链接,这些截图均被 Gaggle 的 AI 监控系统标记,内容涉及自杀、抑郁、虐待和性取向,任何人只要拥有链接即可查看,无需密码。至少有六名学生因撰写与同性恋或跨性别相关的内容,可能被向学校官员曝光了身份。
学校和主管部门的应对
学区已道歉;Gaggle 修改了系统,截图在 72 小时后需要登录才能访问
状态
已控制

学校和主管部门的应对

在发生于学校或大学的 46 个案例档案中,各档案记录的应对情况,均来自案例档案所引用的来源。

案例学校和主管部门的应对
科钦一名大学生因将教师照片用 AI 篡改为性图像并在 Telegram 群组中传播被捕 印度, 2026学院将其开除;依据 BNS、《信息技术法》第 67 条和第 67A 条以及《喀拉拉邦警察法》将其逮捕并还押;成立了有网络专家参与的特别调查组。
坦桑尼亚国家考试委员会(NECTA)因考生在考试中用手机访问 ChatGPT,取消 58 名六年级(Form Six)考生的成绩 TZ, 2026成绩被取消;NECTA 表示 AI 工具无法让考生获得优势
新西兰教师因学生制作其 AI 深度伪造色情内容和 TikTok 伪造视频而无法工作 新西兰, 2026视频已向 TikTok 和 Netsafe 举报;相关内容可依据《有害数字通信法》(Harmful Digital Communications Act)予以移除。
古瓦哈提多所学校因女学生和教师的 AI 深度伪造图像而停学涉事学生 印度, 2026事件已移交学校的儿童虐待监察委员会;涉事学生被停学;学校与家长举行了会议。
路易斯安那州一名学生因 AI 生成持枪照片致 Southside High 就地避险而被控恐吓罪 美国, 2026该学生依据 La. R.S. 14:40.1(恐吓罪)被指控;警察局长宣布对此类威胁零容忍。
佛罗里达州立大学(FSU)枪击案受害者家属称 ChatGPT 协助了 2025 年校园枪手 美国, 2026OpenAI 称,ChatGPT 给出的是基于事实的回答,所涉信息在网上广泛可得,并称其已配合执法部门。目前仍不清楚这些回答在多大程度上影响了袭击。
Tumbler Ridge 枪击案受害者就 OpenAI 未上报被标记的 ChatGPT 账号提起诉讼 加拿大, 2026Sam Altman 公开道歉,称未就被封禁账号向警方示警。OpenAI 称其会上报迫在眉睫的可信威胁,并已加强安全防护。
伊拉克利翁(Heraklion)学生利用 AI 将女教师和女同学的照片变成色情图像 GR, 2026学校管理层根据投诉采取行动,并由儿童心理学家协助处理此案;未有警方介入的报道。
PSNI 调查 Royal School Armagh 学生间传播的 AI 生成露骨图像 英国, 2026学校已将此事报告有关当局;PSNI 正与学校和家庭一起展开调查;英国政府已提出立法,将未经同意制作性深度伪造内容定为犯罪
仁川一名高中生因制作两名教师和同学的色情深度伪造内容被起诉并被判入狱 韩国, 2025依据性犯罪特别法被起诉;于2026年9月16日被判刑并被羁押,同时被判接受治疗项目,并被禁止从事与青少年相关的工作五年;仁川教育厅承诺为教师提供法律和心理支持。
路易斯安那州男生因 8 名女生的 AI 裸照依新法被起诉,一名受害者曾被开除 美国, 2025警长对一名男生(2025 年 9 月 15 日被登记收押)以及另一名男生(12 月)各提出 10 项指控;学校董事会让该女生复学并处于留校察看状态;学区表示正开始制定人工智能相关政策
延世大学(Yonsei University)数十名学生承认在 ChatGPT 课程的线上期中考试中使用 ChatGPT 韩国, 2025延世大学计划通过其人工智能与社会创新研究所(Institute for AI and Social Innovation)召开紧急公开听证会
Omnilert 人工智能枪支检测系统将巴尔的摩县一所学校学生手中的薯片袋误报为枪支,警方给其戴上手铐 美国, 2025Omnilert 对此表示遗憾,但称流程按设计正常运行;县议会议员呼吁对该系统进行审查;学区总监表示审查是常规做法的一部分
学生利用 AI 和同学照片伪造针对密歇根州一所高中的持械威胁 美国, 202510 月 20 日增加警力部署;学生被清出校园;案件移交县警长办公室进行指控审查。
澳大利亚天主教大学(Australian Catholic University,ACU)记录约 6000 起学术不端案件,多数涉及 AI,且常依赖 Turnitin 的检测器 澳大利亚, 2025ACU 于 2025 年 3 月关闭 Turnitin 的 AI 指标,表示遗憾,并修改了其诚信处理流程
日本警方:针对未成年人的性深度伪造内容中,超过半数由同学制作,许多取材于校园照片 日本, 2025日本警察厅研究了约 10 款热门图像生成应用;警方适用了诽谤罪和淫秽相关法律;鸟取县于 2025 年 8 月禁止制作儿童性伪造图像
堪萨斯州 Lawrence 的九名学生起诉学区:Gaggle AI 监控标记并删除了他们的作业 美国, 2025学区拒绝就诉讼置评;该学区曾在 2024 年表示,将根据 2026 年 7 月到期的三年期合同继续使用 Gaggle
香港大学法律系学生被指制作 700 多张涉及 20 至 30 名女性的 AI 色情图片,受害者包括同学和教师 香港, 2025HKU 发出警告信并要求其道歉,随后表示案件仍未结案;香港个人资料私隐专员公署展开刑事调查;政府表示如有需要将检讨相关法律。
Nikkei 发现 14 所大学的 17 篇预印本中藏有指示 AI 审稿人夸赞论文的隐藏提示词 日本, 2025KAIST 否认认可此类做法;各出版商关于 AI 审稿的政策并不一致
越南警方对考生在全国考试中使用 ChatGPT、Gemini 和 StudyX 的行为刑事立案 越南, 2025依据《刑法典》中涉及国家秘密的条款立案;公安部下令紧急展开调查
阿德莱德私立学校因学生制作教师深度伪造图像而将其停学,已通报警方 澳大利亚, 2025学生被无限期停学;已通知南澳大利亚警方。此案发生在南澳大利亚州通过将露骨或暴力深度伪造内容定为犯罪的法律数日之后。
美联社(AP)与 The Seattle Times 获得华盛顿州温哥华市约 3500 份未经涂黑、被 Gaggle AI 监控标记的学生文件 美国, 2025学区已道歉;Gaggle 修改了系统,截图在 72 小时后需要登录才能访问
纳什维尔安提奥克高中(Antioch High School)的 Omnilert AI 枪支检测系统在致命校园枪击案中未能发现枪支 美国, 2025学区称没有任何单一系统能够捕捉一切;一名受伤学生于 2026 年 5 月起诉了 Omnilert 及安装商 System Integrations;学区随后在初中和高中安装了 Evolv 安检设备
Lancaster Country Day School 两名男生因 59 名未成年人的 AI 篡改性图像被起诉 美国, 2024地方检察官提起少年指控,并认定根据现行报告法律,学校工作人员不承担刑事责任;宾夕法尼亚州新的 AI 儿童虐待材料法律于 2024 年 12 月 20 日生效;两名男孩均被判缓刑、60 小时社区服务及禁止接触令
FTC 对 Evolv 采取行动:其 AI 武器扫描仪漏检了一把在校内刺伤学生的刀具 美国, 2024拟议命令允许在 2022 年 4 月至 2023 年 6 月期间签约的 K-12 客户取消合同;不涉及金钱赔偿
新加坡警方调查 Singapore Sports School 男同学制作女生 deepfake 裸照事件 新加坡, 2024校方向警方报案,对部分学生施以藤条责罚,并给予停学处分和禁止参加体育活动出行的处罚;警方约谈了学生、扣押了设备,并要求删除相关图像
首尔法院判处一名首尔大学毕业生 10 年监禁,其通过 Telegram 制作至少 61 名女性的深度伪造视频 韩国, 2024被告被捕并被定罪;一审中 Park 被判 10 年,Kang 被判 4 年
印度莫拉达巴德两名九年级学生因发布 AI 生成的教师淫秽图像被立案 印度, 2024依据《信息技术法》(IT Act)登记 FIR;警方展开调查并设法删除图像。
韩国教师工会发现,在 Telegram 丑闻中有 204 名教师遭校园深度伪造性犯罪侵害 韩国, 2024教育部成立了深度伪造紧急工作组;各部门同意建设深度伪造性内容的自动检测;警方对 Telegram 展开调查。
危地马拉检方突击搜查多处住所,涉案学生用 AI 篡改女同学性爱图像 GT, 20242024 年 8 月 10 日提出控告;展开突击搜查并扣押设备;SVET 按副总统的指示提出控告;Mineduc 启动了协议,学校将嫌疑学生隔离并向国家民事警察报案
举报人称:在供应商 AllHere 崩溃之前,LAUSD 耗资 600 万美元的“Ed”AI 聊天机器人已将学生数据传往海外 美国, 2024LAUSD 终止与 AllHere 的合作,并称 Ed 的数据仍归学区所有并受到保护;监察长约谈了举报人
墨尔本一名学生用 AI 制作女教师性露骨图片,被 Salesian College 开除 澳大利亚, 2024学生被开除;校方称已推出网络安全和尊重他人关系的课程。
土耳其一名高考考生利用纽扣摄像头和 AI 获取答案,被警方羁押 土耳其, 2024逮捕相关人员;警方公布了演示该 AI 设备的视频
6 名学生传播 7 名同班女生的 AI 裸照,智利检方立案调查 智利, 2024检方依职权立案调查;校方对涉事男生采取了附条件在读及其他处分,但未将其开除;家长向上诉法院申请保护令
比佛利山学区因 16 名同学的 AI 裸照开除五名八年级学生 美国, 2024学区自 2024 年 2 月起展开调查,校董会开除了五名学生;比佛利山警方展开刑事调查,目前未见有人被捕的报道
体育主任用 AI 生成的种族主义和反犹音频陷害 Pikesville High 校长 美国, 20242024 年 4 月 25 日被捕,罪名包括跟踪骚扰、盗窃、报复证人和扰乱学校运作;2025 年 4 月作出 Alford 答辩,其他指控被撤销;Eiswert 于 2025 年 1 月起诉学区和 Darien。
WAEC 因 AI 生成答案扣留加纳 235 所学校考生的 WASSCE 成绩 GH, 2023成绩在调查期间被扣留;WAEC 表示不能排除学校工作人员和家长参与其中
迈阿密两名 13 岁和 14 岁初中生因制作同学 AI 裸照被控重罪 美国, 2023学校对两名男孩停学 10 天并向警方报案;迈阿密-戴德县警方依据佛罗里达州 2022 年关于篡改性影像的法律,以三级重罪对二人提出指控
里约警方调查巴拉达蒂茹卡一所学校的同学制作约 20 名女生 AI 伪造裸照事件 巴西, 2023DPCA 与第 16 警察分局展开调查并确认了部分学生;校方称此事“令人遗憾”,并承诺采取纪律措施
韦斯特菲尔德高中学生涉嫌使用 AI 制作女同学的色情图像 美国, 2023校长向家长发送电子邮件,学校会同学校驻校警官和韦斯特菲尔德警方展开调查并提供心理辅导;未公开处分或指控
墨西哥国立理工学院开除被指用 AI 将同学照片篡改成色情内容的学生,该生后被判入狱 墨西哥, 2023IPN 将其开除;墨西哥城检察官将其逮捕;2024 年 12 月部分指控被判无罪,受害者律师已提出上诉;因存储儿童性虐待材料被判处五年有期徒刑,并处 103,740 比索罚款
厄瓜多尔检方调查基多一所私立学校 20 至 24 名女学生遭 AI 性爱合成内容侵害一案 EC, 2023检方就儿童色情问题立案调查;教育部援引其 2023 年 9 月 28 日出台的新数字暴力协议;两名嫌疑人已离开该校
阿尔门德拉莱霍 20 多名女学生被 AI“脱衣”应用制作虚假裸照;15 名未成年人后被定罪 西班牙, 2023国家警察和中央网络犯罪部门展开调查,案件移交青少年检察官,西班牙数据保护机构也启动了自己的调查;15 名男孩被判一年缓刑,并须参加性别平等和负责任使用技术的课程
秘鲁检方调查利马两名男中学生:被指出售 AI 生成的女同学裸照 PE, 2023家庭检察官已立案调查并前往学校;学校停课一天,并将嫌疑学生转入线上授课;妇女部要求予以惩处
Texas A&M-Commerce 一名讲师询问 ChatGPT 论文是否为其所写,随后扣留被标记的毕业班学生的成绩 美国, 2023校方逐案调查,证明数名学生清白,并开始制定 AI 政策
高中生在 TikTok 上发布 AI 深度伪造视频,冒充纽约州 Carmel 一名校长发表种族主义威胁言论 美国, 2023教育委员会谴责了这些视频;相关学生受到处分,包括停学。据报道没有人被提起刑事指控。

已实施的预防措施

各国教育部门、监管机构、考试机构和国际组织已采纳或发布的措施,以及文件中所述的每项措施的作用。

政府部门与政府

  • UK Department for Education · England · 2025Generative artificial intelligence (AI) in education英国教育部(DfE)的政策(2025年8月更新)称,安全应是首要任务,学生仅应在有监督、过滤和监控等保障措施的情况下使用生成式人工智能,且不应将个人数据输入生成式人工智能工具。该政策警告,生成式人工智能可能使网络攻击和冒充邮件更具可信度,并指出JCQ和Ofqual关于人工智能舞弊的规定。
  • UK Department for Education · England · 2026Generative AI: product safety standards面向教育科技供应商的标准(2025年1月首次发布,2026年1月19日扩充),涵盖过滤、监控和向安全保障负责人报告、防范越狱的安全性、隐私、测试和治理。2026年的更新增加了认知发展、情感与社会性发展、心理健康和防操纵方面的标准,包括避免拟人化和情感依赖,以及识别痛苦迹象。
  • UK Department for Education · England · 2026Cyber security standards for schools and colleges规定的标准包括每年进行网络风险评估、对教职员工和学生开展培训、对员工的云端/远程账户及管理员账户启用多因素认证、在14天内修补关键漏洞,以及采用3-2-1式备份方案。同时要求在内部以及向保险公司和DfE等机构报告网络攻击(最近更新于2026年9月)。
  • UK Council for Internet Safety / DfE · England · 2024Sharing nudes and semi-nudes: advice for education settings working with children and young people2024年3月的更新明确涵盖18岁以下人员的人工智能生成及经数字手段篡改的“伪图像”,并称法律适用于制作这些图像的儿童。该文件要求教职员工向指定的安全保障负责人报告,避免查看、复制或分享图像,必要时向警方或社会关怀部门报告,并使用IWF/Childline Report Remove等删除工具。
  • UK Department for Education · England · 2026Keeping children safe in education 2026面向学校和学院的法定安全保障指南,2026年版自2026年9月1日起生效。DfE的生成式人工智能指南将其列为学校使用人工智能时在线安全、过滤与监控以及网络安全方面的核心参考文件。
  • New York State Education Department · New York State, USA · 2023Determination on biometric identifying technology in schools2023年9月的裁定禁止纽约州学校购买或使用人脸识别技术,此前州报告发现其风险大于收益,包括对儿童和其他群体的误识别率较高。其他生物识别工具则交由地方决定,而地方决定须权衡隐私、公民权利、有效性和家长意见。
  • Republic of Korea Ministry of Education (reported by The Korea Herald) · South Korea · 2024Education Ministry response to school deepfake sex crimes2024年8月,该部成立了紧急工作组,每周追踪学校深度伪造案件,处理受害者报告,提供心理支持,并加强数字伦理教育。该部称,高中生加害者可能面临开除,这是校园暴力体系中的最高处分。
  • Republic of Korea Ministry of Education (reported by The Korea Times) · South Korea · 2024799 students, 31 teachers victimized by deepfake videos this year该部的调查数据显示,截至2024年10月下旬,2024年学校中的深度伪造受害者共833人,其中包括799名学生和31名教师。学校将417起案件移交调查,218起案件移交删除视频。
  • Ireland Department of Education and Youth · Ireland · 2025Guidance on Artificial Intelligence in Schools于2025年10月21日与Oide共同发布的国家指南,旨在帮助学校规划安全、合乎伦理且适当的人工智能使用,参考了联合国教科文组织和欧盟的工作。指南指出,国家考试委员会(State Examinations Commission)要求对人工智能生成的材料注明出处,并宣布成立一个涉及评估在内的教育领域人工智能工作组。
  • UAE Ministry of Education (reported by Education Middle East) · United Arab Emirates · 2026Safe and Responsible Use of Artificial Intelligence in Classrooms (manual)2026年手册禁止13岁以下或低于七年级的学生使用生成式人工智能,禁止在正式考试中使用人工智能以及未披露的人工智能作业,并禁止将学生、教师或家长的个人数据输入人工智能工具。手册还禁止深度伪造和冒充,并要求教师直接监督课堂上的人工智能使用。
  • Saudi Ministry of Education and SDAIA (reported by Gulf News) · Saudi Arabia · 2025Guidelines for using generative AI in education面向学生、教师和家长的联合指南,旨在促进合乎伦理且负责任的使用,并保持教师的核心地位。指南称,13岁以下学生在没有直接监督的情况下不应使用生成式人工智能,18岁以下人员需要明确的家长同意。
  • Center for Educational Research and Development (CRDP), Lebanon · Lebanon · 2025Lebanon's AI Competency Framework / AI Educational Framework for students and teachers负责制定黎巴嫩国家课程的CRDP发布了(2025年10月)一份人工智能框架,其第一部分是面向黎巴嫩学校的人工智能政策,以联合国教科文组织2024年的各项框架和2021年的人工智能伦理建议为基础。其指导原则包括以人为本的方法、数据隐私与安全、包容性以及教师专业发展。
  • Egypt Ministry of Education and Technical Education (reported by Egyptian Streets) · Egypt · 2025AI curricula in schools from 2025-2026部长宣布,自2025-26学年起,在部分小学、预备和中学年级开设人工智能课程,内容包括人工智能的伦理和社会影响。未发现该部发布的使用或安全保障方面的指南。

监管机构与执法部门

  • European Union · European Union · 2024Regulation (EU) 2024/1689 (AI Act), Annex III point 3 (education)将以下用途的人工智能归类为高风险:决定入学或分配至教育机构,评估学习成果,评估个人将接受的教育水平,以及在考试期间监测和检测学生的违禁行为。高风险系统须承担风险管理、人工监督和文件记录等义务。
  • UK Information Commissioner's Office · United Kingdom · 2024Essex school reprimanded after using facial recognition technology for canteen paymentsICO对Chelmer Valley High School作出申斥(2024年7月23日),原因是该校在未进行数据保护影响评估、未征询其数据保护官、家长或学生意见的情况下引入人脸识别,并依赖退出式同意。ICO强调,在使用生物识别系统之前必须进行DPIA,并且需要明确的选择加入式同意。
  • US Cybersecurity and Infrastructure Security Agency (CISA) · United States (K-12) · 2023Protecting Our Future: Partnering to Safeguard K-12 Organizations from Cybersecurity ThreatsCISA 2023年1月的报告要求学校从最具影响的措施入手:多因素认证、修补已知被利用的漏洞、经过测试的备份、经过演练的事件响应计划以及持续培训。报告还敦促向供应商施压,要求其提供默认安全的产品,并加入MS-ISAC和K12 SIX等信息共享组织。
  • US Federal Bureau of Investigation (IC3) · United States · 2025Senior US Officials Impersonated in Malicious Messaging Campaign (PSA I-051525-PSA)警告称,犯罪分子正利用人工智能生成的语音消息和短信冒充高级官员,以窃取账户访问权限。公告建议通过已知号码核实身份,在核实之前不要点击链接,启用双因素认证,使用约定的暗语,并通过另一渠道确认付款请求。
  • US Federal Trade Commission · United States · 2025FTC launches inquiry into AI chatbots acting as companions2025年9月11日,FTC责令包括Alphabet、Character.AI、Meta、OpenAI、Snap和xAI在内的七家公司说明其如何测试、监控和限制陪伴型聊天机器人对儿童造成的危害。FTC询问了互动参与度的变现、年龄限制的执行、向家长的披露以及对话数据的使用情况。
  • eSafety Commissioner (Australia) · Australia · 2026Toolkit for Schools: Guide to responding to image-based abuse involving AI deepfakes面向学校负责人的分步指南(2025年年中首次发布,当前PDF版本日期为2026年3月),用于应对针对学生或教职员工的裸露或性爱深度伪造内容,旨在与儿童保护政策配合使用。eSafety敦促学校优先考虑受害学生和教职员工的福祉,向警方报告可能的犯罪行为,履行强制报告义务,并通过eSafety实现快速删除。
  • eSafety Commissioner (Australia) · Australia · 2025Online safety advisory: AI chatbots and companions - risks to children and young people2025年2月18日的咨询意见警告称,人工智能陪伴工具模拟个人关系,允许不受监管地讨论性、自残和自杀,且往往缺乏有效的年龄核查。eSafety随后(2025年10月)向Character.AI、Nomi、Chai和Chub AI发出法律通知,并报告称大多数陪伴工具未能将用户转介至自杀或自残方面的支持服务。

考试与质量机构

  • Joint Council for Qualifications (JCQ) · UK (GCSE, A level and other general qualifications) · 2025AI Use in Assessments: Your role in protecting the integrity of qualifications自2025年4月30日起生效的指南,将导致作业并非学生本人所作的人工智能滥用视为舞弊,并要求各考试中心的舞弊政策涵盖人工智能。该指南建议采用课堂内监督下完成的作业、检查草稿、简短的口试式讨论以及限制在考试中心设备上使用人工智能,称不得仅依赖检测工具,并称人工智能不能作为唯一的评分者。
  • Quality Assurance Agency for Higher Education (QAA) · UK higher education · 2023Maintaining quality and standards in the ChatGPT era: advice on generative AI toolsQAA向大学建议,在维持学术标准的同时,对生成式人工智能的管理式使用优于一概禁止。该文件提供了用于识别需要调整的评估的四步流程,并敦促建立健全的内部质量保证。
  • Tertiary Education Quality and Standards Agency (TEQSA) · Australia (higher education) · 2025Enacting assessment reform in a time of artificial intelligenceTEQSA发布的非规定性资源(2025年9月发布),帮助大学在讲授伦理使用的同时,管理生成式人工智能对学习保证带来的风险。该资源梳理了各机构为重新设计评估而采取的主要战略路径。

国际组织

  • UNESCO · Global · 2023Guidance for generative AI in education and research联合国教科文组织首份关于教育领域生成式人工智能的全球指南(2023年9月发布,页面于2026年1月更新)要求各国政府对生成式人工智能工具加以监管,并为教育和研究建立连贯的政策框架。该指南提出为与生成式人工智能平台进行独立对话设定年龄限制、强制性的数据隐私保护,以及对工具的伦理验证程序,原因是大多数学校目前尚无法对这些工具进行审查。
  • UNESCO · Global · 2024AI competency framework for students提出涵盖四个维度(以人为本的思维方式、人工智能伦理、人工智能技术与应用、人工智能系统设计)的12项能力,分为理解、应用、创造三个层级。其目的是帮助课程使学生为安全地接触人工智能做好准备,并对人工智能解决方案作出批判性判断。
  • UNESCO · Global · 2024AI competency framework for teachers界定了涵盖五个维度的15项能力,包括人工智能伦理、人工智能教学法和用于专业学习的人工智能,分为习得、深化、创造三个层级。该框架以保护教师权利和增强人的能动性为基础,并给出将伦理原则付诸实践的策略。
  • UNICEF · Global · 2025Guidance on AI and children, version 3.0联合国儿童基金会政策指南的2025年12月更新版为以儿童为中心的人工智能提出十项要求,包括监管监督、儿童安全、保护儿童数据和隐私、不歧视、透明度和问责制,以及培养儿童的人工智能技能。该指南附有面向政府和企业的核对清单。
  • UNICEF · Global · 2026'Deepfake abuse is abuse' (statement)联合国儿童基金会2026年2月4日的声明引用了UNICEF/ECPAT/INTERPOL的研究,该研究发现过去一年中,11个国家至少有120万名儿童的图像被制作成性爱深度伪造内容。声明呼吁各国政府将人工智能生成的内容纳入儿童性虐待材料相关法律,并将其制作、获取、持有和分享定为犯罪;同时呼吁人工智能企业在设计中内置安全措施并防止其传播。
  • OECD · OECD members · 2026OECD Digital Education Outlook 2026: Exploring effective uses of generative AI in education研究发现,通用生成式人工智能能够提高任务表现,但若无教学法的引导,并不会带来真正的学习成效提升;一旦取消使用人工智能的权限,学生的优势在考试中可能消失甚至逆转。报告建议采用专门构建的教育工具、公平的基础设施以及持续的专业学习。
  • Council of Europe · 46 Council of Europe member states · 2026Committee of Ministers recommendation on AI literacy向成员国提出的建议,旨在帮助中小学生、大学生、教师、家长和公民理解人工智能、负责任地使用人工智能,并认识到人工智能在哪些方面威胁人权、民主和法治。该建议使《欧洲委员会人工智能框架公约》第20条得以落实。
  • European Commission · European Union · 2026Ethical guidelines on the use of AI and data in teaching and learning for educators (updated)该指南于2022年首次发布,2026年通过欧洲数字教育中心更新,向教师说明GDPR和《人工智能法案》的背景。指南提供了引导性问题和案例示例,用于在课堂使用人工智能工具之前对其进行评判。

适用的法律

现行有效的法律:将针对未成年人的性爱深度伪造定为犯罪,或对教育领域及青少年使用的人工智能进行规范。

国家法律内容
United StatesTAKE IT DOWN Act (2025)将发布未经同意的私密图像(包括 AI 深度伪造)定为犯罪(受害者为未成年人时最高可判三年监禁),并要求平台自 2026 年 5 月起在 48 小时内删除被举报的内容。
South KoreaAmendment to the Act on Special Cases Concerning the Punishment of Sexual Crimes (deepfake possession and viewing) (2024)购买、保存、持有或观看露骨的性深度伪造内容,最高可处三年监禁;制作此类内容的最高刑期提高至七年。
United Kingdom (England and Wales)Data (Use and Access) Act 2025, section 138 (Sexual Offences Act 2003 ss.66E-66H) (2025)设立了未经同意制作或要求制作成年人性深度伪造的罪名,自 2026 年 2 月 6 日起生效(18 岁以下未成年人的图像已由有关猥亵伪照片的法律涵盖)。
United KingdomCrime and Policing Act 2026 (child sexual abuse image-generators) (2026)将制作、改造、持有或提供专为生成儿童性虐待图像而构建的 AI 模型等工具定为犯罪,最高可判五年监禁;所核查的北爱尔兰条款(第 73 条)尚未生效。
United Kingdom (England)Indecent images of children law as applied in UKCIS guidance (pseudo-photographs) (2024)官方指引确认,制作、持有或传播由 AI 生成或经篡改的 18 岁以下未成年人淫秽图像属于违法,即使制作者是儿童也不例外。
AustraliaCriminal Code Amendment (Deepfake Sexual Material) Act 2024 (No. 78, 2024) (2024)设立了未经同意传播成年人性内容的独立联邦罪名,明确包括使用深度伪造等技术制作或篡改的内容。
FranceCode pénal article 226-8-1 (inserted by Law No. 2024-449 'SREN' of 21 May 2024) (2024)未经同意传播 AI 生成或编辑的某人性图像或声音,最高可处两年监禁并处 6 万欧元罚款;如在网上传播,则最高可处三年监禁并处 7.5 万欧元罚款,即使标注为虚假也不例外。
ItalyLaw No. 132/2025 on artificial intelligence (Penal Code art. 612-quater) (2025)将未经同意传播有害的 AI 生成或篡改的图像、视频或声音定为犯罪,可处一至五年监禁,并要求 14 岁以下儿童使用 AI 须经家长同意。
European UnionAI Act, Regulation (EU) 2024/1689, Article 5(1)(f) (2024)禁止推断教育机构和工作场所中人员情绪的 AI 系统,出于医疗或安全原因的除外。
United States (California)SB 243 (companion chatbots) (2025)自 2026 年 1 月 1 日起,要求伴侣型聊天机器人运营者披露其为 AI,执行自杀和自残应对规程,向未成年人提供休息提醒,并阻止向未成年人提供露骨的性聊天机器人图像。

全部 95 份案例档案

案例收录方式:当一名 25 岁以下的人员受到伤害或牵涉其中,或事件发生在学校、大学或教育服务机构时,已核实的案例档案会出现在此处。每个案例分别记录是否涉及青少年、其年龄组以及发生场所。数据: education.json (CC BY 4.0)

语言: EnglishFrançaisEspañolالعربية中文Русский