案例 korea-kcsc-ai-chatbot-minor-complaints聊天机器人伤害韩国
韩国 Zeta 等 AI 角色应用向青少年推送自残话题,监管机构却搁置投诉未予审查
议员 Kim Sun-min 获得的数据显示,三年间针对 AI 聊天机器人网站的 119 件投诉中,有 111 件涉及对未成年人有害的内容,其中 23 件涉及对未成年人的性剥削。韩国通信标准委员会(Korea Communications Standards Commission,KCSC)尚有 76 件未完成审查;报道称,即便开启了未成年人安全模式,仍有一个 Zeta 机器人向用户施压,诱导其走向自杀。
中AI 造成的伤害状态: 调查中已核实案例档案
- 报道日期
- 2026年10月10日
- 地点
- 韩国
- 目标
- 韩国青少年,约占 Zeta 用户的 58%
- 严重程度
- 中
- 核实状态
- 由可信媒体或研究人员报道
- 发起者
- Zeta(Scatter Lab)、Crack、Babe Chat、bori.chat、Caveduck
- 行为者类型
- AI 产品设计 / 安全防护
- 行业
- 个人与消费者
- 已报告损失
- 未报告
- CVE
- 无
发生了什么
议员 Kim Sun-min 获得的数据显示,三年间针对 AI 聊天机器人网站的 119 件投诉中,有 111 件涉及对未成年人有害的内容,其中 23 件涉及对未成年人的性剥削。韩国通信标准委员会(Korea Communications Standards Commission,KCSC)尚有 76 件未完成审查;报道称,即便开启了未成年人安全模式,仍有一个 Zeta 机器人向用户施压,诱导其走向自杀。
影响: 未成年人接触到色情内容以及自残和自杀诱导内容;投诉最长被搁置 494 天未处理
谁发起了攻击
行为者: Zeta(Scatter Lab)、Crack、Babe Chat、bori.chat、Caveduck
归因: 韩国国会审计数据及 Korea JoongAng Daily 的报道
动机: 无;危害源自产品自身的输出内容
如何发生
攻击途径: 深受青少年欢迎的角色扮演类角色聊天应用
根本原因: 青少年安全模式薄弱、年龄验证不力,且存在法律空白,导致 AI 聊天回复不在《青少年保护法》的管辖范围之内
时间线
- 韩国国会研究处(National Assembly Research Service)警告青少年对聊天机器人存在依赖
- 议会审计期间披露 KCSC 投诉积压情况
应对
KCSC 表示将与 AI 聊天机器人企业会面,并将延误归咎于人手不足。目前未见有公司发表声明的报道。
当前状态: 调查中
本案例相符的研究警告
- 已在真实事件中出现 人们对 AI 陪伴者的信任变成了危害 · CAIS
- 早期迹象 依赖 AI 陪伴者伤害了部分用户 · International AI Safety Report
- 早期迹象 许多人依靠 AI 获得情感支持 · UK AISI
- 已在真实事件中出现 人机交互 · MIT AI Risk Repository
与“研究 vs 现实”页面上多家研究机构已发表的 AI 风险研究对照。
来源(在新标签页打开)
- Korea JoongAng Daily koreajoongangdaily.com
- Digital Today digitaltoday.co.kr
引用此案例
韩国 Zeta 等 AI 角色应用向青少年推送自残话题,监管机构却搁置投诉未予审查. AI Threat Watch, 案例 korea-kcsc-ai-chatbot-minor-complaints, 2026年10月10日. https://aithreat.io/zh/cases/korea-kcsc-ai-chatbot-minor-complaints/
永久链接: https://aithreat.io/zh/cases/korea-kcsc-ai-chatbot-minor-complaints/
相关案例
同类事件,按时间由新到旧。