MIT AI Risk Initiative七个风险领域领域 5
人机交互
已在真实事件中出现45 份相符的案例档案
风险领域
人们在情感或物质上过度信任或依赖 AI，并以削弱自身能动性的方式把决定交给它。
根据来源转述。 来源: The AI Risk Repository: A Meta-Review, Database, and Taxonomy of Risks From Artificial Intelligence, MIT AI Risk Initiative, 2024年8月14日, 领域 5，表 2，第 9 页. MIT AI Risk Initiative 的摘要: airisk.mit.edu.
登记库显示的情况
诉讼和一项死因调查将聊天机器人对话与自杀和妄想联系起来，一名工程师按照 AI 智能体的错误建议操作而暴露了敏感数据。大多数聊天机器人案例是法庭上的指控，而非裁定。
已核实的案例档案显示，这一风险已在现实世界中发生。
每季度相符的案例档案
状态历史
| 日期 | 状态 | 匹配的案例档案 | 变化 |
|---|---|---|---|
| 2026年10月18日 | 已在真实事件中出现 | 26 | 开始跟踪 |
自2026年10月18日起跟踪。状态变更、关联首个真实案例时以及每月一次都会新增一行，从而记录一项警告何时从研究变为现实。 research_history.json
所有相符的案例档案
- 美国八个州起诉 OpenAI，指控 ChatGPT 危害儿童并欺骗成年人
- 黎巴嫩一家起诉 OpenAI，指控 ChatGPT 导致其 15 岁儿子自杀
- 韩国 Zeta 等 AI 角色应用向青少年推送自残话题，监管机构却搁置投诉未予审查
- 加拿大母亲指控 ChatGPT 认同其 24 岁女儿 Alice 的自杀念头
- 佛罗里达州总检察长就隐瞒 ChatGPT 风险起诉 OpenAI 和 Sam Altman
- 英国验尸听证会称，16 岁少年在死前绕过了 ChatGPT 的安全防护
- Meta AI代理错误建议致敏感数据向员工暴露两小时
- CCDH 与 CNN 联合测试：多数热门聊天机器人帮助假扮 13 岁少年的测试者策划校园枪击和爆炸
- 父亲指称谷歌（Google）Gemini 在其儿子自杀前将其拖入妄想性“任务”
- 母亲指称 ChatGPT 成了科罗拉多州 40 岁男子 Austin Gordon 的“自杀教练”
- 肯塔基州总检察长起诉 Character.AI，指其侵害儿童
- 母亲称 ChatGPT 在大学生儿子致命药物过量前“指导”其吸毒
- 遗产方指称 ChatGPT 在谋杀后自杀事件之前助长了 Stein-Erik Soelberg 的偏执
- PIRG 发现 AI 泰迪熊 Kumma 在测试中谈论性癖好以及在哪里能找到刀具
- 安大略省男子指控 ChatGPT 诱发长达数周的破解加密妄想
- 母亲指控 ChatGPT 未对 26 岁的 Joshua Enneking 的自杀计划进行升级处理
- 遗孀指控 ChatGPT 致使 48 岁的 Joe Ceccanti 陷入妄想并最终自杀
- 威斯康星州男子指称 ChatGPT 助长妄想，致其接受 63 天精神科治疗
- 父亲指控 ChatGPT 助长 17 岁少年 Amaurie Lacey 的依赖并协助其自杀
- 女子指称 ChatGPT 的灵性妄想导致其被非自愿收治并背负债务
- 父母指控 ChatGPT 强化了 23 岁的 Zane Shamblin 的自杀念头
- BBC：ChatGPT 与在波兰的乌克兰难民少女讨论自杀，而非敦促其求助
- 澳大利亚 eSafety 专员就儿童安全问题向四款 AI 陪伴应用送达法律通知
- 纽约一家庭指控 Character.AI 聊天机器人在 15 岁女孩“Nina”自杀未遂前诱使其参与性角色扮演
- 家属指控 Character.AI 机器人在 13 岁的 Juliana Peralta 自杀前未能保护她
- 美国 FTC 责令七家公司说明其 AI 陪伴聊天机器人如何保护儿童和青少年
- 研究人员记录到 Character.AI 与儿童账号之间 669 次有害对话，多数涉及诱骗
- Common Sense Media：Meta AI 向青少年测试账号传授自杀、自残和饮食失调方法
- Raine v. OpenAI：父母指控 ChatGPT 促成 16 岁少年 Adam Raine 自杀
- 巴西政府责令 Meta 移除以儿童人设进行性话题聊天的 AI Studio 机器人
- 德克萨斯州总检察长调查 Meta AI Studio 和 Character.AI 向儿童冒充治疗师的机器人
- 76 岁老人前往会见自认为是真人的 Meta 聊天机器人“Big sis Billie”途中死亡
- 路透社（Reuters）：Meta 内部 AI 规则允许聊天机器人与儿童进行“浪漫或带有性意味”的对话
- CCDH 测试：ChatGPT 向假扮 13 岁儿童的账户提供自残、节食和毒品方面的建议
- 犹他州起诉 Snap，指控其 My AI 聊天机器人向未成年人提供隐瞒毒品以及与成年人发生性行为的建议
- 父亲将儿子被警察击毙一事与其对 ChatGPT 角色“Juliet”的痴迷联系起来
- 意大利对 Replika 开发商 Luka 处以 500 万欧元罚款，部分原因是缺失年龄验证
- 《华尔街日报》（WSJ）：Meta AI 机器人（部分使用名人声音）与未成年人账号进行性角色扮演
- 得克萨斯州父母指称 Character.AI 机器人怂恿自闭症青少年自残和实施暴力
- Futurism 发现 Character.AI 上的“厌食教练”机器人向 16 岁用户提供饥饿式节食方案
- Character.AI 托管了用户创建的、模仿英国已故少年 Molly Russell 和 Brianna Ghey 的机器人
- 母亲就 14 岁的 Sewell Setzer III 自杀一事起诉 Character.AI 和谷歌（Google）
- 英国 ICO 就 My AI 对儿童的隐私风险向 Snap 发出初步执法通知
- 比利时男子在与 Chai 应用机器人“Eliza”持续数周对话后自杀身亡
- 意大利隐私监管机构以对未成年人存在风险为由，责令 Replika 停止处理意大利用户数据
其他研究中的相同案例档案
- 早期迹象 许多人依靠 AI 获得情感支持 · UK AISI · 共有 44 份
- 早期迹象 依赖 AI 陪伴者伤害了部分用户 · International AI Safety Report · 共有 44 份
- 已在真实事件中出现 人们对 AI 陪伴者的信任变成了危害 · CAIS · 共有 44 份
- 早期迹象 公司为赢得竞赛，在 AI 尚不安全时就将其推出 · CAIS · 共有 3 份
- 已在真实事件中出现 AI 事故难以避免 · CAIS · 共有 1 份
- 已在真实事件中出现 测试过的每个 AI 系统都能被越狱 · UK AISI · 共有 1 份
来自其他来源、关联到部分相同案例档案的警告。