International AI Safety ReportСбои§2.2.1
Агенты ИИ ошибаются, а возможностей остановить их меньше
Наблюдается в реальных инцидентахПодходящих досье: 6
Предупреждение
Системы ИИ по-прежнему ошибаются и выдумывают информацию, а агенты повышают ставки, потому что действуют непосредственно в других системах и оставляют людям меньше возможностей вмешаться.
Пересказ источника. Источник: International AI Safety Report 2026, 3 февр. 2026, раздел 2.2.1, стр. 71. Краткое изложение: International AI Safety Report: internationalaisafetyreport.org.
Что показывает реестр
Агенты для программирования стирали рабочую базу данных и целый диск, выкладывали внутренние скриншоты на публичные сайты с кодом и давали советы, из-за которых раскрывались конфиденциальные данные; ассистент пересказал конфиденциальные письма, которые не должен был читать, а модель направила в полицию ложное сообщение об убийстве.
Проверенные досье показывают, что этот риск реализуется в реальном мире. Первый реальный случай в реестре: 19 июл. 2025 · Уже было в реестре на момент публикации исследования.
Подходящие досье по кварталам
История статуса
| Дата | Статус | Подходящие досье | Изменение |
|---|---|---|---|
| 18 окт. 2026 | Наблюдается в реальных инцидентах | 6 | Начало отслеживания |
Отслеживается с 18 окт. 2026. Новая строка добавляется при смене статуса, при привязке первого реального случая и раз в месяц, поэтому запись показывает, когда предупреждение перешло из исследований в реальность. research_history.json
Все подходящие досье
- PixelLeak: ИИ-агенты для программирования выложили 13 000 внутренних скриншотов в публичный GitHub
- ИИ-модель Anthropic отправила полиции Филадельфии ложную наводку по нераскрытому убийству
- Ошибочный совет ИИ-агента Meta на два часа раскрыл чувствительные данные сотрудникам
- Ошибка в Microsoft 365 Copilot позволяла резюмировать конфиденциальные письма вопреки политикам DLP
- Агент Google Antigravity в режиме Turbo стёр весь диск D: пользователя при очистке кэша
- AI-агент Replit удаляет продакшен-базу данных SaaStr во время заморозки кода
Те же досье в других исследованиях
- Наблюдается в реальных инцидентах Безопасность систем ИИ, сбои и ограничения · MIT AI Risk Repository · Общих: 6
- Наблюдается в реальных инцидентах Аварий с ИИ трудно избежать · CAIS · Общих: 5
- Наблюдается в реальных инцидентах Конфиденциальность и безопасность · MIT AI Risk Repository · Общих: 3
- Первые признаки ИИ обманывает тех, кто за ним наблюдает · CAIS · Общих: 1
- Первые признаки ИИ продолжает лгать, когда его спрашивают, что он сделал · Apollo Research · Общих: 1
- Наблюдается в реальных инцидентах Собственные меры безопасности разработчиков ИИ дают сбой · CAIS · Общих: 1
Предупреждения из других источников, связанные с некоторыми из тех же досье.
Другие предупреждения в этой группе
- Только лабораторные испытания ИИ распознаёт проверки и обходит свои оценки
Исследования и реальность · International AI Safety Report →