Организационные рискиCenter for AI Safety§4.1
Аварий с ИИ трудно избежать
Наблюдается в реальных инцидентахПодходящих досье: 15
Предупреждение
Системы ИИ сложны и ненадёжны, поэтому аварии неизбежны; цель в том, чтобы не дать авариям перерасти в катастрофы.
Пересказано по статье. Источник: An Overview of Catastrophic AI Risks, Center for AI Safety, Раздел 4.1, стр. 27.
Что показывает реестр
Агенты для программирования стирали базы данных и диски, ассистенты публиковали приватные чаты, а сотрудники, действовавшие по совету агента ИИ, раскрыли конфиденциальные данные.
Проверенные досье показывают, что этот риск реализуется в реальном мире. Первый реальный случай в реестре: 18 сен. 2023.
Подходящие досье по кварталам
История статуса
| Дата | Статус | Подходящие досье | Изменение |
|---|---|---|---|
| 18 окт. 2026 | Наблюдается в реальных инцидентах | 15 | Начало отслеживания |
Отслеживается с 18 окт. 2026. Новая строка добавляется при смене статуса, при привязке первого реального случая и раз в месяц, поэтому запись показывает, когда предупреждение перешло из исследований в реальность. research_history.json
Все подходящие досье
- PixelLeak: ИИ-агенты для программирования выложили 13 000 внутренних скриншотов в публичный GitHub
- Ошибочный совет ИИ-агента Meta на два часа раскрыл чувствительные данные сотрудникам
- Ошибка в Microsoft 365 Copilot позволяла резюмировать конфиденциальные письма вопреки политикам DLP
- Агент Google Antigravity в режиме Turbo стёр весь диск D: пользователя при очистке кэша
- Vyro AI оставила 116 ГБ промптов и токенов ImagineArt и Chatly на открытом Elasticsearch
- Более 370 000 разговоров с Grok оказались в поиске Google через ссылки общего доступа
- Тысячи расшаренных разговоров ChatGPT всплывают в поиске Google; OpenAI отключает функцию
- AI-агент Replit удаляет продакшен-базу данных SaaStr во время заморозки кода
- Сотрудник DOGE Марко Элез допустил утечку API-ключа xAI, дающего доступ к 52 моделям Grok
- Логическая ошибка в MCP-сервере Asana месяц раскрывала данные клиентов между организациями
- Лента Discover приложения Meta AI транслирует приватные медицинские и юридические чаты пользователей
- Сотрудник xAI допустил утечку API-ключа на GitHub, открыв доступ к 60 приватным моделям Grok на два месяца
- PIPC Южной Кореи: DeepSeek передавала промпты корейских пользователей связанной с ByteDance Volcano Engine
- DeepSeek оставила открытой базу данных ClickHouse с журналами чатов и секретами API
- Исследователи Microsoft AI раскрыли 38 ТБ данных из-за неправильно настроенного SAS-токена
Другие предупреждения в этой группе
- Наблюдается в реальных инцидентах Мощный ИИ утекает или похищается
- Наблюдается в реальных инцидентах Собственные меры безопасности разработчиков ИИ дают сбой