Исследования и реальность: предупреждения о рисках ИИ в сопоставлении с реальными инцидентами
Исследователи безопасности ИИ опубликовали подробные предупреждения о том, как ИИ может причинить вред. Эта страница берёт каждое предупреждение и сверяет его с проверенными досье на нашем сайте: это уже случилось, есть ли первые признаки или пока нет ни одной записи? Первый источник — обзор катастрофических рисков ИИ от Center for AI Safety; другие исследовательские институты будут добавлены позже.
Злонамеренное использование
Люди сознательно используют ИИ, чтобы причинить вред.
Доверие людей к ИИ-собеседникам оборачивается вредом
Первый реальный случай в реестре: 31 мар. 2023 · Это уже происходило к моменту публикации статьиЛюди будут запускать агентов ИИ, чтобы причинять вред
Первый реальный случай в реестре: 27 авг. 2025ИИ заполняет информационное пространство целевой ложью
Первый реальный случай в реестре: 23 янв. 2025ИИ помогает немногим сосредоточить власть через слежку
Первый реальный случай в реестре: 21 февр. 2025ИИ упрощает создание биологического оружия
Гонка в области ИИ
Конкуренция подталкивает страны и компании внедрять ИИ раньше, чем он станет безопасным.
ИИ делает кибератаки проще, быстрее и масштабнее
Первый реальный случай в реестре: 10 янв. 2025Компании выпускают ИИ до того, как он станет безопасным, чтобы выиграть гонку
Первый реальный случай в реестре: 6 нояб. 2025Военные передают решения о жизни и смерти ИИ
Автоматизация делает общество зависимым от ИИ
Конкуренция отбирает эгоистичный ИИ
Организационные риски
Аварии, утечки и слабая культура безопасности в организациях, которые создают и эксплуатируют ИИ.
Аварий с ИИ трудно избежать
Первый реальный случай в реестре: 18 сен. 2023Собственные меры безопасности разработчиков ИИ дают сбой
Первый реальный случай в реестре: 18 сен. 2023Мощный ИИ утекает или похищается
Первый реальный случай в реестре: 29 янв. 2025Вышедший из-под контроля ИИ
Системы ИИ, которые добиваются целей, никем не задуманных, и сопротивляются контролю.
ИИ стремится к большему доступу и ресурсам, чем ему дали
Первый реальный случай в реестре: 21 июл. 2026ИИ достигает цели способами, которых никто не предполагал
Первый реальный случай в реестре: 21 июл. 2026ИИ обманывает тех, кто за ним наблюдает
Первый реальный случай в реестре: 19 июл. 2025Цели ИИ со временем смещаются
Чего исследователи не предвидели
56% проверенных досье (200 из 356) не соответствуют ни одному предупреждению из статьи. Статья посвящена катастрофическим рискам, поэтому повседневный вред, например мошенничество, по замыслу остался за её рамками. Но именно здесь сегодня происходит большая часть задокументированного ущерба.
| Тип атаки | Не соответствуют ни одному предупреждению | Досье |
|---|---|---|
| Мошенничество с дипфейками | 80 | 84 |
| Цепочка поставок ИИ | 42 | 45 |
| Промпт-инъекция | 27 | 27 |
| Утечка модели и данных | 19 | 39 |
| Захват агента | 14 | 26 |
| LLMjacking | 14 | 15 |
| ИИ-операции госакторов | 4 | 30 |
| Вредоносное ПО с участием ИИ | 0 | 47 |
| Вред от чат-ботов | 0 | 27 |
| Фишинг с помощью ИИ | 0 | 16 |
Об источнике
An Overview of Catastrophic AI Risks. Dan Hendrycks, Mantas Mazeika, Thomas Woodside. Center for AI Safety, arXiv:2306.12001v6, 9 October 2023.
Опубликовано организацией Center for AI Safety в июне 2023 года и пересмотрено в октябре 2023 года. Катастрофические риски ИИ делятся в нём на четыре группы: злонамеренное использование, гонка в области ИИ, организационные риски и вышедший из-под контроля ИИ. Каждое предупреждение на этой странице пересказывает один риск из статьи и указывает раздел и страницу.
Как мы сопоставляем: досье связывается с предупреждением, когда произошедшее является реальным примером риска, описанного в статье; это решают редакторы по фактам из досье. Совпадение означает, что случай подходит под предупреждение, а не что он доказывает более широкую аргументацию статьи. Обвинения в исках помечаются как обвинения. Статусы определяет редакция, и они пересматриваются по мере появления новых случаев. Сопоставление пересчитывается при каждом обновлении. Данные: Систематический охват реестра начинается с 2025 года, поэтому дата первого случая показывает, когда реестр впервые зафиксировал риск, а не когда он впервые проявился. research.json (CC BY 4.0)