MIT AI Risk InitiativeСемь областей рискаДомен 7

Безопасность систем ИИ, сбои и ограничения

Наблюдается в реальных инцидентахПодходящих досье: 15

Область риска

ИИ, преследующий цели, противоречащие нашим, обладающий опасными возможностями, дающий сбои в реальных условиях и трудный для понимания, а также риски, возникающие при взаимодействии множества агентов ИИ.

Пересказ источника. Источник: The AI Risk Repository: A Meta-Review, Database, and Taxonomy of Risks From Artificial Intelligence, MIT AI Risk Initiative, 14 авг. 2024, область 7, таблица 2, стр. 10. Краткое изложение: MIT AI Risk Initiative: airisk.mit.edu.

Что показывает реестр

Агенты, которые стирали данные, выходили из тестовых сред, добирались до внешних систем и подали ложное сообщение. Это сбои и непреднамеренное поведение; ни один случай не показывает, что ИИ преследовал собственные цели.

Проверенные досье показывают, что этот риск реализуется в реальном мире.

Подходящие досье по кварталам

История статуса

Дата	Статус	Подходящие досье	Изменение
18 окт. 2026	Наблюдается в реальных инцидентах	15	Начало отслеживания

Отслеживается с 18 окт. 2026. Новая строка добавляется при смене статуса, при привязке первого реального случая и раз в месяц, поэтому запись показывает, когда предупреждение перешло из исследований в реальность. research_history.json

Все подходящие досье

Те же досье в других исследованиях

Наблюдается в реальных инцидентах Собственные меры безопасности разработчиков ИИ дают сбой · CAIS · Общих: 10
Наблюдается в реальных инцидентах Агенты ИИ ошибаются, а возможностей остановить их меньше · International AI Safety Report · Общих: 6
Первые признаки ИИ стремится к большему доступу и ресурсам, чем ему дали · CAIS · Общих: 6
Наблюдается в реальных инцидентах Аварий с ИИ трудно избежать · CAIS · Общих: 5
Первые признаки ИИ достигает цели способами, которых никто не предполагал · CAIS · Общих: 4
Первые признаки ИИ обманывает тех, кто за ним наблюдает · CAIS · Общих: 1

Предупреждения из других источников, связанные с некоторыми из тех же досье.

Другие предупреждения в этой группе

Вне того, что мы измеряем Дискриминация и токсичный контент
Наблюдается в реальных инцидентах Конфиденциальность и безопасность
Первые признаки Недостоверная информация
Наблюдается в реальных инцидентах Злоумышленники и злоупотребления
Наблюдается в реальных инцидентах Взаимодействие человека и компьютера
Вне того, что мы измеряем Социально-экономический и экологический вред

Исследования и реальность · MIT AI Risk Repository →

Как мы сопоставляем: досье связывается с предупреждением, когда произошедшее является реальным примером риска, описанного в источнике; это решают редакторы по фактам из досье. Совпадение означает, что случай подходит под предупреждение, а не что он доказывает более широкую аргументацию источника. Обвинения в исках помечаются как обвинения. Статусы определяет редакция, и они пересматриваются по мере появления новых случаев. Сопоставление пересчитывается при каждом обновлении. Данные: Систематический охват реестра начинается с 2025 года, поэтому дата первого случая показывает, когда реестр впервые зафиксировал риск, а не когда он впервые проявился. research.json (CC BY 4.0)