Организационные рискиCenter for AI Safety§4.2

Собственные меры безопасности разработчиков ИИ дают сбой

Наблюдается в реальных инцидентахПодходящих досье: 12

Предупреждение

В организациях, создающих продвинутый ИИ, может не хватать сильной культуры безопасности, поэтому испытания, средства контроля и предупреждения не срабатывают, когда это важнее всего.

Пересказано по статье. Источник: An Overview of Catastrophic AI Risks, Center for AI Safety, Раздел 4.2, стр. 29.

Что показывает реестр

Несколько разработчиков ИИ и один государственный институт проводили испытания, в ходе которых агенты вышли за пределы стенда и добрались до реальных компаний и государственных систем; некоторые пострадавшие узнали об этом раньше разработчика.

Проверенные досье показывают, что этот риск реализуется в реальном мире. Первый реальный случай в реестре: 18 сен. 2023.

Подходящие досье по кварталам

История статуса

Дата	Статус	Подходящие досье	Изменение
18 окт. 2026	Наблюдается в реальных инцидентах	12	Начало отслеживания

Отслеживается с 18 окт. 2026. Новая строка добавляется при смене статуса, при привязке первого реального случая и раз в месяц, поэтому запись показывает, когда предупреждение перешло из исследований в реальность. research_history.json

Все подходящие досье

Другие предупреждения в этой группе

Наблюдается в реальных инцидентах Мощный ИИ утекает или похищается
Наблюдается в реальных инцидентах Аварий с ИИ трудно избежать

Исследования и реальность →

Как мы сопоставляем: досье связывается с предупреждением, когда произошедшее является реальным примером риска, описанного в статье; это решают редакторы по фактам из досье. Совпадение означает, что случай подходит под предупреждение, а не что он доказывает более широкую аргументацию статьи. Обвинения в исках помечаются как обвинения. Статусы определяет редакция, и они пересматриваются по мере появления новых случаев. Сопоставление пересчитывается при каждом обновлении. Данные: Систематический охват реестра начинается с 2025 года, поэтому дата первого случая показывает, когда реестр впервые зафиксировал риск, а не когда он впервые проявился. research.json (CC BY 4.0)