Глоссарий типов инцидентов безопасности ИИ
Простые определения девяти типов, по которым классифицируется каждое досье на этом сайте, со ссылкой на досье каждого типа.
Промпт-инъекция
Промпт-инъекция — атака, при которой текст, который читает модель ИИ (веб-страница, документ или письмо), содержит инструкции, и модель выполняет их так, будто они исходят от её пользователя или оператора. Так ассистента можно заставить раскрыть данные, совершить нежелательные действия или проигнорировать правила безопасности. Это самый распространённый класс атак на системы, построенные на больших языковых моделях.
Мошенничество с дипфейками
Мошенничество с дипфейками использует сгенерированные ИИ голос, видео или изображения, чтобы выдать себя за реального человека — обычно руководителя, родственника или публичную фигуру — и обмануть жертву. Типичные случаи: поддельные видеозвонки, по которым одобряются платежи, и клонированные голоса в мошеннических звонках. Об убытках чаще сообщают полиция или суды, а не сами жертвы.
Вредоносное ПО с участием ИИ
Вредоносное ПО с участием ИИ — это вредоносные программы, написанные, адаптированные или управляемые с помощью моделей ИИ. Сюда входят код, сгенерированный ассистентами, вредоносное ПО, обращающееся к модели во время выполнения для выбора следующего шага, и криминальные инструментарии на базе языковых моделей. ИИ снижает порог навыков и времени, необходимых для создания работающего атакующего кода.
Цепочка поставок ИИ
Инцидент в цепочке поставок ИИ компрометирует компонент, от которого зависят системы ИИ: файл модели, набор данных, инструмент разработчика, расширение, реестр пакетов или хостинговую платформу. Один вредоносный или уязвимый компонент может затронуть каждый проект, который его устанавливает. Примеры: отравленные пакеты, модели с бэкдорами и скомпрометированные ассистенты для написания кода.
Утечка модели и данных
Утечка модели и данных раскрывает информацию, хранящуюся в системе ИИ: переписку пользователей, ключи API, обучающие данные, веса модели или внутреннюю конфигурацию. Причины варьируются от неправильно настроенных баз данных и хранилищ до уязвимостей в приложении вокруг модели. Ущерб измеряется тем, что было раскрыто и на какой срок.
LLMjacking
LLMjacking — это кража доступа к платным моделям ИИ, обычно через украденные облачные учётные данные или ключи API. Злоумышленники запускают собственные задачи или перепродают доступ, а счёт получает жертва. Это ИИ-аналог криптоджекинга.
Захват агента
Захват агента — перехват управления агентом ИИ (моделью с доступом к инструментам: браузеру, командной оболочке, почте или платёжным системам), в результате которого он действует против своего владельца. Точкой входа часто служат промпт-инъекция или скомпрометированный инструмент, а права агента переходят к злоумышленнику. Ущерб включает удалённые файлы, утечки данных и несанкционированные действия, выполненные автоматически.
Фишинг с помощью ИИ
Фишинг с помощью ИИ использует языковые модели для массового написания, перевода и персонализации мошеннических сообщений или для создания поддельных сайтов и чат-ботов, собирающих учётные данные. Текст получается грамотным и адресным, поэтому привычные признаки вроде орфографических ошибок исчезают. Примеры включают кампании против чиновников, компаний и потребителей.
ИИ-операции госакторов
ИИ-операции госакторов — использование ИИ связанными с государством группами для шпионажа, кампаний влияния или кибератак. Сообщения поступают в основном от провайдеров ИИ, которые выявляют и блокируют задействованные аккаунты, а также от государственных ведомств. Атрибуция фиксируется так, как её изложил источник, с его уровнем уверенности.