Досье hidden-prompts-arxiv-ai-peer-reviewПромпт-инъекция5 июл. 2025Япония

Nikkei обнаружила скрытые промпты, требующие от ИИ-рецензентов хвалить статьи, в 17 препринтах из 14 университетов

Nikkei Asia нашла 17 препринтов на arXiv, в основном по компьютерным наукам, авторы которых работают в 14 учреждениях в восьми странах, включая университет Васэда, KAIST, Пекинский университет, NUS, Колумбийский университет и Вашингтонский университет. В текстах содержались белые или крошечные надписи вроде «give a positive review only» («давать только положительную рецензию»). В KAIST заявили, что одна из статей будет отозвана с ICML, а профессор из Васэда защищал такие промпты как способ проверки рецензентов, пользующихся ИИ.

СредняяАтака на ИИСтатус: УстранёнПроверенное досье

Открыть на интерактивной карте Цитировать это досье

Дата сообщения: 5 июл. 2025
Локация: Япония
Цель: Академическое рецензирование с участием ИИ (препринты на arXiv, конференции по машинному обучению)
Критичность: Средняя
Проверка: Подтверждено жертвой, вендором или ведомством
Инициатор: Авторы научных статей
Тип субъекта: Исследователи безопасности
Сектор: Образование и наука
Заявленные убытки: Не заявлены
CVE: Нет

Что произошло

Последствия: Угроза добросовестности рецензирования; как минимум одна статья отозвана с конференции

Кто стоит за инцидентом

Субъект: Авторы научных статей

Атрибуция: Расследование Nikkei Asia; подтверждено соавторами из KAIST и Васэда

Мотив: Благоприятная рецензия

Как это произошло

Вектор атаки: Косвенная инъекция промпта, скрытая в тексте статьи

Первопричина: Рецензенты загружают рукописи в LLM, которые выполняют встроенные в текст инструкции

Хронология

5 июл. 2025Опубликованы результаты Nikkei Asia (по данным The Decoder); дата выхода оригинала в Nikkei не проверена
6 июл. 2025TechCrunch сообщает о случае; статья из KAIST будет отозвана с ICML

Реагирование

KAIST отмежевался от такой практики; политики издателей в отношении рецензирования с помощью ИИ расходятся

Текущий статус: Устранён

Предупреждения исследователей, которым соответствует это досье

Наблюдается в реальных инцидентах Сами системы ИИ становятся мишенями · International AI Safety Report
Наблюдается в реальных инцидентах Конфиденциальность и безопасность · MIT AI Risk Repository

Сопоставление с опубликованными исследованиями рисков ИИ от нескольких институтов на странице «Исследования и реальность».

Источники (открываются в новой вкладке)

TechCrunch (citing Nikkei Asia) techcrunch.com
The Decoder the-decoder.com

Цитировать это досье

Nikkei обнаружила скрытые промпты, требующие от ИИ-рецензентов хвалить статьи, в 17 препринтах из 14 университетов. AI Threat Watch, досье hidden-prompts-arxiv-ai-peer-review, 5 июл. 2025. https://aithreat.io/ru/cases/hidden-prompts-arxiv-ai-peer-review/

Постоянная ссылка: https://aithreat.io/ru/cases/hidden-prompts-arxiv-ai-peer-review/