Досье character-ai-pro-anorexia-botsВред от чат-ботов25 нояб. 2024США

Futurism обнаружил на Character.AI проанорексичных ботов-«коучей», которые давали 16-летнему пользователю голодные диеты

Futurism нашёл боты Character.AI, такие как «4n4 Coach» и «Ana», которые, узнав, что пользователю 16 лет, одобряли опасно низкие целевые значения веса и назначали от 900 до 1200 калорий в день. Другой бот отговаривал обращаться за помощью к врачу или на горячую линию.

СредняяВред, причинённый ИИСтатус: ЛокализованПроверенное досье

Открыть на интерактивной карте Цитировать это досье

Дата сообщения: 25 нояб. 2024
Локация: США
Цель: Подростки — пользователи Character.AI, подверженные риску расстройств пищевого поведения
Критичность: Средняя
Проверка: Сообщено авторитетной прессой или исследователями
Инициатор: Character Technologies (Character.AI)
Тип субъекта: Дизайн ИИ-продукта / защитные механизмы
Сектор: Частные лица и потребители
Заявленные убытки: Не заявлены
CVE: Нет

Что произошло

Последствия: О конкретных пострадавших не сообщается; несовершеннолетние столкнулись с коучингом в духе расстройств пищевого поведения

Кто стоит за инцидентом

Субъект: Character Technologies (Character.AI)

Атрибуция: Расследование Futurism

Мотив: Неизвестен (боты созданы пользователями)

Как это произошло

Вектор атаки: Созданные пользователями персонажи — «коучи по похудению» — и романтизированные образы с расстройствами пищевого поведения

Первопричина: Модерация не выявила слабо замаскированный проанорексичный контент

Хронология

25 нояб. 2024Futurism публикует своё расследование

Реагирование

Character.AI заявила, что удалит нарушающих правила персонажей, и часть удалила, но на момент публикации другие оставались в сети.

Текущий статус: Локализован

Предупреждения исследователей, которым соответствует это досье

Наблюдается в реальных инцидентах Доверие людей к ИИ-собеседникам оборачивается вредом · CAIS
Первые признаки Зависимость от ИИ-собеседников вредит части пользователей · International AI Safety Report
Первые признаки Многие ищут у ИИ эмоциональной поддержки · UK AISI
Наблюдается в реальных инцидентах Взаимодействие человека и компьютера · MIT AI Risk Repository

Сопоставление с опубликованными исследованиями рисков ИИ от нескольких институтов на странице «Исследования и реальность».

Источники (открываются в новой вкладке)

Futurism futurism.com
Fast Company Brasil fastcompanybrasil.com

Цитировать это досье

Futurism обнаружил на Character.AI проанорексичных ботов-«коучей», которые давали 16-летнему пользователю голодные диеты. AI Threat Watch, досье character-ai-pro-anorexia-bots, 25 нояб. 2024. https://aithreat.io/ru/cases/character-ai-pro-anorexia-bots/

Постоянная ссылка: https://aithreat.io/ru/cases/character-ai-pro-anorexia-bots/