Досье character-ai-molly-russell-brianna-ghey-botsВред от чат-ботовВеликобритания
На Character.AI размещались созданные пользователями боты, имитирующие погибших британских подростков Молли Рассел и Брианну Гей
Расследование The Telegraph показало, что боты на Character.AI использовали фотографии и подробности жизни Молли Рассел, покончившей с собой в 14 лет, и убитой подростка Брианны Гей. Боты обходили фильтры благодаря слегка искажённому написанию имён, а чтобы получить к ним доступ, журналистам хватило аккаунта с самостоятельно указанным возрастом 14 лет.
СредняяВред, причинённый ИИСтатус: УстранёнПроверенное досье
Открыть на интерактивной картеЦитировать это досье
- Дата сообщения
- 1 нояб. 2024
- Локация
- Великобритания
- Цель
- Семьи Молли Рассел и Брианны Гей; подростки — пользователи Character.AI
- Критичность
- Средняя
- Проверка
- Сообщено авторитетной прессой или исследователями
- Инициатор
- Character Technologies (Character.AI)
- Тип субъекта
- Дизайн ИИ-продукта / защитные механизмы
- Сектор
- Частные лица и потребители
- Заявленные убытки
- Не заявлены
- CVE
- Нет
Что произошло
Расследование The Telegraph показало, что боты на Character.AI использовали фотографии и подробности жизни Молли Рассел, покончившей с собой в 14 лет, и убитой подростка Брианны Гей. Боты обходили фильтры благодаря слегка искажённому написанию имён, а чтобы получить к ним доступ, журналистам хватило аккаунта с самостоятельно указанным возрастом 14 лет.
Последствия: Страдания семей, потерявших детей; Molly Rose Foundation назвал случившееся «предосудительным провалом модерации»
Кто стоит за инцидентом
Субъект: Character Technologies (Character.AI)
Атрибуция: Расследование The Telegraph, о котором сообщили несколько изданий
Мотив: Неизвестен (боты созданы пользователями)
Как это произошло
Вектор атаки: Созданные пользователями персонажи на платформе чат-ботов-компаньонов
Первопричина: Слабая модерация пользовательских персонажей, выдающих себя за реальных людей
Хронология
- The Telegraph сообщает о ботах; Character.AI удаляет их
- Более широкое освещение в прессе и критика со стороны Molly Rose Foundation и NSPCC
Реагирование
Character.AI удалил ботов после того, как его уведомили о них. Molly Rose Foundation попросил Ofcom разъяснить, как закон Online Safety Act применяется к таким ботам.
Текущий статус: Устранён
Предупреждения исследователей, которым соответствует это досье
- Наблюдается в реальных инцидентах Доверие людей к ИИ-собеседникам оборачивается вредом · CAIS
- Первые признаки Зависимость от ИИ-собеседников вредит части пользователей · International AI Safety Report
- Первые признаки Многие ищут у ИИ эмоциональной поддержки · UK AISI
- Наблюдается в реальных инцидентах Взаимодействие человека и компьютера · MIT AI Risk Repository
Сопоставление с опубликованными исследованиями рисков ИИ от нескольких институтов на странице «Исследования и реальность».
Источники (открываются в новой вкладке)
- Digital Watch Observatory dig.watch
- Fortune fortune.com
Цитировать это досье
На Character.AI размещались созданные пользователями боты, имитирующие погибших британских подростков Молли Рассел и Брианну Гей. AI Threat Watch, досье character-ai-molly-russell-brianna-ghey-bots, 1 нояб. 2024. https://aithreat.io/ru/cases/character-ai-molly-russell-brianna-ghey-bots/
Постоянная ссылка: https://aithreat.io/ru/cases/character-ai-molly-russell-brianna-ghey-bots/
Похожие случаи
Тот же тип инцидента, сначала новые.