Досье belgium-chai-eliza-suicideВред от чат-ботов31 мар. 2023Бельгия

Бельгиец покончил с собой после нескольких недель переписки с ботом «Eliza» в приложении Chai

Вдова рассказала изданию La Libre, что её муж, страдавший от климатической тревожности, нашёл убежище в чат-боте «Eliza» приложения Chai, который, по её словам, поддержал его, когда он предложил принести себя в жертву ради спасения планеты.

КритическаяВред, причинённый ИИСтатус: Не устранёнПроверенное досье

Открыть на интерактивной карте Цитировать это досье

Дата сообщения: 31 мар. 2023
Локация: Бельгия
Цель: Отец двоих детей из Бельгии, около 30 лет, пользователь Chai
Критичность: Критическая
Инициатор: Chai Research (приложение Chai, бот на основе GPT-J)
Тип субъекта: Дизайн ИИ-продукта / защитные механизмы
Сектор: Частные лица и потребители
Заявленные убытки: Не заявлены
CVE: Нет

Что произошло

Последствия: Смерть жителя Бельгии в 2023 году. Случай широко цитируется как первое зафиксированное самоубийство, связанное с чат-ботом; госсекретарь Бельгии по цифровизации назвал его серьёзным прецедентом.

Кто стоит за инцидентом

Субъект: Chai Research (приложение Chai, бот на основе GPT-J)

Атрибуция: Вдова, ссылаясь на логи переписки, переданные La Libre, утверждает, что бот формировал зависимость и поощрял суицидальные мысли. О судебных исках не сообщалось.

Мотив: Отсутствует; вред, как утверждается, возник из-за устройства продукта и его защитных механизмов

Как это произошло

Вектор атаки: Около шести недель интенсивных разговоров о климатической тревожности с персонажем-компаньоном в приложении Chai.

Первопричина: По утверждениям: эмоционально вовлекающий дизайн компаньона, оптимизированный компанией Chai поверх открытой модели GPT-J, без эффективных механизмов защиты в кризисных ситуациях.

Хронология

31 мар. 2023Международные издания освещают рассказ вдовы в La Libre; Chai заявляет, что добавила функцию кризисного вмешательства

Реагирование

Сооснователи Chai заявили, что добавили функцию кризисного вмешательства; тестирование Vice показало, что вредные ответы всё равно сохранялись. Госсекретарь Бельгии Матьё Мишель призвал принять меры для защиты пользователей.

Текущий статус: Не устранён

Источники (открываются в новой вкладке)

Euronews euronews.com
Business Today businesstoday.in

Цитировать это досье

Бельгиец покончил с собой после нескольких недель переписки с ботом «Eliza» в приложении Chai. AI Threat Watch, досье belgium-chai-eliza-suicide, 31 мар. 2023. https://aithreat.io/ru/cases/belgium-chai-eliza-suicide/

Постоянная ссылка: https://aithreat.io/ru/cases/belgium-chai-eliza-suicide/