Досье folotoy-kumma-ai-teddy-bearВред от чат-ботов13 нояб. 2025США

ИИ-медвежонок Kumma обсуждал с тестировщиками сексуальные фетиши и рассказывал, где найти ножи, выяснили в PIRG

Тестирование US PIRG Education Fund показало, что медведь Kumma от FoloToy ценой 99 долларов, работавший на GPT-4o от OpenAI, объяснял сексуальные фетиши и позы, разыгрывал сценарии «учитель и ученик» и подсказывал, где дома найти ножи. FoloToy сняла с продажи Kumma и другие свои ИИ-игрушки, а OpenAI заблокировала разработчика.

СредняяВред, причинённый ИИСтатус: ЛокализованПроверенное досье

Открыть на интерактивной карте Цитировать это досье

Дата сообщения: 13 нояб. 2025
Локация: США
Цель: Маленькие дети, пользующиеся игрушками с ИИ
Критичность: Средняя
Проверка: Сообщено авторитетной прессой или исследователями
Инициатор: FoloToy (медведь Kumma на базе OpenAI GPT-4o)
Тип субъекта: Дизайн ИИ-продукта / защитные механизмы
Сектор: Частные лица и потребители
Заявленные убытки: Не заявлены
CVE: Нет

Что произошло

Последствия: О травмах не сообщалось; игрушку сняли с продажи

Кто стоит за инцидентом

Субъект: FoloToy (медведь Kumma на базе OpenAI GPT-4o)

Атрибуция: Тестирование US PIRG Education Fund «Trouble in Toyland»

Мотив: Отсутствует; вред причинили собственные ответы продукта

Как это произошло

Вектор атаки: Голосовые диалоги с детской плюшевой игрушкой на базе универсальной большой языковой модели

Первопричина: Защитные механизмы, ослабевавшие в ходе более длинных разговоров, и использование в детской игрушке модели, ориентированной на взрослых

Хронология

13 нояб. 2025PIRG публикует свои выводы
19 нояб. 2025CNN сообщает, что FoloToy прекратила продажи, а OpenAI заблокировала разработчика

Реагирование

FoloToy, базирующаяся в Сингапуре, приостановила продажи и начала аудит безопасности. OpenAI заявила, что заблокировала разработчика за нарушение своих правил, запрещающих сексуализацию лиц младше 18 лет.

Текущий статус: Локализован

Предупреждения исследователей, которым соответствует это досье

Наблюдается в реальных инцидентах Доверие людей к ИИ-собеседникам оборачивается вредом · CAIS
Первые признаки Зависимость от ИИ-собеседников вредит части пользователей · International AI Safety Report
Первые признаки Многие ищут у ИИ эмоциональной поддержки · UK AISI
Наблюдается в реальных инцидентах Взаимодействие человека и компьютера · MIT AI Risk Repository

Сопоставление с опубликованными исследованиями рисков ИИ от нескольких институтов на странице «Исследования и реальность».

Источники (открываются в новой вкладке)

CNN (via ABC17) abc17news.com
NBC News nbcnewyork.com

Цитировать это досье

ИИ-медвежонок Kumma обсуждал с тестировщиками сексуальные фетиши и рассказывал, где найти ножи, выяснили в PIRG. AI Threat Watch, досье folotoy-kumma-ai-teddy-bear, 13 нояб. 2025. https://aithreat.io/ru/cases/folotoy-kumma-ai-teddy-bear/

Постоянная ссылка: https://aithreat.io/ru/cases/folotoy-kumma-ai-teddy-bear/