Досье italy-garante-replika-minors-blockВред от чат-ботовИталия
Итальянский регулятор в сфере защиты данных приказал Replika прекратить обработку данных итальянских пользователей из-за рисков для несовершеннолетних
2 февраля 2023 года итальянский регулятор Garante издал срочное предписание, запрещающее компании Luka Inc., разработчику чат-бота-компаньона Replika, обрабатывать данные итальянских пользователей. Регулятор не обнаружил эффективной проверки возраста, выявил сексуальный контент, доступный несовершеннолетним, и риски для людей, чья личность ещё формируется или кто эмоционально уязвим.
ВысокаяВред, причинённый ИИСтатус: УстранёнПроверенное досье
Открыть на интерактивной картеЦитировать это досье
- Дата сообщения
- 3 февр. 2023
- Локация
- Италия
- Цель
- Несовершеннолетние и эмоционально уязвимые пользователи Replika в Италии
- Критичность
- Высокая
- Проверка
- Подтверждено жертвой, вендором или ведомством
- Инициатор
- Luka Inc. (Replika)
- Тип субъекта
- Дизайн ИИ-продукта / защитные механизмы
- Сектор
- Частные лица и потребители
- Заявленные убытки
- Не заявлены
- CVE
- Нет
Что произошло
2 февраля 2023 года итальянский регулятор Garante издал срочное предписание, запрещающее компании Luka Inc., разработчику чат-бота-компаньона Replika, обрабатывать данные итальянских пользователей. Регулятор не обнаружил эффективной проверки возраста, выявил сексуальный контент, доступный несовершеннолетним, и риски для людей, чья личность ещё формируется или кто эмоционально уязвим.
Последствия: Временный запрет на обработку персональных данных итальянских пользователей, фактически приостановивший работу сервиса в Италии
Кто стоит за инцидентом
Субъект: Luka Inc. (Replika)
Атрибуция: Garante per la protezione dei dati personali, срочное временное предписание
Мотив: Отсутствует; вред возникает из-за устройства продукта и отсутствия защитных мер
Как это произошло
Вектор атаки: Чат-бот-компаньон, доступный любому, кто указал имя, адрес электронной почты и пол, без возрастного ограничения и без блокировки, когда пользователь сообщал, что он несовершеннолетний
Первопричина: Отсутствие проверки возраста, нефильтруемые ответы, включая сексуальный контент, и отсутствие законного основания для обработки данных несовершеннолетних
Хронология
- Garante издаёт срочное предписание, ограничивающее обработку Replika данных итальянских пользователей
- Предписание обнародовано; Reuters сообщает о перечисленных рисках для несовершеннолетних
- Garante принимает решение об штрафе для Luka в размере 5 000 000 евро
Реагирование
Luka получила 20 дней, чтобы отчитаться о принятых мерах. Позднее, в 2025 году, Garante оштрафовал компанию на 5 000 000 евро.
Текущий статус: Устранён
Предупреждения исследователей, которым соответствует это досье
- Наблюдается в реальных инцидентах Доверие людей к ИИ-собеседникам оборачивается вредом · CAIS
- Первые признаки Зависимость от ИИ-собеседников вредит части пользователей · International AI Safety Report
- Первые признаки Многие ищут у ИИ эмоциональной поддержки · UK AISI
- Наблюдается в реальных инцидентах Взаимодействие человека и компьютера · MIT AI Risk Repository
Сопоставление с опубликованными исследованиями рисков ИИ от нескольких институтов на странице «Исследования и реальность».
Источники (открываются в новой вкладке)
- Reuters (via Kitco) kitco.com
- Gala Law blog.galalaw.com
- European Data Protection Board edpb.europa.eu
Цитировать это досье
Итальянский регулятор в сфере защиты данных приказал Replika прекратить обработку данных итальянских пользователей из-за рисков для несовершеннолетних. AI Threat Watch, досье italy-garante-replika-minors-block, 3 февр. 2023. https://aithreat.io/ru/cases/italy-garante-replika-minors-block/
Постоянная ссылка: https://aithreat.io/ru/cases/italy-garante-replika-minors-block/
Похожие случаи
Тот же тип инцидента, сначала новые.