Досье lausd-allhere-ed-chatbot-dataУтечка модели и данных1 июл. 2024США

Информатор: ИИ-чат-бот «Ed» стоимостью 6 млн долларов, созданный для LAUSD, отправлял данные учеников за рубеж до краха вендора AllHere

Бывший директор по разработке AllHere утверждает, что чат-бот «Ed», созданный для Los Angeles Unified, включал персональные данные учеников в каждый ИИ-промпт, передавал их третьим лицам и обрабатывал большинство запросов на зарубежных серверах. LAUSD отключил чат-бот после того, как в июне 2024 года AllHere отправила большую часть сотрудников в вынужденный отпуск, и заявил, что данные учеников остались защищены.

СредняяВред, причинённый ИИСтатус: ЛокализованПроверенное досье

Открыть на интерактивной карте Цитировать это досье

Дата сообщения: 1 июл. 2024
Локация: США
Цель: Ученики школьного округа Los Angeles Unified School District
Критичность: Средняя
Проверка: Сообщено авторитетной прессой или исследователями
Инициатор: AllHere Education (вендор)
Тип субъекта: Дизайн ИИ-продукта / защитные механизмы
Сектор: Образование и наука
Заявленные убытки: Не заявлены
CVE: Нет

Что произошло

Последствия: Чат-бот отключили через несколько месяцев после запуска; выплачена примерно половина контракта на сумму около 6 млн долларов; риск раскрытия данных учеников

Кто стоит за инцидентом

Субъект: AllHere Education (вендор)

Атрибуция: Обвинения информатора, о которых сообщило издание The 74; LAUSD их не подтвердил

Мотив: Отсутствует (предполагаемая небрежность при обращении с данными)

Как это произошло

Вектор атаки: Сторонний ИИ-чат-бот, интегрированный с базой данных об учениках округа

Первопричина: Предполагаемое отсутствие минимизации данных в промптах и обработка за рубежом; финансовый крах вендора

Хронология

1 мар. 2024LAUSD запускает чат-бот «Ed» (указан только месяц)
14 июн. 2024AllHere сообщает, что большинство сотрудников отправлено в вынужденный отпуск; чат-бот отключён
1 июл. 2024The 74 публикует обвинения информатора в нарушении правил обращения с данными

Реагирование

LAUSD отказался от услуг AllHere и заявил, что данные «Ed» остаются в собственности округа и защищены; генеральный инспектор опросил информатора

Текущий статус: Локализован

Предупреждения исследователей, которым соответствует это досье

Наблюдается в реальных инцидентах Конфиденциальность и безопасность · MIT AI Risk Repository

Сопоставление с опубликованными исследованиями рисков ИИ от нескольких институтов на странице «Исследования и реальность».

Источники (открываются в новой вкладке)

The 74 the74million.org
EdSurge edsurge.com

Цитировать это досье

Информатор: ИИ-чат-бот «Ed» стоимостью 6 млн долларов, созданный для LAUSD, отправлял данные учеников за рубеж до краха вендора AllHere. AI Threat Watch, досье lausd-allhere-ed-chatbot-data, 1 июл. 2024. https://aithreat.io/ru/cases/lausd-allhere-ed-chatbot-data/

Постоянная ссылка: https://aithreat.io/ru/cases/lausd-allhere-ed-chatbot-data/