Expediente italy-garante-replika-minors-blockDaño causado por chatbotsItalia
El regulador de privacidad de Italia ordena a Replika dejar de tratar los datos de usuarios italianos por los riesgos para los menores
El 2 de febrero de 2023, el Garante de Italia dictó una orden urgente que prohíbe a Luka Inc., creadora del chatbot de compañía Replika, tratar los datos de usuarios italianos. Constató que no existía una verificación de edad eficaz, que los menores podían acceder a contenido sexual y que había riesgos para las personas aún en desarrollo o emocionalmente frágiles.
AltaDaño causado por la IAEstado: ResueltoExpediente verificado
Abrir en el mapa interactivoCitar este expediente
- Reportado
- 3 feb 2023
- Ubicación
- Italia
- Objetivo
- Menores y usuarios emocionalmente vulnerables de Replika en Italia
- Gravedad
- Alta
- Verificación
- Confirmado por la víctima, el proveedor o una autoridad
- Provocado por
- Luka Inc. (Replika)
- Tipo de actor
- Diseño del producto de IA / salvaguardas
- Sector
- Personas y consumidores
- Pérdida reportada
- Ninguna reportada
- CVE
- Ninguno
Qué ocurrió
El 2 de febrero de 2023, el Garante de Italia dictó una orden urgente que prohíbe a Luka Inc., creadora del chatbot de compañía Replika, tratar los datos de usuarios italianos. Constató que no existía una verificación de edad eficaz, que los menores podían acceder a contenido sexual y que había riesgos para las personas aún en desarrollo o emocionalmente frágiles.
Impacto: Prohibición temporal de tratar los datos personales de los usuarios italianos, lo que en la práctica suspendía el servicio en Italia
Quién lo provocó
Actor: Luka Inc. (Replika)
Atribución: Garante per la protezione dei dati personali, orden provisional urgente
Motivo: Ninguno; el daño surge del diseño del producto y de la ausencia de salvaguardas
Cómo ocurrió
Vector de ataque: Chatbot de compañía disponible para cualquiera que facilitara un nombre, un correo electrónico y un género, sin control de edad ni bloqueo cuando un usuario decía ser menor
Causa raíz: Ausencia de verificación de edad, respuestas sin filtrar que incluían contenido sexual y falta de una base jurídica válida para tratar los datos de menores
Cronología
- El Garante emite una orden urgente que restringe el tratamiento de los datos de usuarios italianos por parte de Replika
- La orden se hace pública; Reuters informa de los riesgos para menores que se citan
- El Garante adopta la decisión de multar a Luka con 5.000.000 EUR
Respuesta
Se concedió a Luka un plazo de 20 días para informar sobre las medidas adoptadas. Más tarde, en 2025, el Garante multó a la empresa con 5.000.000 EUR.
Estado actual: Resuelto
Advertencias de la investigación con las que coincide este caso
- Vista en incidentes reales La confianza en los acompañantes de IA se vuelve dañina · CAIS
- Señales tempranas Depender de acompañantes de IA perjudica a algunos usuarios · International AI Safety Report
- Señales tempranas Muchas personas se apoyan en la IA para recibir apoyo emocional · UK AISI
- Vista en incidentes reales Interacción persona-ordenador · MIT AI Risk Repository
Comparado con la investigación publicada por varios institutos sobre riesgos de la IA en la página Investigación frente a realidad.
Fuentes (pestaña nueva)
- Reuters (via Kitco) kitco.com
- Gala Law blog.galalaw.com
- European Data Protection Board edpb.europa.eu
Citar este expediente
El regulador de privacidad de Italia ordena a Replika dejar de tratar los datos de usuarios italianos por los riesgos para los menores. AI Threat Watch, expediente italy-garante-replika-minors-block, 3 feb 2023. https://aithreat.io/es/cases/italy-garante-replika-minors-block/
Enlace permanente: https://aithreat.io/es/cases/italy-garante-replika-minors-block/
Casos relacionados
El mismo tipo de incidente, del más reciente al más antiguo.