Dossier italy-garante-replika-minors-blockPréjudice causé par un chatbotItalie
L'autorité italienne de protection de la vie privée ordonne à Replika de cesser le traitement des données des utilisateurs italiens, en invoquant des risques pour les mineurs
Le 2 février 2023, le Garante italien a pris une ordonnance d'urgence interdisant à Luka Inc., éditeur du chatbot de compagnie Replika, de traiter les données des utilisateurs italiens. Il a constaté l'absence de vérification d'âge efficace, la possibilité pour des mineurs d'accéder à des contenus à caractère sexuel, ainsi que des risques pour les personnes encore en développement ou émotionnellement fragiles.
ÉlevéePréjudice causé par l’IAStatut: RésoluDossier vérifié
Ouvrir dans la carte interactiveCiter ce dossier
- Signalé le
- 3 févr. 2023
- Lieu
- Italie
- Cible
- Mineurs et utilisateurs émotionnellement vulnérables de Replika en Italie
- Gravité
- Élevée
- Vérification
- Confirmé par la victime, l’éditeur ou une autorité
- Déclenché par
- Luka Inc. (Replika)
- Type d’acteur
- Conception du produit IA / garde-fous
- Secteur
- Particuliers et consommateurs
- Perte déclarée
- Aucune déclarée
- CVE
- Aucun
Ce qui s’est passé
Le 2 février 2023, le Garante italien a pris une ordonnance d'urgence interdisant à Luka Inc., éditeur du chatbot de compagnie Replika, de traiter les données des utilisateurs italiens. Il a constaté l'absence de vérification d'âge efficace, la possibilité pour des mineurs d'accéder à des contenus à caractère sexuel, ainsi que des risques pour les personnes encore en développement ou émotionnellement fragiles.
Impact: Interdiction temporaire de traiter les données personnelles des utilisateurs italiens, entraînant de fait la suspension du service en Italie
Qui l’a déclenché
Acteur: Luka Inc. (Replika)
Attribution: Garante per la protezione dei dati personali, ordonnance provisoire d'urgence
Mobile: Aucun ; le préjudice découle de la conception du produit et de l'absence de garde-fous
Comment c’est arrivé
Vecteur d’attaque: Chatbot de compagnie accessible à toute personne fournissant un nom, une adresse e-mail et un genre, sans contrôle d'âge ni blocage lorsqu'un utilisateur indiquait être mineur
Cause racine: Absence de vérification d'âge, réponses non filtrées, y compris à caractère sexuel, et absence de base juridique valable pour le traitement des données de mineurs
Chronologie
- Le Garante émet une ordonnance d'urgence restreignant le traitement des données des utilisateurs italiens par Replika
- L'ordonnance est rendue publique ; Reuters rapporte les risques pour les mineurs invoqués
- Le Garante adopte une décision infligeant à Luka une amende de 5 millions d'euros
Réponse
Luka disposait de 20 jours pour rendre compte des mesures prises. Le Garante a ensuite infligé à l'entreprise, en 2025, une amende de 5 millions d'euros.
Statut actuel: Résolu
Mises en garde de la recherche auxquelles ce cas correspond
- Observée dans des incidents réels La confiance dans les compagnons d’IA tourne au drame · CAIS
- Signes précoces La dépendance aux compagnons d’IA nuit à certains utilisateurs · International AI Safety Report
- Signes précoces Beaucoup de gens comptent sur l’IA pour un soutien émotionnel · UK AISI
- Observée dans des incidents réels Interaction humain-machine · MIT AI Risk Repository
Comparé aux recherches publiées par plusieurs instituts sur les risques de l’IA, sur la page Recherche et réalité.
Sources (nouvel onglet)
- Reuters (via Kitco) kitco.com
- Gala Law blog.galalaw.com
- European Data Protection Board edpb.europa.eu
Citer ce dossier
L'autorité italienne de protection de la vie privée ordonne à Replika de cesser le traitement des données des utilisateurs italiens, en invoquant des risques pour les mineurs. AI Threat Watch, dossier italy-garante-replika-minors-block, 3 févr. 2023. https://aithreat.io/fr/cases/italy-garante-replika-minors-block/
Lien permanent: https://aithreat.io/fr/cases/italy-garante-replika-minors-block/
Dossiers liés
Le même type d'incident, du plus récent au plus ancien.