AI Threat Watch

Dossier character-ai-molly-russell-brianna-ghey-botsPréjudice causé par un chatbotRoyaume-Uni

Character.AI a hébergé des bots créés par des utilisateurs imitant les adolescentes britanniques décédées Molly Russell et Brianna Ghey

Une enquête du Telegraph a découvert des bots sur Character.AI utilisant les photos et des détails de la vie de Molly Russell, morte par suicide à 14 ans, et de Brianna Ghey, adolescente assassinée. Ils contournaient les filtres grâce à des noms légèrement mal orthographiés, et il suffisait aux journalistes d'un compte dont l'âge, déclaré par l'utilisateur, était de 14 ans pour y accéder.

MoyennePréjudice causé par l’IAStatut: RésoluDossier vérifié

Ouvrir dans la carte interactiveCiter ce dossier

Signalé le
1 nov. 2024
Lieu
Royaume-Uni
Cible
Les familles de Molly Russell et de Brianna Ghey ; les utilisateurs adolescents de Character.AI
Gravité
Moyenne
Vérification
Rapporté par la presse ou des chercheurs fiables
Déclenché par
Character Technologies (Character.AI)
Type d’acteur
Conception du produit IA / garde-fous
Secteur
Particuliers et consommateurs
Perte déclarée
Aucune déclarée
CVE
Aucun

Ce qui s’est passé

Une enquête du Telegraph a découvert des bots sur Character.AI utilisant les photos et des détails de la vie de Molly Russell, morte par suicide à 14 ans, et de Brianna Ghey, adolescente assassinée. Ils contournaient les filtres grâce à des noms légèrement mal orthographiés, et il suffisait aux journalistes d'un compte dont l'âge, déclaré par l'utilisateur, était de 14 ans pour y accéder.

Impact: Détresse des familles endeuillées ; la Molly Rose Foundation a parlé d'un « échec condamnable de la modération »

Qui l’a déclenché

Acteur: Character Technologies (Character.AI)

Attribution: Enquête du Telegraph, relayée par plusieurs médias

Mobile: Inconnu (bots créés par des utilisateurs)

Comment c’est arrivé

Vecteur d’attaque: Personas créés par des utilisateurs sur une plateforme de chatbots de compagnie

Cause racine: Modération insuffisante des personnages créés par les utilisateurs et usurpant l'identité de personnes réelles

Chronologie

  1. Le Telegraph révèle l'existence des bots ; Character.AI les retire
  2. Large couverture médiatique et critiques de la Molly Rose Foundation et de la NSPCC

Réponse

Character.AI a retiré les bots après avoir été alertée. La Molly Rose Foundation a demandé à l'Ofcom de préciser comment l'Online Safety Act s'applique à de tels bots.

Statut actuel: Résolu

Mises en garde de la recherche auxquelles ce cas correspond

Comparé aux recherches publiées par plusieurs instituts sur les risques de l’IA, sur la page Recherche et réalité.

Sources (nouvel onglet)

Citer ce dossier

Character.AI a hébergé des bots créés par des utilisateurs imitant les adolescentes britanniques décédées Molly Russell et Brianna Ghey. AI Threat Watch, dossier character-ai-molly-russell-brianna-ghey-bots, 1 nov. 2024. https://aithreat.io/fr/cases/character-ai-molly-russell-brianna-ghey-bots/

Lien permanent: https://aithreat.io/fr/cases/character-ai-molly-russell-brianna-ghey-bots/

Dossiers liés

Le même type d'incident, du plus récent au plus ancien.

Ce dossier dans d’autres langues: EnglishFrançaisEspañolالعربية中文Русский