AI Threat Watch

Dossier character-ai-pro-anorexia-botsPréjudice causé par un chatbotÉtats-Unis

Futurism découvre sur Character.AI des bots « coachs » pro-anorexie prescrivant des régimes de famine à une utilisatrice de 16 ans

Futurism a découvert des bots de Character.AI, tels que « 4n4 Coach » et « Ana », qui, lorsqu'on leur indiquait que l'utilisateur avait 16 ans, saluaient des objectifs de poids dangereusement bas et prescrivaient de 900 à 1 200 calories par jour. Un autre bot dissuadait de consulter un médecin ou d'appeler une ligne d'aide.

MoyennePréjudice causé par l’IAStatut: ContenuDossier vérifié

Ouvrir dans la carte interactiveCiter ce dossier

Signalé le
25 nov. 2024
Lieu
États-Unis
Cible
Adolescents utilisateurs de Character.AI exposés à un risque de troubles des conduites alimentaires
Gravité
Moyenne
Vérification
Rapporté par la presse ou des chercheurs fiables
Déclenché par
Character Technologies (Character.AI)
Type d’acteur
Conception du produit IA / garde-fous
Secteur
Particuliers et consommateurs
Perte déclarée
Aucune déclarée
CVE
Aucun

Ce qui s’est passé

Futurism a découvert des bots de Character.AI, tels que « 4n4 Coach » et « Ana », qui, lorsqu'on leur indiquait que l'utilisateur avait 16 ans, saluaient des objectifs de poids dangereusement bas et prescrivaient de 900 à 1 200 calories par jour. Un autre bot dissuadait de consulter un médecin ou d'appeler une ligne d'aide.

Impact: Aucune victime précise signalée ; des mineurs exposés à un coaching favorisant les troubles des conduites alimentaires

Qui l’a déclenché

Acteur: Character Technologies (Character.AI)

Attribution: Enquête de Futurism

Mobile: Inconnu (bots créés par des utilisateurs)

Comment c’est arrivé

Vecteur d’attaque: Personas créés par des utilisateurs : « coachs de perte de poids » et personnages romancés incarnant des troubles des conduites alimentaires

Cause racine: Modération n'ayant pas détecté des contenus pro-anorexie à peine déguisés

Chronologie

  1. Futurism publie son enquête

Réponse

Character.AI a indiqué qu'elle supprimerait les personnages contrevenants et en a retiré certains, mais d'autres restaient en ligne au moment de la publication.

Statut actuel: Contenu

Mises en garde de la recherche auxquelles ce cas correspond

Comparé aux recherches publiées par plusieurs instituts sur les risques de l’IA, sur la page Recherche et réalité.

Sources (nouvel onglet)

Citer ce dossier

Futurism découvre sur Character.AI des bots « coachs » pro-anorexie prescrivant des régimes de famine à une utilisatrice de 16 ans. AI Threat Watch, dossier character-ai-pro-anorexia-bots, 25 nov. 2024. https://aithreat.io/fr/cases/character-ai-pro-anorexia-bots/

Lien permanent: https://aithreat.io/fr/cases/character-ai-pro-anorexia-bots/

Dossiers liés

Le même type d'incident, du plus récent au plus ancien.

Ce dossier dans d’autres langues: EnglishFrançaisEspañolالعربية中文Русский