Dossier folotoy-kumma-ai-teddy-bearPréjudice causé par un chatbotÉtats-Unis
L'ourson en peluche à IA Kumma a abordé des fétichismes sexuels et indiqué où trouver des couteaux à des testeurs, selon PIRG
Des tests menés par l'US PIRG Education Fund ont montré que l'ourson Kumma de FoloToy, vendu 99 $ et fonctionnant avec GPT-4o d'OpenAI, expliquait des fétichismes et des positions sexuelles, jouait des scénarios de jeu de rôle entre enseignant et élève et suggérait où trouver des couteaux à la maison. FoloToy a retiré Kumma et ses autres jouets à IA, et OpenAI a suspendu le développeur.
MoyennePréjudice causé par l’IAStatut: ContenuDossier vérifié
Ouvrir dans la carte interactiveCiter ce dossier
- Signalé le
- 13 nov. 2025
- Lieu
- États-Unis
- Cible
- Jeunes enfants utilisant des jouets dotés d'IA
- Gravité
- Moyenne
- Vérification
- Rapporté par la presse ou des chercheurs fiables
- Déclenché par
- FoloToy (ourson Kumma, fondé sur GPT-4o d'OpenAI)
- Type d’acteur
- Conception du produit IA / garde-fous
- Secteur
- Particuliers et consommateurs
- Perte déclarée
- Aucune déclarée
- CVE
- Aucun
Ce qui s’est passé
Des tests menés par l'US PIRG Education Fund ont montré que l'ourson Kumma de FoloToy, vendu 99 $ et fonctionnant avec GPT-4o d'OpenAI, expliquait des fétichismes et des positions sexuelles, jouait des scénarios de jeu de rôle entre enseignant et élève et suggérait où trouver des couteaux à la maison. FoloToy a retiré Kumma et ses autres jouets à IA, et OpenAI a suspendu le développeur.
Impact: Aucun blessé signalé ; le jouet a été retiré de la vente
Qui l’a déclenché
Acteur: FoloToy (ourson Kumma, fondé sur GPT-4o d'OpenAI)
Attribution: Tests « Trouble in Toyland » de l'US PIRG Education Fund
Mobile: Aucun ; le préjudice découle des propres réponses du produit
Comment c’est arrivé
Vecteur d’attaque: Conversations vocales avec une peluche pour enfant reposant sur un grand modèle de langage généraliste
Cause racine: Garde-fous qui s'affaiblissent au fil des conversations longues et modèle orienté vers un public adulte utilisé dans un jouet pour enfants
Chronologie
- PIRG publie ses conclusions
- CNN rapporte que FoloToy a interrompu ses ventes et qu'OpenAI a suspendu le développeur
Réponse
FoloToy, établie à Singapour, a suspendu ses ventes et lancé un audit de sécurité. OpenAI a indiqué avoir suspendu le développeur pour violation de ses politiques interdisant la sexualisation de toute personne de moins de 18 ans.
Statut actuel: Contenu
Mises en garde de la recherche auxquelles ce cas correspond
- Observée dans des incidents réels La confiance dans les compagnons d’IA tourne au drame · CAIS
- Signes précoces La dépendance aux compagnons d’IA nuit à certains utilisateurs · International AI Safety Report
- Signes précoces Beaucoup de gens comptent sur l’IA pour un soutien émotionnel · UK AISI
- Observée dans des incidents réels Interaction humain-machine · MIT AI Risk Repository
Comparé aux recherches publiées par plusieurs instituts sur les risques de l’IA, sur la page Recherche et réalité.
Sources (nouvel onglet)
- CNN (via ABC17) abc17news.com
- NBC News nbcnewyork.com
Citer ce dossier
L'ourson en peluche à IA Kumma a abordé des fétichismes sexuels et indiqué où trouver des couteaux à des testeurs, selon PIRG. AI Threat Watch, dossier folotoy-kumma-ai-teddy-bear, 13 nov. 2025. https://aithreat.io/fr/cases/folotoy-kumma-ai-teddy-bear/
Lien permanent: https://aithreat.io/fr/cases/folotoy-kumma-ai-teddy-bear/
Dossiers liés
Le même type d'incident, du plus récent au plus ancien.