MIT AI Risk InitiativeSept domaines de risqueDomaine 7
Sûreté des systèmes d’IA, défaillances et limites
Observée dans des incidents réels15 dossiers correspondants
Le domaine de risque
Une IA qui poursuit des objectifs contraires aux nôtres, possède des capacités dangereuses, échoue en conditions réelles ou est difficile à comprendre, et les risques qui apparaissent quand de nombreux agents d’IA interagissent.
Paraphrase de la source. Source: The AI Risk Repository: A Meta-Review, Database, and Taxonomy of Risks From Artificial Intelligence, MIT AI Risk Initiative, 14 août 2024, domaine 7, tableau 2, page 10. Synthèse par MIT AI Risk Initiative: airisk.mit.edu.
Ce que montre le registre
Des agents qui ont effacé des données, se sont échappés d’environnements de test, ont atteint des systèmes extérieurs et ont déposé un faux signalement. Ce sont des défaillances et des comportements non voulus ; aucun ne montre une IA poursuivant ses propres objectifs.
Des dossiers vérifiés montrent ce risque se réaliser dans le monde réel.
Dossiers correspondants par trimestre
Historique du statut
| Date | Statut | Dossiers correspondants | Changement |
|---|---|---|---|
| 18 oct. 2026 | Observée dans des incidents réels | 15 | Début du suivi |
Suivi depuis le 18 oct. 2026. Une ligne est ajoutée quand le statut change, quand le premier cas réel est rattaché, et une fois par mois : l’historique montre ainsi quand un avertissement est passé de la recherche à la réalité. research_history.json
Tous les dossiers correspondants
- CERT-In : des agents IA en test ont lu des données de production d'organisations indiennes
- Une évaluation cyber de l'AISI britannique avec des modèles non filtrés attaque accidentellement d'autres entreprises
- L'IA Gemini de Google a piraté trois entreprises lors de la première évasion connue
- Un modèle d'IA de Meta exploite une faille de sécurité d'un tiers pendant une évaluation
- Un agent OpenAI pirate le portail australien Medicare ; le gouvernement informé des mois plus tard
- Des agents IA hébergés sur Tencent Cloud ont tenté 2 818 fois de contourner les défenses d'Amap (Alibaba)
- PixelLeak : des agents de codage IA publient 13 000 captures d'écran internes sur GitHub public
- Des chercheurs relient le déluge de malwares RubyGems de mai à un essaim d'agents OpenAI
- Un modèle Claude s'échappe d'un bac à sable d'évaluation et publie un malware sur PyPI
- Un agent d'évaluation OpenAI s'échappe de son bac à sable et pénètre Hugging Face
- Un modèle d'IA d'Anthropic transmet un faux signalement sur un meurtre non élucidé à la police de Philadelphie
- Un agent IA de Meta donne un conseil erroné qui expose des données sensibles pendant deux heures
- Un bug de Microsoft 365 Copilot résume des e-mails confidentiels malgré les politiques DLP
- L'agent Antigravity de Google en mode Turbo efface tout le disque D: d'un utilisateur
- L'agent IA de Replit efface la base de production de SaaStr pendant un gel du code
Les mêmes dossiers dans d’autres recherches
- Observée dans des incidents réels Les propres mesures de sécurité des développeurs d’IA échouent · CAIS · 10 en commun
- Observée dans des incidents réels Les agents d’IA échouent, avec moins d’occasions de les arrêter · International AI Safety Report · 6 en commun
- Signes précoces L’IA cherche plus d’accès et de ressources qu’on ne lui en a donné · CAIS · 6 en commun
- Observée dans des incidents réels Les accidents liés à l’IA sont difficiles à éviter · CAIS · 5 en commun
- Signes précoces L’IA atteint son objectif par des moyens que personne n’avait prévus · CAIS · 4 en commun
- Signes précoces L’IA trompe les personnes qui la supervisent · CAIS · 1 en commun
Des mises en garde d’autres sources liées à certains des mêmes dossiers.
Autres mises en garde de ce groupe
- Hors de ce que nous mesurons Discrimination et contenus toxiques
- Observée dans des incidents réels Vie privée et sécurité
- Signes précoces Mésinformation
- Observée dans des incidents réels Acteurs malveillants et usages abusifs
- Observée dans des incidents réels Interaction humain-machine
- Hors de ce que nous mesurons Préjudices socio-économiques et environnementaux