Glossaire des types d’incidents de sécurité de l’IA
Définitions en langage clair des neuf types utilisés pour classer chaque dossier de ce site, avec un lien vers les dossiers de chaque type.
Injection de prompt
L’injection de prompt est une attaque dans laquelle un texte lu par un modèle d’IA, comme une page web, un document ou un e-mail, contient des instructions que le modèle suit comme si elles venaient de son utilisateur ou de son opérateur. Elle peut amener un assistant à divulguer des données, à agir à l’insu de l’utilisateur ou à ignorer ses règles de sécurité. C’est la classe d’attaque la plus fréquente contre les systèmes fondés sur de grands modèles de langage.
Fraude par deepfake
La fraude par deepfake utilise une voix, une vidéo ou des images générées par l’IA pour se faire passer pour une personne réelle, le plus souvent un dirigeant, un proche ou une personnalité publique, afin de tromper une victime. Les cas typiques sont de faux appels vidéo qui autorisent des paiements et des voix clonées utilisées dans des appels frauduleux. Les pertes sont souvent rapportées par la police ou les tribunaux plutôt que par la victime.
Malware assisté par IA
Un malware assisté par IA est un logiciel malveillant écrit, adapté ou piloté avec l’aide de modèles d’IA. Cela couvre le code généré par des assistants, les malwares qui interrogent un modèle à l’exécution pour décider de l’étape suivante et les boîtes à outils criminelles bâties sur des modèles de langage. L’IA réduit les compétences et le temps nécessaires pour produire un code d’attaque fonctionnel.
Chaîne d’approvisionnement IA
Un incident de chaîne d’approvisionnement IA compromet un composant dont dépendent les systèmes d’IA : un fichier de modèle, un jeu de données, un outil de développement, une extension, un registre de paquets ou une plateforme d’hébergement. Un seul composant malveillant ou vulnérable peut atteindre tous les projets qui l’installent. Les cas incluent des paquets empoisonnés, des modèles piégés et des assistants de programmation compromis.
Fuite de modèle et de données
Une fuite de modèle et de données expose des informations détenues par un système d’IA : conversations des utilisateurs, clés d’API, données d’entraînement, poids du modèle ou configuration interne. Les causes vont des bases de données et stockages mal configurés aux failles de l’application qui entoure le modèle. Le préjudice se mesure à ce qui a été exposé et pendant combien de temps.
LLMjacking
Le LLMjacking est le vol d’accès à des modèles d’IA payants, généralement via des identifiants cloud ou des clés d’API dérobés. Les attaquants exécutent leurs propres traitements ou revendent l’accès pendant que la victime reçoit la facture. C’est l’équivalent pour l’IA du cryptojacking.
Détournement d’agent
Le détournement d’agent prend le contrôle d’un agent d’IA, c’est-à-dire un modèle doté d’outils tels qu’un navigateur, un terminal, une messagerie ou des systèmes de paiement, et le fait agir contre son propriétaire. Le point d’entrée est souvent une injection de prompt ou un outil compromis, et les permissions de l’agent deviennent celles de l’attaquant. Les dégâts vont de fichiers supprimés à des données divulguées et à des actions non autorisées exécutées automatiquement.
Hameçonnage par IA
L’hameçonnage par IA utilise des modèles de langage pour rédiger, traduire et personnaliser des messages frauduleux à grande échelle, ou pour créer de faux sites et chatbots qui collectent des identifiants. Le texte est fluide et ciblé, de sorte que les signaux d’alerte habituels comme les fautes d’orthographe disparaissent. Les cas incluent des campagnes visant des responsables publics, des entreprises et des consommateurs.
Opérations étatiques avec l’IA
Les opérations étatiques avec l’IA désignent l’usage de l’IA par des groupes liés à des gouvernements pour l’espionnage, les campagnes d’influence ou les cyberattaques. Les signalements viennent surtout des fournisseurs d’IA qui détectent et neutralisent les comptes concernés, et d’agences gouvernementales. L’attribution est rapportée telle que la source l’a formulée, avec son niveau de confiance.