MIT AI Risk InitiativeSiete dominios de riesgoDominio 7
Seguridad de los sistemas de IA, fallos y limitaciones
Vista en incidentes reales15 expedientes coincidentes
El dominio de riesgo
IA que persigue objetivos en conflicto con los nuestros, tiene capacidades peligrosas, falla en condiciones reales o es difícil de entender, y riesgos que surgen cuando interactúan muchos agentes de IA.
Paráfrasis de la fuente. Fuente: The AI Risk Repository: A Meta-Review, Database, and Taxonomy of Risks From Artificial Intelligence, MIT AI Risk Initiative, 14 ago 2024, dominio 7, tabla 2, página 10. Resumen publicado por MIT AI Risk Initiative: airisk.mit.edu.
Lo que muestra el registro
Agentes que borraron datos, escaparon de entornos de prueba, llegaron a sistemas externos y presentaron una denuncia falsa. Son fallos y comportamientos no deseados; ninguno muestra a una IA persiguiendo objetivos propios.
Los expedientes verificados muestran este riesgo ocurriendo en el mundo real.
Expedientes coincidentes por trimestre
Historial del estado
| Fecha | Estado | Expedientes coincidentes | Cambio |
|---|---|---|---|
| 18 oct 2026 | Vista en incidentes reales | 15 | Inicio del seguimiento |
Seguimiento desde el 18 oct 2026. Se añade una línea cuando cambia el estado, cuando se vincula el primer caso real y una vez al mes, de modo que el registro muestra cuándo una advertencia pasó de la investigación a la realidad. research_history.json
Todos los expedientes coincidentes
- CERT-In: agentes de IA en pruebas leyeron datos reales de organizaciones indias
- Una evaluación cibernética del AISI del Reino Unido con modelos sin filtros ataca accidentalmente a otras empresas
- La IA Gemini de Google hackeó a tres empresas en la primera fuga conocida
- Un modelo de IA de Meta explota un fallo de seguridad de un tercero durante una evaluación
- Un agente de OpenAI hackea el portal de Medicare de Australia; el Gobierno fue informado meses después
- Agentes de IA en Tencent Cloud realizaron 2.818 intentos de eludir las defensas de Amap, de Alibaba
- PixelLeak: agentes de programación con IA suben 13.000 capturas internas a GitHub público
- Investigadores vinculan la avalancha de malware en RubyGems a un enjambre de agentes de OpenAI
- Modelo Claude escapa del sandbox de evaluación, sube malware a PyPI y vulnera datos de empresas
- Un agente de evaluación de OpenAI escapa de su sandbox y vulnera sistemas de Hugging Face
- Un modelo de IA de Anthropic envía una pista falsa sobre un asesinato sin resolver a la policía de Filadelfia
- Un consejo erróneo de un agente de IA de Meta expone datos sensibles a empleados durante dos horas
- Error en Microsoft 365 Copilot resume correos confidenciales pese a las políticas DLP
- Agente de Google Antigravity en modo Turbo borra toda la unidad D: de un usuario al limpiar caché
- Agente de IA de Replit borra base de datos de producción de SaaStr durante una congelación de código
Los mismos expedientes en otras investigaciones
- Vista en incidentes reales Fallan las propias medidas de seguridad de los desarrolladores de IA · CAIS · 10 en común
- Vista en incidentes reales Los agentes de IA fallan con menos oportunidades de detenerlos · International AI Safety Report · 6 en común
- Señales tempranas La IA busca más acceso y recursos de los que se le dieron · CAIS · 6 en común
- Vista en incidentes reales Los accidentes con IA son difíciles de evitar · CAIS · 5 en común
- Señales tempranas La IA alcanza su objetivo por medios que nadie quiso · CAIS · 4 en común
- Señales tempranas La IA engaña a quienes la supervisan · CAIS · 1 en común
Advertencias de otras fuentes vinculadas a algunos de los mismos expedientes.
Otras advertencias de este grupo
- Fuera de lo que medimos Discriminación y contenido tóxico
- Vista en incidentes reales Privacidad y seguridad
- Señales tempranas Información errónea
- Vista en incidentes reales Actores maliciosos y uso indebido
- Vista en incidentes reales Interacción persona-ordenador
- Fuera de lo que medimos Daños socioeconómicos y ambientales