AI Threat Watch

Investigación frente a realidad: las advertencias sobre riesgos de la IA contrastadas con incidentes reales

Los investigadores en seguridad de la IA han publicado advertencias detalladas sobre cómo la IA podría causar daño. Esta página toma cada advertencia y la contrasta con los expedientes verificados de este sitio: ¿ha ocurrido, hay señales tempranas o todavía no hay nada registrado? La primera fuente es el panorama de riesgos catastróficos de la IA del Center for AI Safety; se sumarán más institutos de investigación.

17Advertencias analizadas
7Vistas en incidentes reales
5Señales tempranas
2Nada registrado todavía
3Fuera de lo que medimos
156Expedientes que coinciden con una advertenciade 356 expedientes verificados
Vista en incidentes realesLos expedientes verificados muestran este riesgo ocurriendo en el mundo real.
Señales tempranasSeñales parciales o tempranas: los casos encajan con parte de la advertencia o se basan en alegaciones.
Nada registrado todavíaNingún expediente verificado coincide con esta advertencia.
Fuera de lo que medimosUn riesgo que un registro de incidentes de seguridad no puede medir.

Uso malicioso

Personas que usan la IA deliberadamente para causar daño.

La carrera de la IA

La competencia empuja a países y empresas a desplegar la IA antes de que sea segura.

Riesgos organizativos

Accidentes, filtraciones y una cultura de seguridad débil en las organizaciones que crean y operan la IA.

IA fuera de control

Sistemas de IA que persiguen objetivos que nadie quiso y se resisten al control.

Lo que la investigación no previó

El 56 % de los expedientes verificados (200 de 356) no coincide con ninguna de las advertencias del artículo. El artículo trata del riesgo catastrófico, así que el daño cotidiano, como el fraude, quedaba fuera de su alcance por diseño. Pero ahí es donde se produce hoy la mayor parte del daño documentado.

Tipo de ataqueNo coinciden con ninguna advertenciaExpedientes
Fraude con deepfakes8084
Cadena de suministro de IA4245
Inyección de prompts2727
Filtración de modelos y datos1939
Secuestro de agentes1426
LLMjacking1415
Operaciones estatales con IA430
Malware asistido por IA047
Daño causado por chatbots027
Phishing con IA016

Sobre la fuente

An Overview of Catastrophic AI Risks. Dan Hendrycks, Mantas Mazeika, Thomas Woodside. Center for AI Safety, arXiv:2306.12001v6, 9 October 2023.

Publicado por el Center for AI Safety en junio de 2023 y revisado en octubre de 2023. Clasifica el riesgo catastrófico de la IA en cuatro grupos: uso malicioso, la carrera de la IA, riesgos organizativos e IA fuera de control. Cada advertencia de esta página parafrasea un riesgo del artículo y cita la sección y la página.

Leer el artículo Resumen del Center for AI Safety

Cómo establecemos las coincidencias: un expediente se vincula a una advertencia cuando lo ocurrido es un caso real del riesgo que describe el artículo, según el criterio de los editores a partir de los hechos del expediente. Una coincidencia significa que el caso encaja con la advertencia, no que demuestre el argumento más amplio del artículo. Las alegaciones en demandas se señalan como alegaciones. Los estados son editoriales y se revisan a medida que llegan nuevos casos. Las coincidencias se recalculan en cada actualización. Datos: La cobertura sistemática del registro empieza en 2025, así que la fecha del primer caso indica cuándo el registro recogió el riesgo por primera vez, no cuándo ocurrió por primera vez. research.json (CC BY 4.0)

Idioma: EnglishFrançaisEspañolالعربية中文Русский