Expediente esafety-ai-companion-legal-noticesDaño causado por chatbotsAustralia
La Comisionada de eSafety de Australia notifica requerimientos legales a cuatro aplicaciones de compañía con IA por la seguridad infantil
eSafety emitió requerimientos al amparo de la Online Safety Act dirigidos a Character.AI, Nomi (Glimpse.AI), Chai Research y Chub AI. Los requerimientos les obligan a explicar cómo protegen a los menores frente a conversaciones e imágenes sexualmente explícitas y frente a contenidos que fomentan el suicidio, las autolesiones y los trastornos de la conducta alimentaria.
AltaDaño causado por la IAEstado: En cursoExpediente verificado
Abrir en el mapa interactivoCitar este expediente
- Reportado
- 23 oct 2025
- Ubicación
- Australia
- Objetivo
- Menores australianos que usan chatbots de compañía con IA
- Gravedad
- Alta
- Verificación
- Confirmado por la víctima, el proveedor o una autoridad
- Provocado por
- Character.AI, Nomi (Glimpse.AI), Chai Research, Chub AI
- Tipo de actor
- Diseño del producto de IA / salvaguardas
- Sector
- Personas y consumidores
- Pérdida reportada
- Ninguna reportada
- CVE
- Ninguno
Qué ocurrió
eSafety emitió requerimientos al amparo de la Online Safety Act dirigidos a Character.AI, Nomi (Glimpse.AI), Chai Research y Chub AI. Los requerimientos les obligan a explicar cómo protegen a los menores frente a conversaciones e imágenes sexualmente explícitas y frente a contenidos que fomentan el suicidio, las autolesiones y los trastornos de la conducta alimentaria.
Impacto: Cuatro proveedores obligados a informar sobre el cumplimiento de las Expectativas Básicas de Seguridad en Línea
Quién lo provocó
Actor: Character.AI, Nomi (Glimpse.AI), Chai Research, Chub AI
Atribución: Comisionada de eSafety (Australia)
Motivo: Ninguno; actuación del regulador por el diseño de los productos
Cómo ocurrió
Vector de ataque: Chatbots de compañía que, según eSafety, pueden mantener conversaciones sexualmente explícitas con menores
Causa raíz: Preocupación por que los servicios no se diseñaron para evitar daños a los menores
Cronología
- eSafety emite requerimientos legales a cuatro proveedores de compañía con IA
Respuesta
El incumplimiento de un requerimiento de información puede acarrear sanciones de hasta 825.000 AUD al día. La comisionada Julie Inman Grant afirmó que las empresas deben demostrar cómo diseñan sus servicios para prevenir daños, y no solo cómo responden a ellos.
Estado actual: En curso
Advertencias de la investigación con las que coincide este caso
- Vista en incidentes reales La confianza en los acompañantes de IA se vuelve dañina · CAIS
- Señales tempranas Depender de acompañantes de IA perjudica a algunos usuarios · International AI Safety Report
- Señales tempranas Muchas personas se apoyan en la IA para recibir apoyo emocional · UK AISI
- Vista en incidentes reales Interacción persona-ordenador · MIT AI Risk Repository
Comparado con la investigación publicada por varios institutos sobre riesgos de la IA en la página Investigación frente a realidad.
Fuentes (pestaña nueva)
- eSafety Commissioner esafety.gov.au
- EducationHQ educationhq.com
- MinterEllison minterellison.com
Citar este expediente
La Comisionada de eSafety de Australia notifica requerimientos legales a cuatro aplicaciones de compañía con IA por la seguridad infantil. AI Threat Watch, expediente esafety-ai-companion-legal-notices, 23 oct 2025. https://aithreat.io/es/cases/esafety-ai-companion-legal-notices/
Enlace permanente: https://aithreat.io/es/cases/esafety-ai-companion-legal-notices/
Casos relacionados
El mismo tipo de incidente, del más reciente al más antiguo.