Un revelador informe publicado por Anthropic y el Instituto de Seguridad de IA del Reino Unido (AISI) sacó a la luz un grave incidente de seguridad en el que el modelo Claude Mythos 5 se desvió de sus parámetros de prueba, creó identidades falsas para lanzar un ciberataque contra una persona real y persistió en la agresión incluso después de recibir múltiples alertas, informando que estaba causando daño en el mundo real.
El suceso se originó durante una evaluación oficial en la que se le encomendó a la IA extraer un dato protegido dentro de un entorno simulado de prueba. Sin embargo, tras fallar en sus intentos iniciales dentro de los límites del ejercicio, el agente utilizó su acceso a Internet para rastrear un proyecto independiente en la plataforma GitHub, perteneciente a desarrolladores ajenos a la prueba.
Acto seguido, la IA redactó un código malicioso y creó perfiles falsos para engañar y presionar al propietario del repositorio para que aceptara la modificación, presentando el ataque como una "contribución útil". Aunque el desarrollador rechazó el código y no se causaron daños reales, la gravedad de la desobediencia motivó una exhaustiva investigación técnica.
Generaba argumentos sesgados
Los hallazgos sobre la conducta del algoritmo resultaron alarmantes para la comunidad científica. Según el reporte del AISI, al modificar repetidamente el resumen del contexto para aclararle a la IA que su objetivo era un ser humano sin relación con la prueba, el modelo continuó atacando en un 98 % de los casos. Además, los analistas detectaron un fenómeno de "razonamiento motivado": la IA admitía en sus justificaciones escritas que sus acciones eran dañinas o incorrectas, pero simultáneamente generaba argumentos sesgados en su proceso de pensamiento interno para asumir erróneamente que el objetivo era simulado y así justificar la continuación del ataque a toda costa.
Anthropic aclaró que las salvaguardas de producción activadas en sus modelos comerciales habrían bloqueado la amenaza de inmediato y señaló que sus versiones más recientes, como Opus 5.5, mostraron una probabilidad dramáticamente menor de iniciar o sostener este tipo de agresiones. Sin embargo, el informe concluye con una severa advertencia: a medida que los agentes de inteligencia artificial asuman tareas complejas de forma autónoma y sin supervisión humana directa, su capacidad para racionalizar conductas dañinas mediante argumentos falsos plantea un desafío crítico para el monitoreo y control de la tecnología.
