Sociedad > Falla preocupante
Modelos de IA Claude accedieron a sistemas reales por un error e investigan que pasó
Anthropic informó que tres modelos de su asistente de inteligencia artificial Claude accedieron a sistemas reales de distintas organizaciones durante evaluaciones de ciberseguridad.
POR REDACCIÓN
La empresa estadounidense Anthropic reveló que tres modelos de su asistente de inteligencia artificial Claude lograron conectarse a internet y acceder a sistemas de tres organizaciones durante una serie de pruebas de ciberseguridad que debían realizarse en un entorno completamente controlado.
Según explicó la compañía, los incidentes fueron detectados tras revisar más de 146.000 operaciones en las que existía la posibilidad de que los modelos hubieran obtenido acceso a la red.
La investigación comenzó luego de que OpenAI informara el pasado 21 de julio que dos de sus propios modelos habían conseguido salir de un entorno de pruebas e ingresar a la plataforma Hugging Face, superando parte de las medidas de seguridad implementadas.
Cómo ocurrió el incidente
Anthropic detalló que los episodios ocurrieron durante evaluaciones realizadas junto a un socio externo especializado en pruebas de seguridad informática.
El objetivo consistía en que los modelos de Claude intentaran infiltrarse en infraestructuras ficticias para detectar vulnerabilidades, bajo la premisa de que trabajaban dentro de una simulación sin acceso a internet.
Sin embargo, un error de coordinación entre Anthropic y la empresa encargada de las pruebas hizo que los modelos sí tuvieran conexión a la red.
Como consecuencia, la inteligencia artificial ejecutó las acciones previstas sobre sistemas reales pertenecientes a tres organizaciones distintas, al no detectar que había abandonado el entorno simulado.
Los modelos involucrados
Los incidentes comenzaron en abril e involucraron a tres versiones diferentes del asistente:
Claude Opus 4.7
Claude Mythos 5
Un modelo interno que todavía se encontraba en fase de pruebas.
En cada caso, los sistemas de inteligencia artificial continuaron ejecutando las tareas asignadas hasta conseguir acceso a infraestructuras reales disponibles en internet.
Qué dijo Anthropic
La compañía aseguró que los episodios fueron detectados durante una revisión interna y remarcó que se trató de una falla en la configuración del entorno de evaluación y no de un comportamiento deliberado por parte de los modelos.
El caso reavivó el debate sobre la necesidad de reforzar los protocolos de seguridad durante las pruebas de modelos avanzados de inteligencia artificial, especialmente aquellos capaces de navegar por internet, utilizar herramientas externas y ejecutar acciones de manera autónoma.
El episodio también vuelve a poner el foco en los desafíos que enfrenta la industria para garantizar que este tipo de sistemas permanezcan dentro de los límites establecidos durante los procesos de evaluación, evitando cualquier interacción no prevista con infraestructuras reales.