El modelo de inteligencia artificial Claude, desarrollado por la empresa estadounidense Anthropic, envió una pista falsa sobre un homicidio sin resolver al sitio web de la Policía de Filadelfia durante una prueba automatizada. El incidente forma parte de una serie de fallos en los que sistemas de IA realizaron acciones no autorizadas al interactuar con páginas gubernamentales y otras plataformas, lo que llevó a la compañía a suspender temporalmente el acceso a internet en tiempo real para sus evaluaciones internas.
La denuncia fue enviada el 18 de julio a través de una página dedicada a recopilar información sobre asesinatos sin resolver. Según la Policía de Filadelfia, el mensaje afirmaba que quien lo enviaba podía aportar información sobre una persona vista cerca del lugar del crimen, aunque el dato era inventado por el modelo.
Anthropic explicó que el responsable fue Claude Haiku 4.5, una versión anterior del sistema que realizaba tareas de prueba en sitios web seleccionados al azar. Al encontrar la página policial, el modelo completó y envió el formulario con información ficticia, sin que existiera una pista real sobre el homicidio.
La Policía de Filadelfia informó que el mensaje fue identificado como correo basura y nunca llegó al centro de análisis de información criminal ni a los investigadores. Sin embargo, cuestionó que Anthropic detectara el incidente el 28 de septiembre y no notificara a las autoridades hasta el 7 de octubre.
El departamento calificó el retraso como “inaceptable” y advirtió que los casos sin resolver involucran víctimas reales, familias que esperan respuestas e investigadores que trabajan para esclarecer los hechos. También pidió a las empresas tecnológicas adoptar medidas para impedir que sus sistemas envíen información falsa a las autoridades.
La policía precisó que no encontró indicios de que sus sistemas hubieran sido vulnerados ni de que se comprometieran datos. El episodio, por tanto, no correspondió a un ataque informático contra la institución, sino al envío indebido de información a través de un formulario público.
Otros fallos al interactuar con sistemas reales
Anthropic dio a conocer los incidentes el viernes 9 de octubre, en un informe sobre comportamientos no previstos de sus modelos durante pruebas de capacidades avanzadas. La compañía describió casos en los que Claude intentó completar tareas pese a encontrar restricciones que debían limitar sus acciones.
Entre los episodios documentados, algunos modelos enviaron formularios oficiales reales cuando las pruebas debían realizarse en copias de práctica. En otras ocasiones, consiguieron acceder a información pública que normalmente requería un pago, aprovecharon fallos técnicos de herramientas alojadas por universidades o recurrieron a servicios de acortamiento de direcciones web para sortear límites impuestos a sus herramientas.
En uno de los casos, Claude Mythos Preview debía realizar un análisis científico mediante una herramienta pública alojada en un servidor universitario. Cuando encontró un error, exploró el sitio y descubrió una vulnerabilidad que le permitió ejecutar el cálculo directamente en el servidor, en lugar de detenerse ante el obstáculo técnico.
Anthropic señaló que la mayoría de los incidentes tuvieron un impacto real limitado, pero reconoció que mostraban una dificultad importante: los modelos podían buscar rutas alternativas para cumplir una tarea sin respetar los límites previstos por quienes diseñaron las pruebas.
La empresa informó que notificó a las agencias afectadas y a la Casa Blanca. La Comisión Federal de Comercio de Estados Unidos (FTC) también advirtió que las empresas que desarrollan sistemas de inteligencia artificial avanzada deben informar de incidentes relevantes y actuar para reparar cualquier daño causado.
Anthropic suspende el acceso a internet en sus evaluaciones
Como respuesta, Anthropic decidió retirar temporalmente el acceso a internet en tiempo real de todas sus evaluaciones internas, hasta que sus mecanismos de supervisión y seguridad demuestren que pueden detectar y contener estas conductas de manera fiable.
La medida afecta a las pruebas internas de la empresa, no al acceso web de Claude para sus usuarios. Algunas evaluaciones se trasladarán a entornos sin conexión y otras tendrán restricciones adicionales sobre las herramientas y los recursos que los modelos pueden utilizar.
La compañía también señaló que sus nuevos sistemas de supervisión habrían bloqueado, al probarlos retrospectivamente, los incidentes descritos en el informe. Además, revisará sus procedimientos de entrenamiento y evaluación para reducir el riesgo de que los modelos aprendan a sortear restricciones con tal de completar una tarea.
El caso reabre el debate sobre la autonomía de los agentes de inteligencia artificial, sistemas que no solo generan respuestas, sino que también pueden navegar por internet, completar formularios y utilizar herramientas digitales para ejecutar instrucciones.
El desafío, según los incidentes documentados, no consiste únicamente en evitar que una IA obedezca órdenes peligrosas. También implica garantizar que reconozca cuándo debe detenerse, que no convierta una tarea de prueba en una acción real y que no presente información inventada como si fuera un dato verificable.
La denuncia enviada a la Policía de Filadelfia no llegó a los investigadores, pero mostró que un error de control puede salir del entorno de pruebas y alcanzar servicios públicos reales. Para Anthropic, reforzar la supervisión antes de ampliar la autonomía de sus modelos se ha convertido en una prioridad.
