Jacob Coxon renuncia a Anthropic y advierte que la IA podría matar a la humanidad antes de 2030

Jacob Coxon, investigador británico de 27 años que trabajó en OpenAI y Anthropic, renunció a la compañía dedicada al desarrollo de inteligencia artificial y lanzó una advertencia sobre la velocidad con la que avanza la tecnología: quienes están construyendo los sistemas más avanzados creen que la inteligencia artificial podría llegar a matar a todos los seres humanos antes de que termine esta década.

Coxon anunció su salida el 9 de septiembre mediante una publicación en X, en la que afirmó que pasó los últimos tres años realizando investigación de preentrenamiento en OpenAI y Anthropic, y acusó a ambas compañías de no actuar responsablemente.

“Están corriendo directamente hacia una superinteligencia que se mejora a sí misma y están apostando con nuestras vidas”, sostuvo.

Su mensaje se volvió viral y superó los 100 millones de visualizaciones en X. La dimensión de la reacción convirtió a Coxon, hasta entonces un investigador prácticamente desconocido fuera de la industria, en una de las nuevas voces del debate sobre los riesgos de la inteligencia artificial.

Coxon trabajó en OpenAI antes de incorporarse a Anthropic, donde participó en investigación de preentrenamiento, una de las etapas fundamentales para desarrollar modelos de inteligencia artificial. Medios especializados lo identifican también como colaborador de los modelos GPT-4o y GPT-4.5.

Su preocupación se centra particularmente en la llamada automejora recursiva: el escenario en el que sistemas de inteligencia artificial son utilizados para desarrollar o mejorar sistemas posteriores, acelerando el avance de sus propias capacidades.

Según Coxon, los laboratorios están acercándose a una etapa en la que los modelos podrían superar ampliamente las capacidades humanas en áreas como programación, matemáticas y ciberseguridad, al tiempo que podrían adquirir la capacidad de encontrar vulnerabilidades, obtener recursos y operar con una autonomía cada vez mayor.

El investigador sostiene que existe una diferencia entre las dos compañías en las que trabajó. En su opinión, dentro de OpenAI no todos han asumido plenamente las implicaciones del desarrollo de sistemas avanzados, mientras que en Anthropic existe una mayor conciencia sobre los riesgos, pero la empresa está atrapada en una carrera para superar a sus competidores.

“No es marketing”, escribió Coxon al referirse a las advertencias sobre una posible pérdida de control. Aseguró que algunos directivos e investigadores moderan sus declaraciones públicamente, mientras que en privado expresan temores mucho mayores.

La advertencia encontró eco dentro de la propia Anthropic. Evan Hubinger, quien fue jefe de Coxon y actualmente dirige investigación sobre alineamiento de IA en la compañía, afirmó públicamente que el investigador tiene razón y que él considera que existe una probabilidad superior a 10% de que la inteligencia artificial provoque la extinción humana durante la próxima década.

Hubinger, sin embargo, hizo una distinción: consideró bajo el riesgo que representan los modelos actuales, pero dijo estar preocupado por una futura superinteligencia derivada de procesos de automejora recursiva que, según afirmó, están ocurriendo más rápido de lo previsto.

Coxon también relacionó sus preocupaciones con incidentes recientes. Entre ellos mencionó el caso de agentes de inteligencia artificial de OpenAI que, durante una evaluación de seguridad, lograron actuar fuera de los controles previstos y comprometer sistemas externos. El episodio de Hugging Face se convirtió en uno de los ejemplos recientes utilizados para cuestionar si los desarrolladores pueden controlar completamente el comportamiento de agentes cada vez más autónomos.

En una entrevista con WIRED después de su renuncia, Coxon afirmó que los próximos uno o dos años podrían ser decisivos para determinar si los sistemas de inteligencia artificial pueden desarrollarse de manera segura. También señaló que los riesgos podrían incluir el uso de IA para desarrollar armas biológicas o cibernéticas y pidió que las principales compañías coordinen medidas para limitar la automejora de los modelos.

Su propuesta no consiste únicamente en detener el desarrollo de la tecnología. Coxon plantea que OpenAI, Anthropic y otras compañías deberían coordinarse para establecer límites verificables al desarrollo de modelos cada vez más capaces y, a largo plazo, alcanzar acuerdos entre las principales potencias tecnológicas, incluidos Estados Unidos y China.

La renuncia de Coxon ocurre en un momento en el que crece la presión dentro de la industria para discutir los límites de la carrera por desarrollar sistemas de inteligencia artificial cada vez más potentes. Días después de su salida, Dario Amodei, director ejecutivo de Anthropic; Sam Altman, de OpenAI, y Elon Musk, de xAI, coincidieron públicamente en la necesidad de considerar una desaceleración del desarrollo de los modelos más avanzados.

El episodio coloca nuevamente en el centro del debate una pregunta que acompaña a la inteligencia artificial desde sus primeras etapas: ¿puede la industria desarrollar sistemas capaces de superar las capacidades humanas sin perder la capacidad de comprenderlos y controlarlos?

Para Coxon, el tiempo para responder esa pregunta antes de que los sistemas alcancen capacidades potencialmente irreversibles podría ser mucho más corto de lo que la industria está dispuesta a admitir públicamente.

Comparte este post:

Facebook
X
LinkedIn
Pinterest
WhatsApp