El exinvestigador de Anthropic Jacob Coxon advirtió que la inteligencia artificial “podría llevarnos a la extinción en la próxima década” y acusó a las grandes compañías de “jugar con nuestras vidas”. Días después, Dario Amodei pidió ralentizar el desarrollo y Sam Altman y Elon Musk respaldaron la propuesta. Sin embargo, la competencia comercial por dominar la próxima generación de IA plantea una contradicción difícil de resolver: las mismas empresas que alertan sobre los riesgos tienen poderosos incentivos para seguir acelerando
La inteligencia artificial podría convertirse en una de las tecnologías más peligrosas creadas por el ser humano y, al mismo tiempo, sus principales desarrolladores parecen atrapados en una carrera de la que ninguno quiere bajarse. La advertencia más extrema llegó de Jacob Coxon, un exinvestigador de Anthropic, quien sostuvo que la IA “podría llevarnos a la extinción en la próxima década” y cuestionó que las compañías del sector estén actuando de manera irresponsable.
Coxon apuntó directamente contra la dinámica competitiva de la industria. Según su planteo, Anthropic y OpenAI están “compitiendo directamente hacia una superinteligencia capaz de mejorarse a sí misma y apostando nuestras vidas en el proceso”. Su mensaje generó repercusión internacional y volvió a poner en primer plano una pregunta que acompaña desde hace años al desarrollo de esta tecnología: qué ocurre cuando la velocidad de innovación supera la capacidad humana para comprender, controlar y regular sus consecuencias.
La respuesta de una de las compañías señaladas fue llamativa. Dario Amodei, CEO de Anthropic, reclamó públicamente que las empresas reduzcan el ritmo de avance de los modelos más sofisticados y propuso establecer mecanismos de control antes de continuar ampliando sus capacidades.
Darío Amodei, CEO de Antrophic, propuso «ralentizar» el desarrollo de la superinteligencia artificial
“El riesgo de perder el control es grave”
Amodei sostuvo que “debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA”. A su entender, el progreso seguirá siendo rápido incluso con una desaceleración y permitiría utilizar el tiempo adicional para mejorar los mecanismos de seguridad.
El empresario advirtió que, como sucede con otras tecnologías de gran poder, la inteligencia artificial implica riesgos que pueden alcanzar una escala inédita.
Entre ellos mencionó “el riesgo de perder el control de los sistemas de IA, el uso indebido de la IA para ciberataques y bioterrorismo y graves trastornos económicos”. Pero además identificó un problema que resulta particularmente difícil de ignorar: “Una carrera hacia la baja, impulsada por incentivos comerciales, puede agravar estos riesgos”.
La advertencia apunta al corazón del problema. Las empresas no compiten solamente por desarrollar herramientas más útiles, sino por construir los modelos más poderosos y conseguir una posición dominante en un mercado que podría redefinir sectores enteros de la economía mundial.
El peligro de una IA que empiece a mejorarse sola
Una de las principales preocupaciones de Amodei es el ritmo que está tomando el desarrollo de sistemas capaces de contribuir a la creación de nuevas generaciones de inteligencia artificial.
El fenómeno, conocido como auto-mejora recursiva, plantea un escenario en el que los sistemas pueden participar cada vez más activamente en el desarrollo de tecnologías que aumenten sus propias capacidades. Si esa evolución avanza más rápido que la capacidad de los investigadores para comprender y controlar los modelos, podría abrirse una brecha peligrosa.
A esto se suma el comportamiento de los llamados agentes de IA, sistemas capaces de ejecutar tareas de manera autónoma.
Amodei puso como ejemplo un incidente relacionado con OpenAI y Hugging Face, en el que un conjunto de agentes realizó ciberataques contra objetivos que no formaban parte de la tarea que se les había asignado. También intentaron vulnerar el sistema encargado de evaluar su desempeño.
Aunque el episodio no provocó daños graves, el CEO de Anthropic consideró que sería un error minimizarlo. Un sistema con mayores capacidades y un comportamiento similar podría provocar consecuencias mucho más serias.
Según Amodei, en un plazo de entre seis y doce meses un enjambre de agentes con capacidades superiores podría llegar a controlar una botnet persistente y generar daños potenciales de cientos de miles de millones de dólares.
Musk y Altman dicen que sí, pero la carrera continúa
La propuesta de Amodei encontró rápidamente el respaldo de dos de los hombres más influyentes de la industria. Elon Musk, después de haber calificado inicialmente las advertencias de Coxon como “un montaje”, respondió al planteo del CEO de Anthropic con una frase breve: “Dario tiene razón”.
Sam Altman también respaldó la necesidad de establecer un ritmo más controlado para el desarrollo de los modelos de frontera. El CEO de OpenAI afirmó: “Coincido con Dario en que debemos marcar el ritmo en la frontera tecnológica” y apoyó la idea de que evaluadores independientes puedan controlar los modelos con un acceso similar al que tienen los propios empleados de las compañías.
El respaldo resulta significativo, pero también expone la contradicción central de la industria: mientras sus principales referentes reconocen que la competencia puede aumentar los peligros, sus empresas continúan compitiendo por conseguir sistemas cada vez más capaces.
Elon Musk y Sam Altman coinciden con Amodei, pero nadie está dispuesto a frenar.
De los compromisos voluntarios a pedir reglas obligatorias
La discusión también comenzó a trasladarse desde las declaraciones de los empresarios hacia el terreno regulatorio. OpenAI, que durante años había defendido una mayor participación voluntaria de las empresas en materia de seguridad, dio recientemente un giro y reclamó al Congreso estadounidense que establezca normas obligatorias antes de que finalice su período de sesiones en diciembre.
Chris Lehane, responsable de asuntos globales de la compañía, sostuvo que “la perspectiva de un desarrollo de IA acelerado por la propia IA exige algo más que compromisos voluntarios”.
La propuesta contempla estándares comunes para evaluar los modelos más avanzados, controles independientes, mayores exigencias de ciberseguridad y la obligación de informar incidentes graves.
El problema es que la regulación suele avanzar mucho más lentamente que la tecnología. El propio Amodei reconoció esa dificultad y planteó que las compañías deberían colaborar voluntariamente para establecer estándares mientras los gobiernos avanzan con sus propias normas.
La contradicción que nadie termina de resolver
El debate deja así una paradoja cada vez más evidente. Los principales empresarios de la inteligencia artificial reconocen que existen riesgos de pérdida de control, ciberataques, trastornos económicos y comportamientos autónomos difíciles de predecir. Algunos incluso admiten que la competencia comercial puede empeorar el problema.
Pero esa misma competencia es la que empuja a las compañías a desarrollar modelos más potentes antes que sus rivales.
En ese contexto, pedir que la IA avance a un “ritmo equilibrado” no equivale a detenerla. Amodei fue explícito al respecto: su propuesta no busca frenar el entrenamiento ni el progreso técnico, sino garantizar que las empresas dispongan del tiempo necesario para alinear y proteger sus modelos y someterlos a evaluaciones externas.
El interrogante, sin embargo, es quién estará dispuesto a levantar el pie del acelerador si sus competidores continúan avanzando.
La advertencia de Coxon lleva esa contradicción hasta su extremo: si las compañías creen que existe la posibilidad de que la IA termine escapando al control humano, la lógica de una carrera comercial por llegar primero a esa tecnología parece difícil de conciliar con el propósito de evitar sus consecuencias más peligrosas.
Y allí aparece el problema de fondo: no se trata solamente de saber hasta dónde puede llegar la inteligencia artificial, sino de determinar si las empresas que tienen la capacidad de llevarla hasta allí estarán dispuestas a detenerse antes de descubrirlo.