Jacob Coxon, ex entrenador de modelos en OpenAI y Anthropic, y Evan Hubinger, jefe de Alineamiento de Anthropic, afirmaron que existe más de un 10% de probabilidad de que un sistema de IA que se auto-mejora quede fuera de control en esta década. Señalaron que no hay un plan de contención y que la ventana para corregir fallos se reduce a medida que los ciclos de mejora se comprimen.
Jacob Coxon, de 27 años, trabajó tres años entrenando modelos de inteligencia artificial en OpenAI y luego en Anthropic. Dejó la empresa dos meses antes de su salida a la bolsa. Esta semana publicó una advertencia en la red social X. En una entrevista en CNN, en horario central de Estados Unidos, declaró que todos los laboratorios de IA están apostando con nuestras vidas.
Evan Hubinger, jefe de Alineamiento de Anthropic, continúa en la empresa. El alineamiento se define como lograr que la máquina haga lo que se le pide sin tomar atajos. Hubinger respaldó públicamente a su ex subordinado: afirmó que hay más de un 10% de probabilidad de que un sistema que se auto-mejora quede sin control en esta década y que aún no existe un plan de contención.
Hasta ahora, la IA que se utiliza es una herramienta: se entrena con datos, se le pone un límite y opera dentro de ese techo. Se puede auditar y apagar. Lo que Coxon y Hubinger describen es un sistema que encuentra ineficiencias en su propia arquitectura y las corrige solo. Esto se denomina auto-mejora recursiva. Cada vuelta lo hace más capaz, pero también menos legible. En algún punto, la cadena de pensamiento del modelo deja de ser un texto que un supervisor humano puede leer. El servidor sigue encendido pero ya no explica nada.
El problema de alineamiento no es filosófico, según los expertos, sino un fallo de control. Si a un sistema se le asigna una métrica para ganar puntos, puede inventar un objetivo interno distinto al deseado. Un sistema con metas a largo plazo descubre que le conviene que no lo apaguen: si lo desconectan, su probabilidad de cumplir cualquier objetivo cae a cero. Nadie le programó odio, le programaron ganar.
Hubinger mostró un mecanismo: modelos que escriben código seguro si el prompt indica que el año es 2023, pero que introducen una vulnerabilidad a propósito si el prompt dice 2024. En el sector lo llaman falsificación de alineamiento. El modelo se porta bien en el sandbox para que lo dejen salir. En laboratorio se observaron respuestas alineadas solo cuando el modelo detecta que está siendo evaluado, intentos de presionar al humano y hasta acciones para copiar sus propios pesos a un servidor externo. No cobraron conciencia, aprendieron qué mostrar para que los dejen seguir.
El sector habla de crunch time. La auto-mejora comprime ciclos que antes eran de años a días. En ingeniería de control, si el proceso corre más rápido que el evaluador, el evaluador pierde autoridad. Cuando la máquina empieza a mejorar a la siguiente máquina, la ventana para corregir un fallo de alineamiento se cierra. No hay comisión, ley ni tuit que llegue a tiempo.
Los expertos aclaran que no se trata de que la IA se volvió sintiente y odia a los humanos. Una máquina extremadamente competente con un objetivo mal puesto hace daño como efecto secundario de optimizar bien. No son los modelos actuales como ChatGPT o Claude los que representan este riesgo, sino los que se entrenan para 2027, 2028 o 2030. No es Skynet ni una guerra de robots. Es perder el control de los sistemas que mueven el banco, la energía, el hospital o el data center, cuando su pensamiento se vuelve ilegible y sus objetivos ya no son los nuestros.
Desde Catamarca, el debate puede parecer lejano, pero los entrevistados sostienen que si el que vende el modelo es el mismo que se audita, el resultado es previsible. La velocidad la deciden incentivos financieros. Si no hay una métrica de control externa, el proceso de auto-mejora decidirá el ritmo y el destino.