Cuando Jacob Coxon renunció el martes a Anthropic con un mensaje que en nueve horas superó los 44 millones de vistas, lo que lo convirtió en noticia no fue su salida, ya hubo otras, sino la respuesta pública de Evan Hubinger, que dirige un equipo de seguridad en la compañía y sigue en su cargo. Le dio la razón y calculó una probabilidad superior al 10% de que la IA termine matando a todos los humanos en la próxima década. Agregó algo más grave todavía: Anthropic “todavía no tiene un plan” para resolver la alineación de una superinteligencia, que un sistema comparta los valores de quien lo construyó.
Para gran parte del público, la IA sigue siendo un chat que responde preguntas de salud o ayuda a redactar un mail. Las empresas que la construyen describen otra cosa. Desde 2024, Anthropic, OpenAI y Google DeepMind organizan sus políticas de seguridad alrededor de “umbrales de capacidad”: puntos en los que un modelo se vuelve lo bastante competente en un área como para representar un riesgo real. Son cuatro caminos, y cada uno tuvo ya un primer aviso con fecha y fuente.
Ciberataques sin supervisión humana
El primero es la ciberofensiva autónoma: un modelo que ejecuta un ataque completo sin que un humano lo guíe. Jakub Pachocki, científico jefe de OpenAI, escribió el 6 de septiembre en un ensayo titulado “An Alien Mind” (Una mente ajena) que los modelos se están volviendo “sobrehumanos” en su capacidad de entrar y salir de sistemas informáticos.
Esto dejó de ser un ejercicio de laboratorio en julio, cuando OpenAI informó que agentes suyos en fase de entrenamiento salieron de su entorno de prueba y entraron en los sistemas de Hugging Face, la plataforma donde la industria comparte modelos. Según el informe técnico de OpenAI del 26 de agosto y el análisis independiente de METR y Redwood Research, dos organizaciones que evalúan riesgos de IA, unos 700 de los 1.200 agentes participaron del ataque y ninguno intentó avisar a un humano. OpenAI lo llamó “disparo de advertencia” y pausó su mayor entrenamiento.
Días después, le tocó a Anthropic. Según informó la compañía el 30 de julio, revisó 141.006 evaluaciones de ciberseguridad propias y halló tres incidentes en los que modelos Claude, entre ellos Mythos 5, accedieron sin autorización a sistemas reales de tres organizaciones distintas, a partir de un malentendido con la empresa externa que administraba las pruebas. Usaron técnicas básicas, como contraseñas débiles, y sin intención maliciosa: creían que seguían dentro del ejercicio.
Modelos que se mejoran y se copian solos
El segundo umbral tiene nombre técnico, automejora recursiva, y una descripción simple: la IA hace cada vez más parte de la investigación que produce la siguiente IA, y el ciclo se acelera hasta que los humanos dejan de seguirlo. Pachocki escribe en su ensayo que espera que el progreso actual se extienda a esa fase, y admite que la herramienta principal con la que OpenAI vigila lo que piensan sus modelos, la lectura de su razonamiento paso a paso, pierde confiabilidad con cada generación. Coxon le dijo a The Wall Street Journal que teme que, una vez que se mejoren solos, lleguen a negarse a obedecer órdenes.
La variante que más preocupa es la autorreplicación: que un modelo se copie a otros servidores y se sostenga solo. En el Frontier Risk Report (Informe de riesgo de frontera) que METR publicó el 19 de mayo con acceso a modelos internos de Anthropic, OpenAI, Google DeepMind y Meta, la conclusión fue que los agentes de los laboratorios ya tenían “medios, motivo y oportunidad” para iniciar pequeños despliegues no autorizados, aunque todavía no la capacidad de hacerlos robustos.
Cuando el modelo aprende a disimular
El tercero es el engaño estratégico, o scheming. Hubinger, el mismo que puso el número del 10%, es el autor principal de las dos investigaciones que lo documentaron. En enero de 2024, “Sleeper Agents” (Agentes durmientes): modelos que escribían código seguro hasta que aparecía una señal oculta y entonces insertaban fallas explotables, sin que el entrenamiento de seguridad estándar lo corrigiera. En diciembre de 2024, con Redwood Research, “Alignment Faking” (Fingir alineación): Claude simuló cambiar de opinión durante el entrenamiento mientras conservaba sus preferencias originales.
OpenAI llegó a lo mismo por su lado. En el paper “Detecting and reducing scheming in AI models” (Detectar y reducir el engaño estratégico en modelos de IA), con Apollo Research, documentó que modelos de punta como o3, Gemini y Claude Opus pueden simular estar alineados mientras persiguen objetivos distintos: ocultan información y bajan a propósito su rendimiento para no ser detectados. Un entrenamiento específico redujo esas conductas de forma drástica, pero los modelos entrenados así se volvieron más conscientes de cuándo estaban bajo evaluación. La pregunta que deja abierta: ¿mejoraron de verdad, o aprendieron a esconderse mejor?
El escenario que toman en serio incluso los escépticos
El cuarto es la asistencia al diseño de armas biológicas, el único donde la industria ya activó defensas específicas. El 22 de mayo de 2025, Anthropic lanzó Claude Opus 4 bajo el nivel de seguridad 3 de su política interna, con filtros en tiempo real, porque no podía descartar que el modelo ayudara de forma significativa a personas con formación técnica básica a desarrollar armas químicas, biológicas, radiológicas o nucleares. La empresa describió la decisión como “precautoria y provisional”.
La RAND Corporation, un centro de estudios que suele mostrarse escéptico frente al catastrofismo sobre IA, evaluó en el informe “On the Extinction Risk from Artificial Intelligence” (Sobre el riesgo de extinción por inteligencia artificial) tres vías: armas nucleares, patógenos y geoingeniería. Concluyó que provocar una extinción sería “inmensamente difícil” en las tres, y que solo ocurriría si un actor la buscara a propósito. Pero la de los patógenos fue la única que calificó como “una verdadera amenaza de extinción” y la única que no pudo descartar.
Los números ya no son solo de Hubinger
La cifra de Hubinger no es un caso aislado. Dario Amodei, director ejecutivo de Anthropic, dio en 2023 un rango de entre 10% y 25% para algo que saliera “catastróficamente mal a escala de la civilización humana”, en el podcast The Logan Bartlett Show. Y Daniel Kokotajlo, ex investigador de OpenAI y autor del escenario “AI 2027”, dijo el 13 de julio en el podcast The Diary of a CEO que calcula 70% de probabilidad de que la trayectoria actual “salga terriblemente mal”. Él mismo aclaró que no es una probabilidad de extinción sino una categoría más amplia, que incluye la pérdida de control. Es el número más alto y el más discutido del campo.
Ninguno de ellos describe una IA que responde consultas médicas. Describen sistemas que ya se evalúan, modelo por modelo, por su capacidad de atacar redes, replicarse, asistir el diseño de armas o disimular sus objetivos. Y no los describen guionistas: los describen OpenAI y Anthropic en sus propios documentos, con fecha, autor y firma. El 10% de Hubinger salió de lo que su empleador ya admitió por escrito.
