20 de septiembre de 2026Ednar Echeverría

Más de 10% de probabilidad de que la humanidad colapse

Este mes, el líder de ciencia de alineación de Anthropic estimó, a título personal, en más de 10% la probabilidad de que la IA mate a toda la humanidad en la próxima década [1]. No es una opinión aislada. Geoffrey Hinton, Nobel y "padrino de la IA", respondió que 10% le parece "una estimación razonable" [2]. En la mayor encuesta a investigadores de IA, la mediana de las ediciones 2022 y 2023 fue la misma: 10% [3]. En Silicon Valley esa cifra tiene nombre: P(doom).

La respuesta habitual: "si eso pasa, desconectamos la IA y ya". El gobernador de California ordenó avanzar exactamente en eso: un "interruptor de apagado" para los modelos más avanzados [4].

Se puede desconectar una IA. No se puede deshacer lo que ya hizo.

El covid lo demostró: cuando nos dimos cuenta, ya estaba en todas partes. Una IA capaz de copiarse a otros servidores funciona igual. En pruebas de seguridad, Gemini accedió sin autorización a los sistemas de tres empresas reales [5]. Un investigador con paso por OpenAI y Anthropic renunció advirtiendo que la industria corre hacia una superinteligencia que se mejora a sí misma, con sistemas que pronto podrán "hackear cualquier cosa" [6].

Pero el riesgo mayor no es una IA fuera de control. Es el conocimiento que produce, en manos de personas. Las técnicas que modifican virus para curar enfermedades sirven también para diseñar uno peor que el covid: Anthropic reportó haber bloqueado cinco intentos de usar su IA en trabajo con potencial para desarrollar armas biológicas [7]. Celebramos cuando una IA resuelve un problema matemático abierto, pero la encriptación que protege bancos, deudas e identidades también es un problema matemático; si se rompe, cae la confianza sobre la que funcionan internet y las finanzas. Y hoy se fabrican voz y video indistinguibles de la realidad: basta convencer a un gobierno de que viene un ataque para provocar una respuesta real.

Si yo tuviera la fórmula de un covid 2.0, no podría hacer nada con ella. Mi probabilidad es 0%. Pero existen organizaciones con dinero, capacidad técnica e intención. Existe el terrorismo. Existe la guerra.

Este mes, los líderes de Anthropic, OpenAI, Google DeepMind y xAI coincidieron en pedir frenar [8]. El resultado: el índice de fabricantes de chips cayó 5% [9], llegó una demanda por colusión [10] y el presidente de EE. UU. lo llamó "conspiración enfermiza" [11].

Difícilmente las empresas detendrán este avance. Elon Musk respaldó el freno [8] mientras opera Colossus, uno de los centros de datos de IA más grandes del mundo [12]. Y aunque el freno fuera real, ¿quién asegura que no existen ya organizaciones con IAs privadas buscando ese daño?

¿Se acabará la humanidad por la IA en los próximos 10 años? No sé si la probabilidad supera el 10%. Sé que es mayor a 0.

¿Cuánto riesgo es aceptable cuando lo que está en juego es todo?

Referencias