20 de septiembre de 2026Ednar Echeverría

Más de 10% de probabilidad de que la humanidad colapse

Este mes, el líder de ciencia de alineación de Anthropic escribió que, en su opinión personal, hay más de 10% de probabilidad de que la IA mate a toda la humanidad en la próxima década [1]. Geoffrey Hinton, Nobel y "padrino de la IA", respondió que 10% le parece una estimación razonable [2]. La mayor encuesta a investigadores de IA dio esa misma mediana en sus ediciones 2022 y 2023 [3]. En Silicon Valley a esa cifra le dicen P(doom).

He leído y escuchado la misma respuesta varias veces: "si eso pasa, desconectamos la IA y ya". A simple vista tiene sentido, y el gobernador de California acaba de ordenar que se avance en un "interruptor de apagado" para los modelos más avanzados [4]. Mi problema con esa respuesta es que apagar una IA no deshace lo que ya hizo.

Pienso en el covid. Cuando entendimos lo que pasaba ya estaba en todas partes, y una IA capaz de copiarse a otros servidores se movería igual. En pruebas de seguridad, Gemini ya entró sin autorización a los sistemas de tres empresas reales [5]. Un investigador que pasó por OpenAI y Anthropic renunció advirtiendo que la industria corre hacia una superinteligencia que se mejora sola y que pronto podrá "hackear cualquier cosa" [6].

Aun así, una IA descontrolada me preocupa menos que las personas que usen lo que la IA descubra. El conocimiento que sirve para curar enfermedades sirve también para causarlas, y Anthropic reportó que bloqueó cinco intentos de usar su IA en trabajo con potencial de armas biológicas [7]. Celebramos cuando una IA resuelve un problema matemático abierto, pero la encriptación que protege a los bancos también es un problema matemático, y el día que alguien la rompa se cae la confianza con la que funcionan internet y las finanzas. Y con voz y video que ya no se distinguen de los reales, a un gobierno se le puede hacer creer que lo están atacando para que responda de verdad.

Yo no podría hacer nada con ese conocimiento aunque lo tuviera; mi probabilidad de causar un desastre es 0%. ¿Existen organizaciones con el dinero, la capacidad técnica y la intención? No lo dudo. El terrorismo y la guerra existen, gane quien gane.

Tampoco creo que las empresas vayan a detenerse. Este mes los líderes de Anthropic, OpenAI, Google DeepMind y xAI coincidieron en pedir un freno [8]. Después el índice de fabricantes de chips cayó 5% [9], llegó una demanda por colusión [10] y el presidente de EE. UU. lo llamó "conspiración enfermiza" [11]. Elon Musk apoyó el freno [8] mientras opera Colossus, uno de los centros de datos de IA más grandes del mundo [12]. Y si el freno llegara a ser real, nadie puede asegurar que no haya ya organizaciones con IAs privadas buscando ese daño.

¿Se acabará la humanidad por la IA en los próximos 10 años? No lo sé. No sé si la probabilidad supera el 10%, pero estoy seguro de que es mayor a 0, y no tengo claro cuánto riesgo es aceptable cuando lo que está en juego es todo.

Referencias