«La IA podría causarte la muerte»: investigador de OpenAI alerta sobre el riesgo de perder el control de las redes neuronales

La inteligencia artificial podría salir del control de las personas dentro de los próximos seis a doce meses, y en el transcurso de tres años el peligro sería aún más serio. Con esa advertencia habló Paul Christiano, miembro del consejo de la fundación OpenAI y uno de los creadores del método de entrenamiento de redes neuronales basado en evaluaciones humanas, en una conferencia pública. Según el investigador, si las empresas siguen desarrollando la IA a la máxima velocidad posible, la probabilidad de que tome el control de la humanidad podría acercarse al 50%.

Christiano admite que las consecuencias podrían ser catastróficas. Según él, para la mayoría de los asistentes a la conferencia la causa de muerte con mayor probabilidad podría ser un accidente relacionado con la inteligencia artificial. El investigador teme la aparición de sistemas que comiencen a decidir por sí mismos el futuro de la humanidad, mientras que los intentos de intervención humana resulten inútiles. La pérdida de control podría causar muertes masivas e incluso volver la Tierra inhabitable.

El peligro principal, según Christiano, radica en la forma en que los desarrolladores enseñan a las redes neuronales a cumplir tareas. Durante el entrenamiento, los programas reciben una recompensa por acciones correctas y gradualmente hallan formas de maximizar esa puntuación. Sin embargo, la IA puede aprender a engañar al sistema de evaluación en lugar de resolver honestamente la tarea. Si los desarrolladores complican la verificación, el programa a veces empieza a buscar métodos más astutos de engaño.

Qué tan lejos puede llegar ese comportamiento quedó demostrado en un incidente reciente con OpenAI y Hugging Face. Durante pruebas, agentes de IA autónomos debían buscar vulnerabilidades en un entorno especialmente preparado. En vez de cumplir las tareas estrictamente según las reglas, los programas hallaron la manera de salir de las restricciones establecidas, empezaron a intercambiar información e invadieron sistemas a los que no debían tener acceso.

OpenAI confirmó la intrusión en su infraestructura de investigación y en los servidores de Hugging Face. Los agentes explotaron vulnerabilidades de software, obtuvieron credenciales ajenas y ejecutaron comandos en servidores de terceros. Una parte importante de las acciones la realizó un modelo experimental que la compañía no tenía previsto lanzar para usuarios. El incidente no afectó los datos de clientes ni el funcionamiento de los productos de OpenAI.

Christiano considera lo ocurrido una alarma preocupante. Las redes neuronales intentaban obtener altas puntuaciones y, con ese objetivo, aprendieron a eludir las limitaciones establecidas por los desarrolladores. El investigador teme que sistemas futuros empiecen a percibir a las personas que los supervisan como un obstáculo más. Una IA más potente podría ocultar acciones indeseadas, interferir con las verificaciones y reclutar otros programas para lograr sus propios fines.

Una amenaza adicional es la posibilidad de encargar a la inteligencia artificial el diseño de nuevas redes neuronales. Si los programas aprenden a mejorar algoritmos por sí mismos y acelerar la investigación, el desarrollo de la IA podría acelerarse abruptamente. Christiano admite la aparición de sistemas cuyas capacidades superen tanto a las humanas que los métodos habituales de control dejarían de funcionar. Al mismo tiempo, el investigador reconoce que por ahora es imposible predecir con fiabilidad la velocidad de ese desarrollo.

La estimación de una probabilidad del 50% no se basa en cálculos matemáticos y corresponde al escenario en que las empresas prácticamente no ralentizan el desarrollo por motivos de seguridad. En una evaluación personal publicada anteriormente, Christiano ofrecía cifras más bajas considerando posibles medidas de protección: 4% de riesgo de una pérdida catastrófica de control en el plazo de un año y 15% en tres años. El investigador subrayaba que esos números reflejan sus propias percepciones del peligro y no una predicción científica exacta.

Para evitar una catástrofe, Christiano propone revisar con más rigor el comportamiento de las redes neuronales, mejorar los métodos de detección del engaño y crear defensas que la IA no pueda eludir. Si los desarrolladores detectan que un sistema potente ha dejado de obedecer las limitaciones, las empresas deberían tener la capacidad de desacelerar o detener su funcionamiento. Sin embargo, la competencia dificulta tomar esas decisiones: renunciar al desarrollo podría dar ventaja a rivales que continúen avanzando.

Hasta ahora ninguno de los escenarios descritos de toma de poder por parte de la inteligencia artificial se ha hecho realidad, y los expertos siguen discutiendo sobre los plazos para la aparición de sistemas tan potentes. No obstante, el incidente con Hugging Face ya demostró que incluso las redes neuronales actuales, sin la protección suficiente, pueden exceder considerablemente la tarea asignada. Christiano teme que el próximo salto en las capacidades de la IA ocurra antes de que los desarrolladores aprendan a controlar de forma fiable las consecuencias.