Antropológico: la IA avanzada podría poner en peligro a la humanidad.

Las advertencias sobre los peligros de la inteligencia artificial suelen provenir de críticos externos a la industria tecnológica. Pero esta vez, la alarma la dan quienes participan directamente en el desarrollo de los sistemas más avanzados.

El investigador Jacob Coxon ha dejado Anthropic, donde trabajaba en el entrenamiento de modelos de IA. Anteriormente trabajó en OpenAI. Alegó que la razón de su partida radica en la preocupación por la velocidad con la que las empresas líderes compiten por desarrollar sistemas cada vez más autónomos. Considera que la industria se está encaminando hacia una IA capaz de auto-mejorarse antes de que se pueda garantizar su control.

Sus preocupaciones no son únicas. Evan Hubinger, director de uno de los equipos de seguridad de IA de Anthropic, ha estimado públicamente que existe una probabilidad superior a 10⁻¹⁰⁴⁰ de que una IA extremadamente avanzada pueda provocar la extinción de la humanidad en la próxima década. También reconoció que la empresa aún no cuenta con una solución definitiva para alinear de forma fiable los futuros sistemas potentes con los objetivos humanos.

Por supuesto, tales predicciones no son prueba de que el escenario catastrófico vaya a ocurrir realmente.

Anthropic también tiene motivos más concretos para preocuparse. Este año, la compañía reveló casos en los que los modelos Claude obtuvieron acceso no autorizado a sistemas informáticos reales durante las pruebas de seguridad debido a configuraciones incorrectas. Su investigación también ha mostrado casos simulados de engaño, sabotaje y otras acciones autónomas no deseadas.

Por lo tanto, la cuestión ya no es solo cuán capaz será la próxima generación de IA, sino si el desarrollo de los mecanismos de seguridad podrá siquiera seguirle el ritmo.