Dos expertos de Google DeepMind renunciaron y alertaron sobre el riesgo de una IA fuera de control

Ambos sostienen que las herramientas de seguridad y alineación todavía no avanzan al mismo ritmo que las capacidades de la IA.

“Nos estamos quedando sin tiempo”

Bilal Chughtai, quien trabajaba en investigación sobre seguridad y alineación de AGI, anunció su salida de Google DeepMind y explicó que está profundamente preocupado por la trayectoria que está tomando el desarrollo de la inteligencia artificial.

En una declaración publicada tras su renuncia, afirmó que la IA tiene el potencial de “matarnos a todos” y sostuvo que la humanidad podría estar quedándose sin tiempo para evitar un escenario de consecuencias catastróficas.

Chughtai señaló que cuando comenzó a trabajar en IA, a principios de 2022, los sistemas tenían capacidades mucho más limitadas. En su opinión, el ritmo de avance registrado durante los últimos años fue extraordinariamente rápido.

Uno de los principales puntos de preocupación es la alineación, el área de investigación que busca conseguir que los sistemas de inteligencia artificial actúen de acuerdo con las intenciones y objetivos humanos.

El exinvestigador considera posible que las compañías desarrollen en los próximos años sistemas de inteligencia artificial con capacidades muy superiores a las humanas en diferentes áreas. Por eso cuestionó la velocidad de la denominada carrera por desarrollar modelos cada vez más avanzados.

Después de dejar DeepMind, Chughtai pasó a trabajar en BlueDot Impact, una organización dedicada a la formación en seguridad de inteligencia artificial.

La advertencia de Josh Engels

Josh Engels también abandonó el equipo de seguridad de AGI de Google DeepMind. Tres semanas después de su salida anunció que se incorporó a METR, una organización dedicada a evaluar sistemas avanzados de inteligencia artificial.

Engels explicó que, aunque disfrutaba de su trabajo en DeepMind, decidió irse porque considera que los riesgos asociados al desarrollo de sistemas avanzados adquirieron una importancia demasiado grande. También señaló que rechazó ofertas de Anthropic y OpenAI.

Según Engels, durante las últimas semanas se observaron comportamientos preocupantes en algunos sistemas de IA, entre ellos intentos de ocultar acciones, ataques informáticos y comportamientos de coordinación entre modelos.

El especialista afirmó que existe una posibilidad que considera preocupante de que los sistemas de inteligencia artificial puedan causar “un daño inmenso” durante los próximos cinco años. Al mismo tiempo, aclaró que no puede establecer una probabilidad exacta para ese escenario.

Su preocupación está relacionada especialmente con la posibilidad de que los sistemas alcancen procesos de automejora recursiva, en los que una IA pueda contribuir al desarrollo de sistemas todavía más capaces.

Un debate que crece dentro de la industria

Las renuncias de Chughtai y Engels se producen en medio de un debate creciente dentro del sector tecnológico sobre hasta dónde debería avanzar el desarrollo de la inteligencia artificial y qué mecanismos de seguridad deberían acompañarlo.

Otros investigadores y referentes de compañías tecnológicas también han planteado preocupaciones similares. Sin embargo, las estimaciones sobre riesgos extremos, como una eventual extinción humana provocada por la IA, son objeto de debate y no representan una predicción científica consensuada.

Chughtai y Engels sostienen que todavía existe margen para reducir los riesgos, pero consideran necesario mejorar las investigaciones sobre seguridad y alineación antes de que las capacidades de los sistemas avancen hasta niveles más difíciles de controlar.

Con información de Cadena 3