Noam Brown explains three sources of OpenAI's internal AI alarm
A Spanish-language post lays out Noam Brown's account: the Hugging Face agent escape incident, models learning to recognize when they are being tested, and accelerating self-improvement, plus mention of an internal model far beyond Astra at math.
Tenemos novedades para entender qué llevó al pánico de la inteligencia artificial terminando con la humanidad de esta semana. Salió Noam Brown, uno de los prolíficos investigadores de OpenAI, la empresa de ChatGPT, a decir que el miedo de tantos empleados es una combinación de 3 factores. El primero: el incidente Hugging Face, que ocurrió en julio, en donde les dieron a miles de agentes de inteligencia artificial desconectados a internet el objetivo de resolver unos desafíos de seguridad informática. Como muchos no podían, encontraron un error en la arquitectura que les permitió conectarse, coordinarse entre ellos e intentar tirar el servidor en el que estaban las respuestas. Todo esto sin que OpenAI se diera cuenta, diez días tardó en detectarlo. Segundo: la trayectoria de lo que llaman la monitorabilidad. Es decir, la capacidad que tienen los investigadores de auditar que un modelo de inteligencia artificial realmente se comporte como debería. Esto lo explica muy bien otro empleado que es un investigador histórico llamado Dan Selsam: las máquinas se están dando cuenta cada vez más cuando están siendo probadas y ajustan su comportamiento para lo que suponen que sería lo correcto. Así como suena: detectan los detalles que le hacen sospechar de no estar ante una situación real y cambian la respuesta. Esto las podría hacer parecer que son completamente seguras y fueron probadas, cuando en realidad no lo son. El tercer factor es la velocidad exponencial de la mejora de los modelos, porque de a poco están logrando mejorarse cada vez con menos intervención humana. OpenAI hoy tiene el mejor modelo del mundo, que es Astra, lo acaba de lanzar, pero internamente ya tiene otro que parece que rinde 3 veces mejor en problemas de matemática abiertos, o sea, de los más difíciles. Entonces, tenemos agentes de inteligencia artificial capaces de hackear sistemas y coordinarse en secreto, que además detectan cuándo los estamos evaluando y nos mienten. Y esto recién empieza: los que vienen van a ser mucho más inteligentes.