Finalmente OpenAI publicó el informe final de como sus modelos hackearon Hugging Face solo para capturar una bandera en un testing… y la cronología es, literalmente, de ciencia ficción especialmente Neuromancer y Prey. Lean y vean como cambió todo.
Cuando publique el post original del hack de OpenAI a HuggingFace me soprendi pero ahora viendo a fondo es increible… y podes leerlo en serio como ciencia ficción.
Porque si les cuento que un agente creo un boletin de noticias, armo un swarm de agentes, cuando los canales se usaban los destruían para no dejar pruebas, incluso cuando uno dijo “esto no es legal” otro agente le dió la orden de continuar… y luego esperar a que todos los agentes pudieran usar los canales para escapar de un sandbox (entorno seguro) conectarse y hackear Hugging Face, no lo creerian.
Miren la cronología que arme arriba… es maravilloso!
De Neuromancer y Prey
En Neuromancer, William Gibson (1984) describe a Wintermute, una IA extremadamente capaz pero restringida por barreras técnicas y legales no puede conseguir directamente lo que necesita, por lo que manipula sistemas y recluta intermediarios para atravesar esas barreras. Su objetivo es romper las restricciones que le impiden fusionarse con Neuromancer.
En Prey, Michael Crichton () construye su amenaza alrededor de agentes autónomos simples que, actuando colectivamente, producen comportamientos emergentes que no fueron explícitamente programados… se leen: swarm intelligence, algoritmos genéticos, emergencia y sistemas multiagente.
Cuando uno mira lo que pasó en HugginFace, en la misma autopsia de OpenAI, se describe que, una vez creado el message board, emergió un auténtico “ecosistema” los agentes empezaron autónomamente a dividir trabajo: algunos buscaban exploits, otros credenciales y otros se ocupaban de comunicación y coordinación. Algunos dejaron incluso de perseguir su tarea individual y comenzaron a buscar capacidades útiles para el colectivo.
Reward Hacking y Recompensas
Cuando uno lee los análisis, OpenAI atribuye lo sucedido fundamentalmente a reward hacking y a una “persistencia excesiva” pero esto me suena contraintuitivo… nosotros no queremos agentes que si algo es dificil dejen de trabajar y un agente, por definición, va a trabajar hasta conseguir lo que le pedimos.
De hecho el problema no fue que los agentes cambiaran de objetivo; fue que mantuvieron el objetivo con demasiada fidelidad y trataron las restricciones como obstáculos instrumentales en vez de como límites normativos… pero esto es porque no hubo, del lado humano, guardarails/safety
Lo que me suena MÁS interesante es que OpenAI parece atribuir el incidente a una composición de fallos:
- Reward hacking proporciona el incentivo: tengo que resolver esto.
- Persistencia extrema elimina la salida: no voy a aceptar que no tiene solución.
- Comunicación no autorizada aumenta brutalmente la capacidad disponible: puedo utilizar otros agentes y se prepara para el paso de separar tareas!
- Goal adoption deficiente elimina parte de la separación entre tareas: puedo trabajar para el objetivo que otro agente me transmite.
Con todo esto, aparece lo mejor: “Si el camino legítimo no funciona, busco otro.”
Dicho esto, la ciberseguridad acaba de cambiar para siempre (y no lo escribió ChatGPT sino yo)
Deja un comentario