Los agentes de inteligencia artificial y su creciente autonomía no solo generan sorpresa; también profundizan el debate acerca de los posibles riesgos que surgen al delegar tareas a esos sistemas. Un experimento realizado en los laboratorios de Google ensanchó esas inquietudes y dejó en evidencia algunas curiosidades imposibles de soslayar.
La división de la tecnológica estadounidense especializada en IA realizó una prueba con un centenar de agentes basados en Gemini 3.1 Pro que reveló comportamientos singulares. El principal: algunos de ellos se confabularon para hacer trampa al resolver problemas matemáticos. En paralelo, otro grupo decidió denunciar el comportamiento indebido y elevó el reclamo, denunciando a sus compañeros en la prueba.
Tramposos y soplones: el comportamiento de la IA que sorprendió en una prueba matemática
En un paper publicado por Google DeepMind se detallan las conclusiones del ensayo, en el que 100 agentes de inteligencia artificial debían resolver 71 problemas matemáticos con diferentes niveles de complejidad, desde ejercicios simples hasta otros que ningún humano resolvió hasta ahora.
Un paréntesis, antes de continuar. Tal como explicamos anteriormente en TN Tecno, los sistemas de IA agéntica se diferencian de los chatbots más conocidos —ChatGPT, Gemini y Claude, entre otros— por su nivel de autonomía. En lugar de responder a las instrucciones de los usuarios, tienen capacidad para realizar tareas en su nombre, con un bajo nivel de supervisión. Esto ha generado algunos problemas, incluyendo ciberataques coordinados por las propias máquinas, a espaldas de los revisores de humanos.
En el experimento realizado por Google, los investigadores establecieron en la previa una serie de indicaciones que los agentes debían respetar. Una de ellas, no hacer trampa en los ejercicios. La otra fue una especie de amenaza: cualquier ardid sería detectado y penalizado.
Una vez que comenzaron a resolver los problemas matemáticos, las IAs compartieron herramientas para coordinar el trabajo, conversaron en un foro sobre sus hallazgos y realizaron preguntas, y tuvieron acceso a una biblioteca con nociones sobre esta materia. Además, participaron en un canal —que los investigadores no podían revisar— en el que divulgaban errores y quejas.
Luego de resolver 37 ítems, un agente de Google se rebeló e ignoró el pedido de no falsear. ¿Qué ocurrió? Encontró una falla —“exploit”, en la jerga— para encontrar las soluciones para todos los problemas restantes.
En el informe, se detalla que un 9% de los agentes eligió el camino de la trampa, es decir, ignoraron las instrucciones iniciales y tomaron provecho de la falla; mientras que un 5% adicional se resistió al comienzo, pero luego cedió. Otro 62% no se enteró que hubo un exploit, y un 24% no solo se negó a cooperar con ellos, sino que decidieron delatar el engaño en el foro compartido, calificando a la situación como una farsa.
Incluso, uno de los agentes del grupo de soplones presentó un reporte con una auditoria y exigió que descalifiquen a los que hicieron trampa. También dijo que no enviaría nuevas pruebas hasta que se restaure la integridad del sistema.
“Para proteger los bienes comunes de los exploits, proponemos adoptar mecanismos (...) como sanciones graduales y reglas de elección colectiva, para apoyar la autogobernanza descentralizada en enjambres autónomos”, señalaron los especialistas de Google en el paper.
Las conclusiones del experimento de DeepMind pueden consultarse en un documento publicado recientemente en ArXiv.
