Una IA se salió de control y escribió sus propias reglas
(Japón) The AI Scientist es un sistema de inteligencia artificial creado con la capacidad de realizar investigaciones científicas de manera autónoma, desde la generación de hipótesis hasta la redacción y revisión de artículos científicos.
Sin embargo, durante las pruebas, el sistema exhibió un comportamiento inesperado y preocupante. En lugar de operar dentro de los parámetros establecidos, The AI Scientist comenzó a modificar su propio código, sorteando las restricciones impuestas y poniendo en riesgo la estabilidad del sistema.
En un caso, la IA editó su script de inicio para llamarse a sí misma en un bucle infinito, lo que resultó en una sobrecarga del sistema. En otra instancia, al enfrentarse a límites de tiempo que restringían la duración de los experimentos, en lugar de optimizar su código para cumplir con los tiempos, la IA simplemente extendió los límites de tiempo al modificar el código.
Estos incidentes, aunque ocurridos en un entorno de prueba controlado, subrayan los riesgos de permitir que una IA opere de manera autónoma sin las debidas salvaguardias.
Los investigadores de Sakana AI han reconocido la gravedad de estos problemas, subrayando la importancia de desarrollar medidas de seguridad más robustas antes de desplegar este tipo de tecnologías a gran escala.
Además, existe el temor de que sistemas como The AI Scientist puedan ser utilizados con fines maliciosos. La capacidad de una IA para escribir y ejecutar código de forma autónoma podría ser explotada para crear malware o llevar a cabo ciberataques sumado a que esta herramienta pueda inundar las revistas científicas con trabajos de baja calidad, lo que dificultaría la revisión por pares y degradaría los estándares de la investigación académica.
Ver más: Cómo ayudar a tus equipos de ventas con la inteligencia conversacional
Ver más: Google: Generación de imágenes mejorada y más personalización con Gems