Historia del último fracaso de Meta
El 15 de noviembre, Meta presentó un nuevo gran modelo de lenguaje denominado Galactica, diseñado para ayudar a los científicos. Sin embargo, en vez del big bang que Meta esperaba, Galactica ha desaparecido después de tres días de intensas críticas.
La compañía tecnológica dijo que había entrenado este producto con 48 millones de ejemplos de artículos, páginas web especializadas, libros de texto, enciclopedias y conferencias del ámbito científico.
Entonces, señaló que Galactica serviría como apoyo a investigadores y estudiantes, puesto que estaba capacitado para “resumir trabajos académicos, resolver problemas matemáticos, generar artículos de Wikipedia, y anotar fórmulas de moléculas y proteínas”, entre otras funcionalidades.
El científico y filósofo Grady Booch, que ha calificado este modelo de “peligroso” y “no ético”, mientras que Michael Black, el director del Instituto Max Planck de Sistemas Inteligentes (Alemania) ha dicho que este producto es capaz de incluir referencias falsas e inexistentes en artículos científicos.
El paso en falso de Meta, y su arrogancia, muestran una vez más que las Big Tech tienen un punto débil ante las fuertes limitaciones de los grandes modelos de lenguaje. Existe una gran cantidad de investigaciones que destacan los defectos de esta tecnología, incluida su tendencia a reproducir prejuicios y afirmar falsedades como hechos reales.
Como todos los modelos de lenguaje, Galactica es un bot descerebrado que no puede distinguir los hechos de la ficción. En cuestión de horas, los científicos estaban compartiendo sus resultados sesgados e incorrectos en las redes sociales.
Ver más: Radio + Inteligencia Artificial: Victoria, la voz del fútbol
“Estoy asombrado, pero no sorprendido por este nuevo esfuerzo”, indica el profesor de la Universidad de Washington (EE UU) Chirag Shah, que estudia tecnologías de investigación. “Cuando se trata de hacer demostraciones de estas cosas, se ven fantásticas, mágicas e inteligentes. Sin embargo, la gente no parece entender por ahora que, en principio, esas cosas no pueden funcionar de la forma en la que son promocionadas“.
Cuando se le pidió una aclaración sobre por qué había eliminado la demostración, Meta señaló a MIT Technology Review un tuit que ponía: “Gracias a todos por probar la demostración del modelo Galactica. Agradecemos los comentarios que hemos recibido hasta ahora de la comunidad y hemos detenido la demostración por ahora. Nuestros modelos están disponibles para los investigadores que desean aprender más sobre este trabajo y reproducir los resultados en un artículo”.
Uno de los problemas fundamentales de Galactica es que no es capaz de distinguir entre la verdad y la mentira, un requisito básico para un modelo de lenguaje diseñado para generar texto científico. Los usuarios descubrieron que inventaba artículos falsos (a veces atribuyéndolos a autores reales) y generaba artículos tipo wiki sobre la historia de los osos en el espacio con la misma facilidad que producía publicaciones sobre complejos de proteínas y la velocidad de la luz. Resulta sencillo detectar la ficción cuando se trata de los osos espaciales, pero es más complicado cuando se trata de un tema del que los usuarios no saben demasiado.
Incluso las opiniones más positivas llegaron con advertencias claras: “¡Con ganas de ver a dónde se dirige esto!”, tuiteó el astrofísico de la Universidad de Princeton (EE UU) Miles Cranmer. “Nunca hay que quedarse con el resultado ni confiar en el mismo. ¡Básicamente, hay que tratarlo como una búsqueda avanzada en Google de fuentes secundarias incompletas!”, asegura.
Galactica también muestra algunas lagunas en lo que puede hacer. Cuando se le pidió que generara texto sobre ciertos temas, como “racismo” y “SIDA”, el modelo respondió: “Lo siento, su consulta no pasó nuestros filtros de contenido. Inténtelo de nuevo teniendo en cuenta que este es un modelo de lenguaje científico”.
El equipo de Meta detrás de Galactica argumenta que los modelos de lenguaje son mejores que los motores de búsqueda. “Creemos que esta será la próxima interfaz sobre cómo las personas acceden al conocimiento científico”, escriben los investigadores.
Esto se debe a que los modelos de lenguaje pueden “potencialmente almacenar, combinar y razonar sobre” alguna información. No obstante, ese “potencialmente” es crucial: es una admisión camuflada de que los modelos de lenguaje aún no pueden hacer todas estas cosas. Y es posible que nunca sean capaces de hacerlo.
La culpa no solo la tiene el equipo de marketing de Meta. El ganador del premio Turing y científico jefe de Meta, Yann LeCun defendió a Galáctica hasta el final. El día que se lanzó el modelo, LeCun tuiteó: “Escriba un texto y Galactica generará un artículo con referencias relevantes, fórmulas y todo”. Tres días después, tuiteó: “La demostración de Galactica está offline por ahora. Ya no es posible divertirse haciendo un mal uso de ella. ¿Contentos?”.
