El aprendizaje profundo revela objetos “invisibles” en la oscuridad

Pequeñas imperfecciones en una copa de vino o pequeñas arrugas en una lente de contacto pueden ser difíciles de distinguir, incluso con buena luz. En la oscuridad casi total, las imágenes de tales características u objetos transparentes son casi imposibles de descifrar. Pero ahora, los ingenieros del MIT han desarrollado una técnica que puede revelar estos objetos “invisibles”, en la oscuridad.

Los investigadores reconstruyeron objetos transparentes a partir de imágenes de esos objetos, tomadas en condiciones casi negras. Hicieron esto utilizando una “red neuronal profunda”, una técnica de aprendizaje automático que consiste en entrenar una computadora para asociar ciertas entradas con salidas específicas, en este caso, imágenes oscuras y granulosas de objetos transparentes y los objetos en sí.

El equipo entrenó una computadora para reconocer más de 10,000 grabados transparentes en forma de vidrio, basados ​​en imágenes extremadamente granuladas de esos patrones. Las imágenes se tomaron en condiciones de muy poca luz, con aproximadamente un fotón por píxel, mucho menos luz de lo que una cámara registraría en una habitación oscura y sellada. Luego mostraron a la computadora una nueva imagen granulada, no incluida en los datos de entrenamiento, y encontraron que aprendió a reconstruir el objeto transparente que la oscuridad había ocultado.

Los resultados demuestran que se pueden usar redes neuronales profundas para iluminar características transparentes, como tejidos y células biológicas, en imágenes tomadas con muy poca luz.

“En el laboratorio, si destruyes células biológicas con luz, las quemas, y no queda nada para la imagen”, dice George Barbastathis, profesor de ingeniería mecánica en el MIT. “Cuando se trata de imágenes de rayos X, si expone a un paciente a rayos X, aumenta el peligro de que puedan contraer cáncer. Lo que estamos haciendo aquí es que puede obtener la misma calidad de imagen, pero con una menor exposición al paciente. Y en biología, puedes reducir el daño a los especímenes biológicos cuando quieras muestrearlos “.

Los co-autores de Barbastathis en el artículo son el autor principal Alexandre Goy, Kwabena Arthur y Shuai Li.

Aprendizaje oscuro profundo

Las redes neuronales son esquemas computacionales que están diseñados para emular la forma en que las neuronas del cerebro trabajan juntas para procesar entradas de datos complejos. Una red neuronal funciona realizando “capas” sucesivas de manipulaciones matemáticas. Cada capa computacional calcula la probabilidad para una salida dada, en base a una entrada inicial. Por ejemplo, dada la imagen de un perro, una red neuronal puede identificar características que recuerdan primero a un animal, luego más específicamente a un perro y, en última instancia, a un beagle. Una red neuronal “profunda” abarca muchas capas de cálculo mucho más detalladas entre la entrada y la salida.

Un investigador puede “entrenar” a una red de este tipo para realizar cálculos de manera más rápida y precisa, alimentándola con cientos o miles de imágenes, no solo de perros, sino de otros animales, objetos y personas, junto con la etiqueta correcta para cada imagen. Con suficientes datos para aprender, la red neuronal debería poder clasificar correctamente las imágenes completamente nuevas.

Las redes neuronales profundas se han aplicado ampliamente en el campo de la visión por ordenador y el reconocimiento de imágenes, y recientemente, Barbastathis y otros desarrollaron redes neuronales para reconstruir objetos transparentes en imágenes tomadas con mucha luz. Ahora su equipo es el primero en usar redes neuronales profundas en experimentos para revelar objetos invisibles en imágenes tomadas en la oscuridad.

“Los objetos invisibles se pueden revelar de diferentes maneras, pero generalmente requiere que uses mucha luz”, dice Barbastathis. “Lo que estamos haciendo ahora es visualizar los objetos invisibles, en la oscuridad. Así que es como dos dificultades combinadas. Y sin embargo, todavía podemos hacer la misma cantidad de revelación “.

La ley de la luz

El equipo consultó una base de datos de 10,000 circuitos integrados (IC), cada uno de los cuales está grabado con un intrincado patrón diferente de barras horizontales y verticales.

“Cuando miramos a simple vista, no vemos mucho, cada uno de ellos parece un trozo de vidrio transparente”, dice Goy. “Pero en realidad hay estructuras muy finas y poco profundas que todavía tienen un efecto sobre la luz”.

En lugar de grabar cada uno de los 10,000 patrones en tantos portaobjetos de vidrio, los investigadores utilizaron un “modulador de luz espacial de fase”, un instrumento que muestra el patrón en un solo portaobjetos de vidrio de una manera que recrea el mismo efecto óptico que un portaobjetos grabado. tendría.

Los investigadores establecieron un experimento en el que apuntaron con una cámara a un pequeño marco de aluminio que contenía el modulador de luz. Luego utilizaron el dispositivo para reproducir cada uno de los 10,000 patrones de IC de la base de datos. Los investigadores cubrieron todo el experimento para protegerlo de la luz y luego utilizaron el modulador de luz para rotar rápidamente a través de cada patrón, de manera similar a un carrusel deslizante. Tomaron imágenes de cada patrón transparente, en la oscuridad casi total, produciendo imágenes de “sal y pimienta” que se parecían poco más que estáticas en una pantalla de televisión.

El equipo desarrolló una red neuronal profunda para identificar patrones transparentes de imágenes oscuras, y luego alimentó a la red con cada una de las 10,000 fotografías granulosas tomadas por la cámara, junto con sus patrones correspondientes, o lo que los investigadores denominaron “verdades de fondo”.

“Le dices a la computadora: ‘Si pongo esto, sacas esto'”, dice Goy. “Haces esto 10.000 veces, y después del entrenamiento, esperas que si le das una nueva información, puede decirte lo que ve”.

“Es un poco peor que un bebé”, dice Barbastathis. “Por lo general, los bebés aprenden un poco más rápido”.

Los investigadores configuraron su cámara para tomar imágenes ligeramente fuera de foco. Por contradictorio que parezca, esto realmente funciona para enfocar un objeto transparente. O, más precisamente, el desenfoque proporciona alguna evidencia, en forma de ondulaciones en la luz detectada, de que un objeto transparente puede estar presente. Tales ondas son una bandera visual que una red neuronal puede detectar como un primer signo de que un objeto está en algún lugar en el grano de una imagen.

Pero el desenfoque también crea desenfoque, lo que puede enturbiar los cálculos de una red neuronal. Para lidiar con esto, los investigadores incorporaron a la red neuronal una ley física que describe el comportamiento de la luz y cómo crea un efecto de desenfoque cuando se desenfoca una cámara.

“Lo que sabemos es la ley física de la propagación de la luz entre la muestra y la cámara”, dice Barbastathis. “Es mejor incluir este conocimiento en el modelo, para que la red neuronal no pierda tiempo aprendiendo algo que ya sabemos”.

Imagen más nítida

Después de entrenar la red neuronal en 10,000 imágenes de diferentes patrones de CI, el equipo creó un patrón completamente nuevo, no incluido en el conjunto de entrenamiento original. Cuando tomaron una imagen del patrón, nuevamente en la oscuridad, y alimentaron esta imagen en la red neuronal, compararon los patrones que la red neuronal reconstruyó, con y sin la ley física incrustada en la red.

Encontraron que ambos métodos reconstruyeron el patrón transparente original razonablemente bien, pero la “reconstrucción informada por la física” produjo una imagen más nítida y precisa. Lo que es más, este patrón reconstruido, a partir de una imagen tomada en la oscuridad casi total, fue más definido que una reconstrucción del mismo patrón basada en la física, con una luz más de 1.000 veces más brillante.

El equipo repitió sus experimentos con un conjunto de datos totalmente nuevo, que consta de más de 10,000 imágenes de objetos más generales y variados, incluidas personas, lugares y animales. Después del entrenamiento, los investigadores alimentaron la red neuronal con una imagen completamente nueva, tomada en la oscuridad, de un grabado transparente de una escena con góndolas atracadas en un muelle. Nuevamente, encontraron que la reconstrucción basada en la física produjo una imagen más precisa del original, en comparación con las reproducciones sin la ley física incrustada.

“Hemos demostrado que el aprendizaje profundo puede revelar objetos invisibles en la oscuridad”, dice Goy. “Este resultado es de importancia práctica para que las imágenes médicas reduzcan la exposición del paciente a la radiación dañina y para las imágenes astronómicas”.

Fuente: MIT