Un equipo de investigadores, con participación del IFISC (UIB-CSIC), ha desarrollado una aproximación para obtener una red neuronal profunda completa utilizando sólo una neurona artificial con bucles de retraso. Las redes neuronales profundas (DNN) son una herramienta útil para una amplia gama de tareas, señalan fuentes de la Universitat de les Illes Baleares.
Es el caso de la clasificación de imágenes, detección de objetos, redimensionamiento de imágenes o generación de textos. Son extremadamente potentes, pero requieren una buena capacidad de cálculo y de conjuntos de datos para entrenarlas. Estas redes profundas suelen estar formadas por múltiples capas de neuronas acopladas en arquitecturas no recurrentes (feed-forward).
En estas arquitecturas, en las que se pueden eliminar fácilmente cientos de miles de neuronas, la información se mueve en un solo camino: hacia adelante, desde la entrada hasta la salida, siendo éste uno de los elementos en los que se ha basado el equipo internacional de investigadores, entre los que hay científicos del IFISC (UIB-CSIC).
Este equipo ha desarrollado un enfoque para emular una red neuronal profunda completa utilizando sólo una neurona artificial con bucles de retraso modulados por retroalimentación. La gran red con muchos elementos que interactúan se sustituye por un único elemento, que representa diferentes elementos en el tiempo interactuando con sus propios estados atrasados.
El trabajo se ha publicado en Nature Communications y ha sido seleccionado para la página web de Nature Communications Editores ‘Highlights, en la sección de investigación multidisciplinaria reciente denominada «AI and machine learning». Se trata de un enfoque nuevo, llamado por los autores folded-in-Time Deep Neural Network (Fit-DNN).
Esta expresión puede reducir drásticamente el hardware necesario y ofrece una perspectiva nueva sobre cómo construir sistemas complejos que se pueden entrenar, ya que sólo es necesario implementar una única neurona y varias líneas de retardo. Los sistemas de retraso poseen intrínsecamente un espacio de fases infinito.
Es por ello que una sola neurona con retroalimentación es suficiente para reunir y capturar toda la complejidad de la red. El enfoque Fit-DNN es muy útil para las implementaciones de hardware, en las que la red neuronal se construye utilizando sustratos físicos. En una DNN típica sería necesario implementar cada neurona con un único elemento de hardware (hardware).
Al capturar el comportamiento de todo el sistema con una sola neurona, se elimina la necesidad de construir una red completa. Los autores lo ejemplifican con un esquema optoelectrónico. En este tipo de implementación, sólo se requiere un emisor de luz, además de algunos componentes de telecomunicación estándar.
Las Fit-DNN permiten encontrar un equilibrio entre la velocidad de cálculo y la necesidad de más componentes de hardware, ya que sería muy caro construir una DNN completa. Sin embargo, este enfoque no reduce el tiempo del proceso de entrenamiento, ya que sigue siendo necesario un ordenador tradicional.
Las Fit-DNN proporcionan una visión alternativa de las redes neuronales: toda la complejidad topológica de las redes neuronales multicapa no recurrentes puede plegarse al dominio temporal mediante la arquitectura de bucle de retraso.
Créditos:
Stelzer, Florian; Röhm, Andre; Vicente, Raul; Fischer, Ingo and Yanchuk, Serhiy (2021). Deep neural networks using a single neuron: folded-in-time architecture using feedback-modulated delay loops. Nature Communications 12, 5164 (1-10). https://doi.org/10.1038/s41467-021-25427-4
