Proyecto financiado por la Fundación BBVA en la convocatoria 2019 de Ayudas a Equipos de Investigación Científica
Resumen:
El proyecto Machine Learning on the Edge ha tenido por objetivo el diseño y desarrollo de nuevos métodos de aprendizaje automático que puedan ser entrenados y operados en los dispositivos informáticos disponibles en los entornos de computación en el borde (edge computing), cuyas prestaciones computacionales son mucho más limitadas que los grandes servidores de los centros de procesamiento de datos. Este tipo de entornos son cada vez comunes, especialmente en el ámbito del Internet de las Cosas (Internet of Things, IoT). Este planteamiento, acuñado también recientemente con el nombre de aprendizaje federado (federated learning), tiene como propósito el desarrollo de nuevos algoritmos que utilicen los dispositivos del borde para aprender de forma colaborativa, eliminando la necesidad de almacenar todos datos de entrenamiento en la nube. Este enfoque contrasta con el paradigma clásico de aprendizaje automático que requiere que los datos de entrenamiento se encuentren centralizados en un único centro de datos. El aprendizaje federado permite que los diversos dispositivos de borde construyan, de forma colaborativa, un único modelo mientras mantienen los datos en el dispositivo local que los generó. Para ello, cada dispositivo en el borde genera primero un modelo parcial, con sus datos locales, y, posteriormente, los modelos se comparten y se agregan con actualizaciones de todos los demás dispositivos.
Este paradigma de aprendizaje permite el desarrollo de nuevos modelos de inteligencia artificial que salvaguarden la privacidad de los datos, lo que hace que estén en mayor sintonía con toda la nueva normativa europea de protección de datos. Además, presentan otras ventajas adicionales, respecto a los métodos clásicos, como una menor latencia, lo que los hace más idóneos en entornos en tiempo real, y un menor consumo de energía eléctrica para el entrenamiento del modelo, puesto que su consumo conjunto de los dispositivos de borde es muy inferior al requerido por los grandes centros de procesamiento de datos. Esta última ventaja está en armonía con los objetivos de la agenda de desarrollo sostenible, ya que permite obtener modelos de aprendizaje automático que proporcionen un mejor equilibrio entre el crecimiento económico, el cuidado del medio ambiente y el bienestar social.
En concreto, en este proyecto se ha desarrollado una familia de nuevos algoritmos de aprendizaje automático para la detección de anomalías, clasificación y regresión en entornos en el borde. Además, se ha realizado una implementación de los modelos y han sido evaluados en un entorno de edge computing mediante el uso de placas Raspberry PI y NVIDIA Jetson Nano. Asimismo, se ha realizado un amplio estudio experimental para evaluar su desempeño frente a los principales métodos del estado del arte, comprobando que presentan un rendimiento muy competitivo en cuando a eficacia y su eficiencia computacional. Este tipo de modelos podrían ser de interés para su implantación en multitud de aplicaciones reales como, por ejemplo, en el ámbito médico en el que es importante colaborar entre distintas instituciones para obtener modelos de clasificación o predicción de enfermedades más robustos, en el ámbito de la conducción autónoma ya que en el futuro existirán miles de millones de vehículos interconectados, en el desarrollo de sistemas de mantenimiento predictivo en maquinaria industrial o en el ámbito financiero permitiendo la colaboración de distintas entidades mientras se preserva la privacidad de los datos de sus clientes.
Oscar Fontenla-Romero, Bertha Guijarro-Berdiñas, Elena Hernández Pereira, Beatriz Pérez-Sánchez (2023). FedHEONN: Federated and homomorphically encrypted learning method for one-layer neural networks. Future Generation Computer Systems, vol. 149, pp. 200-211.
Digital Object Identifier (DOI): https://doi.org/10.1016/j.future.2023.07.018
David Novoa-Paradela, Oscar Fontenla-Romero, Bertha Guijarro-Berdiñas (2023). Fast Deep Autoencoder for Federated Learning. Pattern Recognition, vol. 143, pp. 1-13. Artículo 109805.
Digital Object Identifier (DOI): https://doi.org/10.1016/j.patcog.2023.109805
David Novoa-Paradela, Oscar Fontenla-Romero, Bertha Guijarro-Berdiñas (2023). A One-Class Classification method based on Expanded Non-Convex Hulls. Information Fusion, vol. 89, pp. 1-15.
Digital Object Identifier (DOI): https://doi.org/10.1016/j.inffus.2022.07.023
Laura Morán-Fernández, Verónica Bolón-Canedo, Amparo Alonso-Betanzos (2022). Low-precision feature selection on microarray data: an information theoretic approach. Medical & Biological Engineering & Computing, vol. 60 (5), pp. 1333-1345.
Digital Object Identifier (DOI): http://dx.doi.org/10.1007/s11517-022-02508-0
Oscar Fontenla-Romero, Beatriz Pérez-Sánchez, Bertha Guijarro-Berdiñas (2021). DSVD-Autoencoder: A scalable distributed privacy-preserving method for one-class classification. International Journal of Intelligent Systems, vol. 36, pp. 177–199.
Digital Object Identifier (DOI): http://dx.doi.org/10.1002/int.22296
Elena Hernández-Pereira, Oscar Fontenla Romero, Bertha Guijarro-Berdiñas, Beatriz Pérez Sánchez (2021). Federated Learning approach for Spectral Clustering. 29th European Symposium on Artificial Neural Networks (ESANN 2021), pp. 423-428.
Digital Object Identifier (DOI): https://doi.org/10.14428/esann/2021.ES2021-95.
Oscar Fontenla Romero, Bertha Guijarro Berdiñas and Beatriz Pérez Sánchez (2021). Regularized One-Layer Neural Networks for Distributed and Incremental Environments. 16th International Work-Conference on Artificial Neural Networks (IWANN 2021). Lecture Notes in Computer Science, vol 12862, pp. 343-355.
Digital Object Identifier (DOI): https://doi.org/10.1007/978-3-030-85099-9_28.
David Novoa Paradela, Oscar Fontenla-Romero, Bertha Guijarro-Berdiñas (2021). Caracterización de conjuntos de puntos mediante cierres no convexos subdivisibles. XIX Conferencia de la Asociación Española para la Inteligencia Artificial (CAEPIA 2021), pp. 141-146.
Brais Ares, Laura Morán-Fernández, Verónica Bolón-Canedo (2022). Reduced precision discretization based on information theory. 26th International Conference on Knowledge-Based and Intelligent Information & Engineering Systems (KES 2022). En prensa.
Samuel Suárez-Marcote, Laura Morán-Fernández, Verónica Bolón-Canedo (2022). Less is more: Low-precision feature selection for wearables. International Joint Conference on Neural Networks (IJCNN 2022). En prensa.